理工学研究科Graduate School of Science and Engineering
HUI500X3（人間情報学 / Human informatics 500）マルチモーダル情報処理特論 Multimodal Interface
倉掛 正治Shoji KURAKAKE
授業コードなどClass code etc
| 学部・研究科Faculty/Graduate school | 理工学研究科Graduate School of Science and Engineering |
| 添付ファイル名Attached documents | |
| 年度Year | 2022 |
| 授業コードClass code | YB036 |
| 旧授業コードPrevious Class code | |
| 旧科目名Previous Class title | |
| 開講時期Term | 春学期授業/Spring |
| 曜日・時限Day/Period | 金4/Fri.4 |
| 科目種別Class Type | |
| キャンパスCampus | 小金井 |
| 教室名称Classroom name | 各学部・研究科等の時間割等で確認 |
| 配当年次Grade | |
| 単位数Credit(s) | 2 |
| 備考（履修条件等）Notes | |
| 実務経験のある教員による授業科目Class taught by instructors with practical experience | |
| カテゴリーCategory | 応用情報工学専攻 |
すべて開くShow all
すべて閉じるHide All
Outline (in English)
Students will learn methods for the prediction and classification by using integrally data from multiple modal medium including CNN,RNN,LSTM and ensemble learning, and relevant theory including backpropagation and Expectation-Maximization algorithm. Students will also have an opportunity to investigate the difference on the practical procedures between for the case processing image and audio data and for the case processing data in a financial market. Students are required to make a presentation about the investigation result to other students, which can deepen the understanding of the lessons and improve presentation skills.
[Learning activities outside of classroom]
The review and the preparation of each lesson will take 4 hours. How to use MATLAB should be learnt by students themselves by mainly using web and with the help form the staff at the software center for the setting related things.
[Grading Criteria /Policy]
Grade is determined 20% by the submission of the assignment for each lesson and 80% by the evaluation of the presentation and how effective on the following question-and-answer session.
授業で使用する言語Default language used in class
日本語 / Japanese
授業の概要と目的（何を学ぶか）Outline and objectives
本講義では、画像，映像，音声，センサー情報等の異なるメディアの情報を統合的に用いて分類・予測を行う技術の原理と手法を学んでいく。さらに、金融工学など他の分野のデータ処理手法との比較を通して、データが得られてから適用する手法を選択するまでに必要となる実践的な手続きについて考えていく。以上の講義内容をふまえて、講師が与えるデータ分析テーマに対する自分としての取り組み手順をまとめて他の学生に対してプレゼンテーションを行う。これにより、講義で学んだ知識が本当に使えるレベルで身につくとともに、プレゼンテーションスキルを向上できる。
到達目標Goal
・時系列データを取り扱う隠れマルコフモデル（HMM）、RNN、LSTM の各手法を matlabで使えるようになる
・DNNのパラメータ更新の手法である逆誤差伝播法や潜在変数を持つモデルの最適化法であるEMアルゴリズムの理論を理解するとともに、高次元空間でのローカルミニマム問題の性質を知る。
・機械学習における最適化問題の特性から、過学習、正則化の意味を理解する
・金融工学の基本的手法を学ぶ
・与えられたデータに対して、適用すべき手法を判断するプロセスを経験する
・高度な技術を分かりやすくプレゼンする訓練を経験する
この授業を履修することで学部等のディプロマポリシーに示されたどの能力を習得することができるか（該当授業科目と学位授与方針に明示された学習成果との関連）Which item of the diploma policy will be obtained by taking this class?
ディプロマポリシーのうち、「DP1」「DP2」「DP3」に関連
授業で使用する言語Default language used in class
日本語 / Japanese
授業の進め方と方法Method(s)（学期の途中で変更になる場合には、別途提示します。 /If the Method(s) is changed, we will announce the details of any changes. ）
○講義形式で、画像・音声等の特定メディアに依存する処理技術、複数メディアを統合する処理についての代表的な技術について説明する．受講者は，MATLABを用いて提供されるコードを動作させて説明された技術の動作を体験し理解を深める．
○各受講者が，講師から与えられた問題提起に基づき、与えられたデータから適用すべき手法を決定するまでのプロセスを講師とともに検討し、その結果をまとめて他の受講者へプレゼンテーションする．
○講義の一部は、オンライン授業で実施予定。授業の方法や授業計画の変更、成績評価方法の変更などが必要になった場合は、学習支援システムでその都度提示する。担当教員から学習支援システムを通じた連絡がないか、日ごろからよく確認するようにしてください。
○講義資料の配布、プレゼン資料作成に必要な素材の提供は、「学習支援システム（Hoppii）」を通じて行う
○プレゼンに対するフィードバックは、発表直後に口頭で行う。
○質問やコメントの受付、およびそれらへのフィードバックは「学習支援システム（Hoppii）」を通じて行う。必要に応じて、質問・コメントを授業内で紹介し、さらなる議論に活かします
アクティブラーニング（グループディスカッション、ディベート等）の実施Active learning in class (Group discussion, Debate.etc.)
あり / Yes
フィールドワーク（学外での実習等）の実施Fieldwork in class
なし / No
授業計画Schedule
授業形態/methods of teaching：対面/face to face
※各回の授業形態は予定です。教員の指示に従ってください。
（1）[対面/face to face]：マルチモーダル情報処理とは
講義の進め方と内容の概略を紹介する。
（2）[オンライン/online]：機械学習とは
・機械学習の基本的概念と処理内容を一通り復習する
・勾配法、活性化関数、最尤法、ソフトマックス関数、クロスエントロピー等
（3）[オンライン/online]：ディープニューラルネットワークによる画像分類
・DNNのCNNによる画像分類手法の分類処理と学習過程の処理を学ぶ
・matlabで実例に触れる。
（4）[オンライン/online]：音の取り扱いと系列処理
・音の物理的性質と取り扱う方法を学ぶ
・時系列モデルとしてHMM、RNN、LSTMを学ぶ
・matlabで実例に触れる。
（5）[オンライン/online]：DNNでのパラメータ学習の理論
・CNN、RNN、LSTMにおける勾配法、誤差逆伝播法の理論を学ぶ
（6）[オンライン/online]：高度な最適化の理論：EM法とDNNにおけるローカルミニマム問題
・潜在変数を用いたより複雑な統計モデルを学ぶ
・EM法の理論を学ぶ
・DNNにおける高次元空間での最適化問題の特性を学ぶ
（7）[対面/face to face]：シーケンスtoシーケンス処理による動画像の分類
・時系列データとして動画像を対象に，DNNで分類を行う手法を概観する
（8）[対面/face to face]：シーケンスtoシーケンス処理による動画像分類法の学習
・時系列データとして動画像を対象に，DNNで分類を行う手法の学習処理を実践する
（9）[対面/face to face]：複数モーダルの統合方法：ブースティング、バギング
・モデルの集合学習の概要を学ぶ
・分類・回帰における損失とモデルの集合の関係を理解する
・代表的な手法であるAdaBoostの学習方法を理解する
（10）[対面/face to face]：機械学習における最適化問題、過学習、正則化
・未学習、過学習の統計的意味を学ぶ
・過学習を低減させる正則化処理の位置づけを学ぶ
・正則化処理の代表であるドロップアウト処理と集合学習の関連を学ぶ
（11）[対面/face to face]：金融工学の初歩的な手法との比較
・社会経済活動データの分析の実態を知る
・機械学習でのデータの性質や扱い方との違いを比較して理解する
（12）[対面/face to face]：めったに起こらない大災害をどうモデル化するか
・機械学習の手法を実際のデータに適用する際の様々な考慮点を講師と一緒に考察していく
（13）[対面/face to face]：プレゼンテーションに関する検討
・発表内容の検討と講師によるレビュー
（14）[対面/face to face]：プレゼンテーション
・受講者によるプレゼンテーション
授業時間外の学習（準備学習・復習・宿題等）Work to be done outside of class (preparation, etc.)
○本授業の準備・復習等の授業時間外学習は4時間を標準とする
○学んだ技術を自分の言葉で他の受講者に説明できるように深く理解してプレゼン資料の準備を行うこと。
テキスト（教科書）Textbooks
なし。
講義スライドは授業支援システムへ事前にアップする。
参考書References
パターン認識と機械学習 上 下（C.M. ビショップ著，丸善出版）
成績評価の方法と基準Grading criteria
講義で説明した技術の利用方法を検討して，その結果のプレゼンテーションを行ってもらう．評価は，平常点（２０％）プレゼンテーションの内容６０％と，他の発表への討論の内容（２０％）で行う．
学生の意見等からの気づきChanges following student comments
・受講者が自ら講義内容に関連した課題を解かせる機会を与えることで理解しやすくなる
・できるだけ具体例で処理の効果が分かるように講義内容を工夫する
・企業での研究開発内容の具体的な話を盛り込む
学生が準備すべき機器他Equipment student needs to prepare
プレゼン用に各自のノートPCを使用
また、各自のＰＣへ matlab 環境をダウンロードし、最新の状態に設定を行っておくこと