理工学研究科Graduate School of Science and Engineering
HUI500X3(人間情報学 / Human informatics 500)マルチモーダル情報処理特論Multimodal Interface
倉掛 正治Shoji KURAKAKE
授業コードなどClass code etc
学部・研究科Faculty/Graduate school | 理工学研究科Graduate School of Science and Engineering |
添付ファイル名Attached documents | |
年度Year | 2024 |
授業コードClass code | YB036 |
旧授業コードPrevious Class code | |
旧科目名Previous Class title | |
開講時期Term | 春学期授業/Spring |
曜日・時限Day/Period | 金4/Fri.4 |
科目種別Class Type | |
キャンパスCampus | 小金井 / Koganei |
教室名称Classroom name | 小西館‐W206 |
配当年次Grade | |
単位数Credit(s) | 2 |
備考(履修条件等)Notes | |
実務経験のある教員による授業科目Class taught by instructors with practical experience | |
カテゴリーCategory | 応用情報工学専攻 |
すべて開くShow all
すべて閉じるHide All
Outline (in English)
Students will learn methods for the prediction and classification by using integrally data from multiple modal medium including CNN,RNN,LSTM and ensemble learning, and relevant theory including backpropagation and Expectation-Maximization algorithm. Students will also have an opportunity to investigate the difference on the practical procedures between for the case processing image and audio data and for the case processing data in a financial market and in quantitative social science. Students are required to make a presentation about the investigation result for an assigned issue , which can deepen the understanding of the lessons and improve presentation skills.
[Learning activities outside of classroom]
The review and the preparation of each lesson will take 4 hours. How to use MATLAB should be learnt by students themselves by mainly using web and with the help form the staff at the software center for the setting related things.
[Grading Criteria /Policy]
Grade is determined 40% by the submission of the assignment for each lesson and 60% by the evaluation of the presentation and how effective on the following question-and-answer session.
授業で使用する言語Default language used in class
日本語 / Japanese
授業の概要と目的(何を学ぶか)Outline and objectives
本講義では、画像、映像、音声、センサー情報等の異なるメディアの情報を統合的に用いて分類・予測を行う技術の原理と手法を学んでいく。さらに、AIによる画像生成や大規模言語モデルの応用の事例を学び、分類や回帰以外への手法の適用について考えていく。以上の講義内容をふまえて、講師が与える課題(技術的な課題か応用に関する課題のどちらかを選択)に対して講義で学んだ手法や知識を適用して検討し、検討結果をスライドにまとめて他の学生に対してプレゼンテーションを行う。これにより、講義で学んだ知識が本当に使えるレベルで身につくとともに、プレゼンテーションスキルを向上できる。
到達目標Goal
・時系列データを取り扱う隠れマルコフモデル(HMM)、RNN、LSTM の各手法を matlabで使えるようになる。
・DNNのパラメータ更新の手法である誤差逆伝播法を理解するとともに、高次元空間での最適化問題の性質を知る。
・機械学習における最適化問題の特性から、過学習、正則化の意味を理解する。
・大規模言語モデルの利用(プロンプティング)を体験する。
・高度な技術を分かりやすくプレゼンする訓練を経験する。
この授業を履修することで学部等のディプロマポリシーに示されたどの能力を習得することができるか(該当授業科目と学位授与方針に明示された学習成果との関連)Which item of the diploma policy will be obtained by taking this class?
ディプロマポリシーのうち、「DP1」「DP2」「DP3」に関連
授業で使用する言語Default language used in class
日本語 / Japanese
授業の進め方と方法Method(s)(学期の途中で変更になる場合には、別途提示します。 /If the Method(s) is changed, we will announce the details of any changes. )
○基本的には講義形式で、画像・音声等の特定メディアに依存する処理技術、複数メディアを統合する処理についての代表的な技術が説明される。受講者は,MATLABを用いて提供されるコードを実行させて説明された技術の動作を体験し理解を深める。
○各受講者は、与えられる課題(技術的な課題か応用に関する課題のどちらかを選択)に対して、講師とともに検討し、その結果をまとめて他の受講者へプレゼンテーションする。
○講義の一部はオンライン授業で実施される予定。授業の方法や授業計画の変更、成績評価方法の変更などが必要になった場合は、学習支援システムのお知らせでその都度通知される。
○講義資料の配布、プレゼン資料作成に必要な素材の提供は、「学習支援システム(Hoppii)」を通じて行なわれる。
○担当講師によるプレゼンテーションに対するフィードバックは、発表直後に口頭で行なわれる。
○質問やコメントの受付、およびそれらへのフィードバックは「学習支援システム(Hoppii)」を通じて行なわれる。必要に応じて、質問・コメントが授業内で紹介され、さらなる議論に活かされる。
アクティブラーニング(グループディスカッション、ディベート等)の実施Active learning in class (Group discussion, Debate.etc.)
あり / Yes
フィールドワーク(学外での実習等)の実施Fieldwork in class
なし / No
授業計画Schedule
授業形態/methods of teaching:対面/face to face
※各回の授業形態は予定です。教員の指示に従ってください。
(1)[対面/face to face]:マルチモーダル情報処理とは
・講義の進め方と内容の概略を理解する
・統計的モデリングとは何かを確認する
(2)[対面/face to face]:深層ニューラルネットワーク(DNN)の基本的枠組み
・DNNの基本的概念と処理内容を一通り復習する(勾配法、活性化関数、最尤法、ソフトマックス関数、クロスエントロピー等)
(3)[オンライン/online]:DNNによる画像分類
・DNNのCNNによる画像分類手法の分類処理と学習過程の処理を学ぶ
・matlabで実例に触れる
(4)[対面/face to face]:音の取り扱いと系列データ処理
・音を取り扱う系列モデルの基礎を学ぶ
・DNNにおける系列モデルとしてHMM、RNN、LSTMを学ぶ
・matlabで実例に触れる
(5)[オンライン/online]:DNNでのパラメータ更新の理論
・CNN、RNN、LSTMにおける勾配法、誤差逆伝播法の理論を学ぶ
(6)[オンライン/online]:DNNにおける最適化
・DNNにおける学習手順の全体像を学び、高次元空間での最適化問題の特性を学ぶ
(7)[対面/face to face]:CNNの発展形
・Alexnet以降のCNNの処理方法の発展を概観する
・転移学習による学習オプション選定を実践する
(8)[対面/face to face]:DNNにおける系列データ処理の発展形
・Attentionの仕組みを学ぶ
・matlabで系列データ処理を実践する
(9)[オンライン/online]:機械学習における最適化問題、過学習、正則化
・学習不足、過学習の統計的意味を学ぶ
・過学習を防ぐ正則化処理を学ぶ
・正則化処理の代表であるドロップアウト処理と集合学習の関連を学ぶ
(10)[オンライン/online]:大規模言語モデル
・Transformerの構成と学習手順を学ぶ
(11)[オンライン/online]:大規模言語モデルを用いたマルチモーダル処理
・物体検出・医療画像処理の例を学ぶ
・画像生成の仕組みを学ぶ
・テキストと画像のマルチモーダル処理の詳細を学ぶ
(12)[オンライン/online]:生成AIの利用
・生成AI、大規模言語モデルを使ってみる
・大規模言語モデルや生成AIの新しい適用先について講師と共に考える
(13)[対面/face to face]:プレゼンテーション課題検討
・プレゼンテーション課題の検討を継続する
・講師によるレビューを受ける
(14)[対面/face to face]:プレゼンテーション
・受講者によるプレゼンテーションとQAを行う
授業時間外の学習(準備学習・復習・宿題等)Work to be done outside of class (preparation, etc.)
○本授業の準備・復習等の授業時間外学習は4時間を標準とする。
○学んだ技術を自分の言葉で他の受講者に説明できるように深く理解してプレゼン資料の準備を行うこと。
テキスト(教科書)Textbooks
特になし。
講義スライドは授業支援システムへ事前にアップする。
参考書References
パターン認識と機械学習 上 下(C.M. ビショップ著,丸善出版)
成績評価の方法と基準Grading criteria
平常点:40%
・毎回の講義において、講義の感想を授業支援システムにアップすること。感想は1~2行でよい。
・講義中に説明したMATLABでのコードの実行結果の提出を求められることがある。
プレゼンテーション:60%
・プレゼンテーションの内容は、2種類の課題から選択した課題への検討結果とする。
・プレゼンテーションの内容が課題に対応しているか、論理的な説明になっているか、学んだ知識を適切に使っているか、オリジナルな提案が含まれているか、等が評価基準。
学生の意見等からの気づきChanges following student comments
・受講者が自ら講義内容に関連した課題を解かせる機会を与えることで理解を促進する。
・できるだけ具体例で処理の効果が分かるように講義内容を工夫する。
・企業での研究開発内容の具体的な話を盛り込む。
学生が準備すべき機器他Equipment student needs to prepare
各自のノートPCを使用。
当該PCへは matlab 環境をダウンロードし、動作を確認しておくこと。matlabのバージョンは最新のバージョンにしておくこと。