理工学研究科Graduate School of Science and Engineering
PRI500X4（情報学基礎 / Principles of informatics 500）機械学習特論２Machine Learning 2
柴田 千尋Chihiro SHIBATA
授業コードなどClass code etc
| 学部・研究科Faculty/Graduate school | 理工学研究科Graduate School of Science and Engineering |
| 添付ファイル名Attached documents | |
| 年度Year | 2023 |
| 授業コードClass code | YC045 |
| 旧授業コードPrevious Class code | |
| 旧科目名Previous Class title | |
| 開講時期Term | 秋学期授業/Fall |
| 曜日・時限Day/Period | 金3/Fri.3 |
| 科目種別Class Type | |
| キャンパスCampus | 小金井 |
| 教室名称Classroom name | 各学部・研究科等の時間割等で確認 |
| 配当年次Grade | |
| 単位数Credit(s) | |
| 備考（履修条件等）Notes | |
| 実務経験のある教員による授業科目Class taught by instructors with practical experience | |
| カテゴリーCategory | システム理工学専攻 |
すべて開くShow all
すべて閉じるHide All
Outline (in English)
[Outline]
This lecture aims to acquire basic knowledge of Transformer models, an architecture of deep neural networks that has been attracting a lot of attention recently, and how it is used mainly from a programming perspective. The aim of this lecture is to deepen the understanding of the Transformer model by actually writing programs using the python language and a library called pytorch.[Learning Activities Outside of Classroom]
Basic knowledge of Python language is required in advance.
[Grading Criteria]
Evaluation is based on the report submitted at the end of the semester.
授業で使用する言語Default language used in class
日本語 / Japanese
授業の概要と目的（何を学ぶか）Outline and objectives
本講義では，最近注目度の高い，深層ニューラルネットの一つの技術である，Transformer モデルについての基礎知識を，主にプログラミングの観点から，自然言語処理と画像処理を対象に，どのように用いられるのかについての知識を獲得することを狙う．本講義では python言語，および pytorch と呼ばれるライブラリを用いたプログラムを実際に作成することことを通して，より深く理解することを狙う．
到達目標Goal
Transformer とはどのようなモデルかについての一般的な知識を獲得する．また，それらが現実の問題に対して，どのような応用の可能性があるかについての視野を広げる．また，実際にどのようにプログラムされるのかについて理解を深める．
この授業を履修することで学部等のディプロマポリシーに示されたどの能力を習得することができるか（該当授業科目と学位授与方針に明示された学習成果との関連）Which item of the diploma policy will be obtained by taking this class?
ディプロマポリシーのうち、「DP1」「DP2」「DP3」に関連
授業で使用する言語Default language used in class
日本語 / Japanese
授業の進め方と方法Method(s)（学期の途中で変更になる場合には、別途提示します。 /If the Method(s) is changed, we will announce the details of any changes. ）
講義中に，ノートPCを用いて実際のプログラムを参照し，記述してゆく．また，講義の最後にレポートの提出を求める．
アクティブラーニング（グループディスカッション、ディベート等）の実施Active learning in class (Group discussion, Debate.etc.)
なし / No
フィールドワーク（学外での実習等）の実施Fieldwork in class
なし / No
授業計画Schedule
授業形態/methods of teaching：対面/face to face
※各回の授業形態は予定です。教員の指示に従ってください。
1[対面/face to face]：導入
この講義の進め方や，全体像，必要となる基礎知識について説明する．また，深層学習の基本的な知識について，説明を行う．
2[対面/face to face]：Transformerモデル1
Transformerモデルの基本的な構造について説明を行う．
3[対面/face to face]：Transformerモデル2
引き続き，Transformerモデルの基本的な構造について詳細の説明を行う．
4[対面/face to face]：BERT系のモデル1
BERT とよばれるTransformer を用いたモデルについて説明を行う．
5[対面/face to face]：BERT系のモデル2
BERT の改良モデルなど，BERT に関係するモデルについて，より詳細な説明を行う．
6[対面/face to face]：自然言語処理の基礎的なタスク1(言語理解)
BERT を用いた自然言語のタスクについて，特に言語理解に関するタスクに焦点を当て，どのようなものがあるのか，講義を行う．
7[対面/face to face]：自然言語処理の基礎的なタスク2(機械翻訳)
引き続き，自然言語処理タスクへの応用として，機械翻訳にTransformer モデルを用いた機械翻訳に関して，講義を行う．
8[オンライン/online]：自然言語処理の基礎的なタスク3(テキスト生成)
引き続き，自然言語処理タスクへの応用として，Transformer モデルを用いたテキスト生成に関して，説明を行う．
9[オンライン/online]：画像処理における Transformer
画像処理においてTransformer がどのように使われるのかについて説明を行う．
10[オンライン/online]：Vision Transformer モデル 1
Vision Transformer モデルの詳細について講義を行う．
11[オンライン/online]：Vision Transformer モデル 2
Vision Transformer モデルの可視化技術等の詳細について説明を行う．
12[オンライン/online]：Vision Transformer モデル の応用
Vision Transformer モデルの適用の観点から，いくつかの画像処理の応用的なタスクについて，講義を行う．
13[オンライン/online]：Vision Transformer モデル の派生と発展的テーマ
Vision Transformer モデル の発展的テーマについて，解説を行う．
14[オンライン/online]：今後の展望
講義の全体のまとめと，Transformer の今後の展望について説明する．
授業時間外の学習（準備学習・復習・宿題等）Work to be done outside of class (preparation, etc.)
【本授業の準備・復習時間は、各４時間を標準とします。】
テキスト（教科書）Textbooks
Denis Rothman，黒川利明 訳「Transformer による自然言語処理」朝倉書店
片岡裕雄 監修，「Vision Transformer 入門」技術評論社
参考書References
特になし
成績評価の方法と基準Grading criteria
学期末に提出するレポートにて評価を行う．
学生の意見等からの気づきChanges following student comments
本年度新規科目につきアンケートを実施していません．
学生が準備すべき機器他Equipment student needs to prepare
ノートPC
その他の重要事項Others
python言語について基礎的な知識を持っていることが望ましい．