理工学研究科Graduate School of Science and Engineering
HUI500X3（人間情報学 / Human informatics 500）情報信号処理工学特論１Signal Processing (Ⅰ)
周 金佳Jinjia ZHOU
授業コードなどClass code etc
| 学部・研究科Faculty/Graduate school | 理工学研究科Graduate School of Science and Engineering |
| 添付ファイル名Attached documents | |
| 年度Year | 2022 |
| 授業コードClass code | YB012 |
| 旧授業コードPrevious Class code | |
| 旧科目名Previous Class title | |
| 開講時期Term | 春学期授業/Spring |
| 曜日・時限Day/Period | 金3/Fri.3 |
| 科目種別Class Type | |
| キャンパスCampus | 小金井 |
| 教室名称Classroom name | 各学部・研究科等の時間割等で確認 |
| 配当年次Grade | |
| 単位数Credit(s) | 2 |
| 備考（履修条件等）Notes | |
| 実務経験のある教員による授業科目Class taught by instructors with practical experience | |
| カテゴリーCategory | 応用情報工学専攻 |
すべて開くShow all
すべて閉じるHide All
Outline (in English)
This course will introduce the key coding and information theories, including information entropy, conditional entropy, mutual information. Moreover, this course will also introduce the coding theories including source coding for data compression and channel coding for data transmission over a noisy channel, all based on the substantial concept of entropy. The goal is to understand the basic knowledge of information and coding systems.
Before/after each class, students are expected to spend 1 hour understanding the course content.
The final grade will be calculated by reports (40%) and final examination (60%).
授業で使用する言語Default language used in class
英語 / English
授業の概要と目的（何を学ぶか）Outline and objectives
情報理論は情報システムの中心的基礎理論である。情報とは何かということに関し「エントロピー」の概念および基礎的な「符号理論」についての知識を学ぶ。条件付きエントロピーや相互情報量などの本質的概念も理解する。符号理論では情報源の符号化と誤り訂正符号として基礎的な巡回符号理論を中心に学ぶ。
到達目標Goal
本講義を履修することにより、以下の知識と能力を修得する。
（１）情報，情報源を理解した上で，自己情報量と平均情報量が計算できる。
（２）情報源符号化の意味を理解した上で，基本的な符号化の方法とその効果を評価できる。
（３）与えられた情報源に対して結合エントロピー，条件付きエントロピー，相互情報量が計算できる。
（４）通信路モデルに対して通信路容量，復号誤り率が計算できる。
（５）通信路符号化の意味を理解した上で，与えられた符号の符号化及び復号が行える。
この授業を履修することで学部等のディプロマポリシーに示されたどの能力を習得することができるか（該当授業科目と学位授与方針に明示された学習成果との関連）Which item of the diploma policy will be obtained by taking this class?
ディプロマポリシーのうち、「DP1」「DP2」「DP3」に関連
授業で使用する言語Default language used in class
英語 / English
授業の進め方と方法Method(s)（学期の途中で変更になる場合には、別途提示します。 /If the Method(s) is changed, we will announce the details of any changes. ）
パワーポイント、板書と視聴覚メディアを活用しながら講義形式ですすめる。
毎回プリントを配布する。
講義内容に関連した演習課題（プログラミング課題も含む）を必要に応じて出題し，レポートを「学習支援システム」を通じて提出する。
アクティブラーニング（グループディスカッション、ディベート等）の実施Active learning in class (Group discussion, Debate.etc.)
あり / Yes
フィールドワーク（学外での実習等）の実施Fieldwork in class
なし / No
授業計画Schedule
授業形態/methods of teaching：対面/face to face
※各回の授業形態は予定です。教員の指示に従ってください。
1[オンライン/online]：情報理論の概要
Overview of information theory
序論として情報のモデル化、情報量、情報の発生、情報の表現。情報の伝送、およびこれらのモデル化について概説する。
Overview of information theory including information model, source coding, and transmission.
2[オンライン/online]：確率論の基礎
Review of probability theory.
確率変数と確率分布，条件付き確率，ベイズの定理など，情報理論に関係の深い確率論の基礎を復習する。
Review the basic concepts in probability theory.
3[オンライン/online]：情報量
Measure the information
自己情報量と平均情報量について解説する。Introduce self-information and how to measure the average information.
4[オンライン/online]：エントロピー
Information entropy.
エントロピー関数を紹介し，エントロピーの数学的性質を証明する。
Introduce how to calculate information entropy, and how to prove the mathematical properties.
5[対面/face to face]：条件付エントロピーおよび結合エントロピー
Conditional entropy and joint entropy.
条件付エントロピーおよび結合エントロピーについて紹介する。各種エントロピーの性質、関係について学ぶ。
Introduce the concepts and properties of conditional entropy and joint entropy.
6[対面/face to face]：情報源
Source information
無記憶情報源、情報源のエントロピーについて学ぶ。
Learn about memoryless information source, source information entropy
7[対面/face to face]：情報源符号化
Source coding
情報源符号化、クラフトの不等式、平均符号長について学ぶ。
Learn about source coding, Kraft inequality, and average coding length.
8[対面/face to face]：符号化アルゴリズム（１）
Coding algorithm (1)
シャノン符号およびファノ符号のアルゴリズムについて学ぶ。
Learn about Shannon code and Fano code.
9[対面/face to face]：符号化アルゴリズム（２）
Coding algorithm (2)
ハフマン符号のアルゴリズムについて学ぶ。
Learn about Huffman code.
10[対面/face to face]：通信路符号化
Channel coding
通信路における符号化として、誤りの発生と制御について説明する。誤りの検出と訂正の原理について概要を理解する。
Learn channel coding.
Understand the principles of error detection and correction.
11[対面/face to face]：誤り訂正符号
Error detection and correction
ハミング符号、繰り返し符号について学ぶ。
Learn about hamming code.
12[対面/face to face]：通信路のモデルと通信路容量
Channel model and channel capacity
通信路のモデルを理解する。通信路容量の意味と計算方法を理解する。
Understand channel model and how to calculate channel capacity.
13[対面/face to face]：相互情報量
Mutual information
相互情報量は受信される情報量は送信される情報量から通信路で失う情報量を減算することで得られることの概念を理解する。Understand the concept of mutual information. Learn about how to calculate mutual information.
14[対面/face to face]：まとめ
Summary
講義全体をまとめ,理解を確かめる。
Summarize the lecture and confirm the understanding
授業時間外の学習（準備学習・復習・宿題等）Work to be done outside of class (preparation, etc.)
【本授業の準備・復習時間は、各1時間を標準とします。】講義内容に関連した演習課題を必要に応じて出題し，レポートを「学習支援システム」を通じて提出するようにして，授業時間外の学習を行う。本授業の準備・復習時間は、各1時間を標準とします。
テキスト（教科書）Textbooks
"A Student’s Guide to Coding and Information Theory", Stefan. M. Moser, Cambridge.
参考書References
"An introduction to information theory: symbol, signals and noise", John R. Pierce, Science.
"Elements of information theory". 2nd edition, Thomas M. Cover and Joy A, Wiley.
成績評価の方法と基準Grading criteria
成績は期末試験40%、レポート課題60%として評価する。
成績評価は100点満点とし、60点以上が合格となります。
Final examination: 40%
Reports: 60%
学生の意見等からの気づきChanges following student comments
特になし
その他の重要事項Others
確率論、代数・統計の基礎を修得できていることが求められる。
オンラインでの開講となった場合、オンライン授業の方法や授業計画の変更、成績評価方法の変更などについては、学習支援システムでその都度提示する。担当教員から学習支援システムを通じた連絡がないか、日ごろからよく確認するようにしてください。