理工学部Faculty of Science and Engineering
COT200XG（計算基盤 / Computing technologies 200）情報エントロピーEntropy and Information Theory
三好 真Makoto MIYOSHI
授業コードなどClass code etc
| 学部・研究科Faculty/Graduate school | 理工学部Faculty of Science and Engineering |
| 添付ファイル名Attached documents | |
| 年度Year | 2022 |
| 授業コードClass code | H9027 |
| 旧授業コードPrevious Class code | |
| 旧科目名Previous Class title | |
| 開講時期Term | 秋学期授業/Fall |
| 曜日・時限Day/Period | 月4/Mon.4 |
| 科目種別Class Type | |
| キャンパスCampus | 小金井 |
| 教室名称Classroom name | 各学部・研究科等の時間割等で確認 |
| 配当年次Grade | |
| 単位数Credit(s) | |
| 備考（履修条件等）Notes | |
| 他学部公開科目Open Program | |
| 他学部公開（履修条件等）Open Program (Notes) | |
| グローバル・オープン科目Global Open Program | |
| 成績優秀者の他学部科目履修制度対象Interdepartmental class taking system for Academic Achievers | |
| 成績優秀者の他学部科目履修（履修条件等）Interdepartmental class taking system for Academic Achievers (Notes) | |
| 実務経験のある教員による授業科目Class taught by instructors with practical experience | |
| SDGsCPSDGs CP | |
| アーバンデザインCPUrban Design CP | |
| ダイバーシティCPDiversity CP | |
| 未来教室CPLearning for the Future CP | |
| カーボンニュートラルCPCarbon Neutral CP | |
| 千代田コンソ単位互換提供（他大学向け）Chiyoda Campus Consortium | |
| カテゴリー＜理工学部＞Category |
創生科学科 学科専門科目 |
すべて開くShow all
すべて閉じるHide All
Outline (in English)
Information theory is the foundation of technologies used for computer information processing and information exchange through the Internet, mobile phones, and the like. In the future advanced information society, it is very important to acquire the foundation of information theory, that is, information theory thinking method no matter what kind of occupation. In this lecture, we will learn the basics of information theory such as information quantity and entropy, model of information source, coding, error correction, encryption, starting from the basis of binary number and probability/statistics.
Learning Objectives:
In information theory, which is the foundation of the advanced information society, students will understand how the concept of information is mathematically defined and how it is mathematically treated to be used as applied technology in the real world. Specifically, the objectives of this course are to understand stochastic events, to be able to calculate probabilities under given conditions, to understand the definition of information quantity (entropy), and to understand basic coding and encryption methods.
Grading Criteria /Policy:
Review is more important than preparation because reviewing and revising within a day will increase your memory.
Grading Criteria /Policy:
A final exam will be given at the end of the semester. Students can bring in paper-based materials (notebooks, textbooks, and other notes on paper). The use of a functional calculator is also permitted. Even if you don't attend the class even once and don't take notes in the lecture, you will be given credit depending on your performance in the exam.
(In some cases, you will be required to submit reports on your assignments: for example, when we are unable to perform a regular exam due to corona preparation.)
授業で使用する言語Default language used in class
日本語 / Japanese
授業の概要と目的（何を学ぶか）Outline and objectives
コンピュータによる情報処理や、インターネットや携帯電話などを通じた情報交換に使われる技術の基礎が情報理論である。これからの高度情報化社会では、どのような職業につこうとも、情報理論の基礎、すなわち情報理論的な思考方法を身につけておくことがとても大事になるであろう。この講義では、2進数および確率・統計の基礎から始めて、情報量とエントロピー、情報源のモデル、符号化、誤り訂正、暗号化などの情報理論の基礎を学ぶ。
到達目標Goal
高度情報化社会の基礎となる情報理論において、情報という概念が数学的にどのように定義され、どのような数学的扱いによって実社会の応用技術として使われているかを理解する。具体的には、確率事象を理解し与えられた条件の下で確率が計算できる、情報量（エントロピー）の定義を理解する、基本的な符号化と暗号化の手法を理解することが目標となる。
この授業を履修することで学部等のディプロマポリシーに示されたどの能力を習得することができるか（該当授業科目と学位授与方針に明示された学習成果との関連）Which item of the diploma policy will be obtained by taking this class?
ディプロマポリシーのうち、「DP1」と「DP2」と「DP4」に関連
授業で使用する言語Default language used in class
日本語 / Japanese
授業の進め方と方法Method(s)（学期の途中で変更になる場合には、別途提示します。 /If the Method(s) is changed, we will announce the details of any changes. ）
ほぼ教科書に沿って進める。講義に出席しなくても講義内容が理解できるなら、それでよい（逆に言うと、出席点は考慮しない）。成績は最後の筆記試験(場合によっては課題に対するレポート提出）によって判断する。
アクティブラーニング（グループディスカッション、ディベート等）の実施Active learning in class (Group discussion, Debate.etc.)
なし / No
フィールドワーク（学外での実習等）の実施Fieldwork in class
なし / No
授業計画Schedule
授業形態/methods of teaching：対面/face to face
※各回の授業形態は予定です。教員の指示に従ってください。
1[対面/face to face]：2進数の基礎
2進数と16進数、文字コード
2[対面/face to face]：確率論の基礎 (1)
集合、試行と事象、確率
3[対面/face to face]：確率論の基礎 (2)
条件付確率、ベイズの定理、確率変数
4[対面/face to face]：情報量とエントロピー (1)
情報量、自己情報量、情報量の加法性
5[対面/face to face]：情報量とエントロピー (2)
平均情報量とエントロピー、最大エントロピー
6[対面/face to face]：情報量とエントロピー (3)
結合エントロピー、条件付エントロピー、シャノンの基本不等式
7[対面/face to face]：情報量とエントロピー (4)
相互情報量
8[対面/face to face]：符号化の基礎知識 (1)
符号化と冗長度、一意的復号可能と瞬時復号可能
9[対面/face to face]：符号化の基礎知識 (2)
クラフトの不等式、符号化の評価
10[未定/undecided]：高効率の符号化
シャノン・ファノの符号化法、ハフマンの符号化法
11[未定/undecided]：雑音のある場合の符号化(1)
シャノンの第2基本定理、ハミング距離
12[未定/undecided]：雑音のある場合の符号化(2)
パリティ検査法、ハミング符号
13[未定/undecided]：暗号による通信(1)
暗号系のモデル、簡単な暗号系
14[未定/undecided]：暗号による通信(2)
暗号の安全性、暗号系の分類
授業時間外の学習（準備学習・復習・宿題等）Work to be done outside of class (preparation, etc.)
【本授業の準備・復習等の授業時間外学習は、4時間を標準とする】復習はするに限る。1日以内に復習、見直しを行うと記憶は増すからである。
テキスト（教科書）Textbooks
「わかりやすいディジタル情報理論」 塩野 充著、オーム社 2008年
---本書に沿って講義する。
参考書References
「情報理論入門」吉田裕亮著 Computer Science Library 2 サイエンス社 2009年
「情報理論」甘利俊一 ちくま学芸文庫 2011年
「シャノンの情報理論入門」高岡詠子 BLUE BACKS(講談社) 2012年
成績評価の方法と基準Grading criteria
学期末の最終試験を行う。紙媒体のもの（ノート・教科書・その他紙に書いたメモ）持ち込み可。関数電卓の使用を認める。仮に一度の出席もせず、講義のノートをとっていなくても、試験の成績次第で単位を与える。
(場合によっては課題に対するレポート提出：コロナ対策のため通常の試験ができない時など）
学生の意見等からの気づきChanges following student comments
講義中に不明なことは、その場で質問を。