国際文化学部Faculty of Intercultural Communication
COT300GA（計算基盤 / Computing technologies 300）コンピュータ音楽と音声情報処理Information of Sensibility
大嶋 良明Yoshiaki OHSHIMA
授業コードなどClass code etc
| 学部・研究科Faculty/Graduate school | 国際文化学部Faculty of Intercultural Communication |
| 添付ファイル名Attached documents | |
| 年度Year | 2022 |
| 授業コードClass code | C0821 |
| 旧授業コードPrevious Class code | |
| 旧科目名Previous Class title | |
| 開講時期Term | 春学期授業/Spring |
| 曜日・時限Day/Period | 水2/Wed.2 |
| 科目種別Class Type | |
| キャンパスCampus | 市ヶ谷 / Ichigaya |
| 教室名称Classroom name | 各学部・研究科等の時間割等で確認 |
| 配当年次Grade | 2～4 |
| 単位数Credit(s) | 2 |
| 備考（履修条件等）Notes | 情報関連科目を履修済みであることが望ましい |
| 他学部公開科目Open Program | ○ |
| 他学部公開（履修条件等）Open Program (Notes) | |
| グローバル・オープン科目Global Open Program | |
| 成績優秀者の他学部科目履修制度対象Interdepartmental class taking system for Academic Achievers | ○ |
| 成績優秀者の他学部科目履修（履修条件等）Interdepartmental class taking system for Academic Achievers (Notes) | |
| 実務経験のある教員による授業科目Class taught by instructors with practical experience | ○ |
| SDGsCPSDGs CP | |
| アーバンデザインCPUrban Design CP | |
| ダイバーシティCPDiversity CP | |
| 未来教室CPLearning for the Future CP | |
| カーボンニュートラルCPCarbon Neutral CP | |
| 千代田コンソ単位互換提供（他大学向け）Chiyoda Campus Consortium | |
| 旧科目との重複履修Duplicate Subjects Taken Under Previous Class Title | |
| 人数制限・選抜・抽選Capacity/Selection/Rondom | |
| 毎年・隔年Frequency | 毎年開講 |
すべて開くShow all
すべて閉じるHide All
Outline (in English)
This course deals with electronic music and audio design and implementation by use of Pure Data, a visual programming language in a workshop-type classroom environment. The typical in-semester projects include drum machines, sequencers, studio audio effects, and music synthesizers. Advanced learners are encouraged to pursue MIDI/OSC enabled applications in collaborative environments, integration with sensor-enabled control interface, and small Arduino projects for interactivity.
Grading policy is as follows:
In-class contribution: 30%
Homework and in-class assignment: 30%
Final assignment: 40%
Your must achieve at least 60% in the overall grade to pass for academic credit.
The average study time outside of class per week would be approximately 4 hours.
授業で使用する言語Default language used in class
日本語 / Japanese
授業の概要と目的（何を学ぶか）Outline and objectives
PCでシンセサイザやエフェクタを自作する。音楽や音声を扱うプログラムを作る。 本講義では、音を扱うためのビジュアルプログラミング言語であるPure Data(Pd)を使って、さまざまな音の表現方法を学び作品を制作する。人間の表現行為を工学的に扱うことで、人間と機械のよりよい協調をマルチメディア、特に音楽や音声などオーディオメディアにより実現したい。同時にMIDIやOSCによる他の機器との連携、ネットワーク環境での利用、IoTなど現代的な利用のあり方を学ぶ。
到達目標Goal
コンピュータ上で、音を生成する方法や、音の大きさ、長さ、音色、発音タイミングなどを制御する方法を習得し、サウンドプログラミングの基礎が理解できるようになる。Pure Data(Pd)に習熟しビジュアルプログラミングの考え方とコンピュータ音楽への応用が身につく。オープンソースソフトウェアとしてのPdの利点を認識し、Windows、 MacなどOSや機器の違いに影響されない作品作り、電子楽器とコンピュータとの連携を構想できるようになる。音響モデリングの実現例が切り開く先端的な音響処理の分野を理解できるようになる。
この授業を履修することで学部等のディプロマポリシーに示されたどの能力を習得することができるか（該当授業科目と学位授与方針に明示された学習成果との関連）Which item of the diploma policy will be obtained by taking this class?
国際文化学部のディプロマポリシーのうち、「DP4」に関連。
授業で使用する言語Default language used in class
日本語 / Japanese
授業の進め方と方法Method(s)（学期の途中で変更になる場合には、別途提示します。 /If the Method(s) is changed, we will announce the details of any changes. ）
ビジュアルプログラミング言語Pdを使用して、情報教室でデモと実習を中心に学習を進め、音楽や電子楽器の自作を目指す。学期末を含めてセメスタ内に数回の課題を課す。講義・実習と平行して、Pdによる音響モデリングの先端的な実現例をAndy Farnellのサンプルプログラムから学ぶ。
アクティブラーニング（グループディスカッション、ディベート等）の実施Active learning in class (Group discussion, Debate.etc.)
あり / Yes
フィールドワーク（学外での実習等）の実施Fieldwork in class
なし / No
授業計画Schedule
授業形態/methods of teaching：対面/face to face
※各回の授業形態は予定です。教員の指示に従ってください。
1[対面/face to face]：ガイダンスおよびPureData(Pd)の概要
【講義と実習】PureData(Pd)とは何かを知り、基本的な操作方法を学ぶ。
【音響モデリング】DTMFトーン（プッシュホン）や家電話の呼出し音のモデル化を学ぶ。
2[対面/face to face]：Pdの基礎
【講義と実習】パッチ（Pdのプログラム）を作成する方法を学び、簡単な例題演習でパッチ作成の基本を習得する。
【音響モデリング】ボールが地面で跳ね返る音のモデル化を学ぶ。
3[対面/face to face]：音を出す
【講義と実習】音とは何か、コンピュータでの音響現象の扱いを理解し、音を出すパッチを作成する。
【音響モデリング】雷鳴の轟きのモデル化を学ぶ。
4[対面/face to face]：メトロノームを作る
【講義と実習】音出しのタイミング制御、音の繰り返し、テンポ設定の方法を学び、メトロノーム機能を実現する。パッチのテスト方法について学ぶ。
【音響モデリング】時を刻む柱時計のモデル化を学ぶ。
5[対面/face to face]：サンプラー機能を作る
【講義と実習】
オーディオサンプルの再生や録音した音をPdで使う方法を学ぶ。
【音響モデリングの世界】
ジェット・エンジン音のモデル化を学ぶ。
6[対面/face to face]：リズムマシン (1)
【講義と実習】サンプラーで録音した音をさまざまなリズムで演奏するリズムマシンの基本形を作成する。
【音響モデリング】ヘリコプター飛行音のモデル化を学ぶ。
7[対面/face to face]：リズムマシン (2)
【講義と実習】リズムマシン基本形を発展させ、各ドラムパート音源を増やしモジュール化することで自動演奏楽器として完成させる。
【音響モデリング】人間の歌声のモデル化を学。
8[対面/face to face]：シンセサイザーとMIDI(1)
【講義と実習】波形合成によるシンセサイザーを作成する。MIDIによる電子楽器の制御方法を理解する。
【音響モデリング】ロボット（スターウォーズR2D2）の応答のモデル化を学ぶ。
9[対面/face to face]：シンセサイザーとMIDI(2)
【講義と実習】シンセサイザーの出力音にポルタメントやビブラートなどの効果を加える方法について学ぶ。MIDI信号による制御を付加する。
10[対面/face to face]：インタラクティブ・アート：音と時間構造
【講義と実習】ルーパー、ランダム再生など音響再生と時間構造の関係を理解し、インタラクティブな制御に組み込む。
【課題制作】課題のガイダンス。最終課題を構想する。
11[対面/face to face]：インタラクティブ・アート：音と映像の連携
【講義と実習】
音に映像を連携させる手法を学ぶ。Webカメラから信号をPdで加工する方法やPdで映像を制御する方法を学ぶ。
【課題制作】進捗状況と問題点の共有。技法面での個々の問題点をクラス内で共有し、有効な解決を図る。
12[対面/face to face]：ネットワーク環境への拡張
【講義と実習】OSCプロトコルを理解し、ネットワーク環境下で複数のPdパッチや外部制御を連動させる方法を学ぶ。
【課題制作】進捗状況と問題点の共有。技法面での個々の問題点をクラス内で共有し、有効な解決を図る。
13[対面/face to face]：フィジカル・コンピューティングとの連携
【講義と実習】Arduino、Raspberry Pi、Kinect、Leap Motionなどフィジカル・コンピューティングと関連デバイスを学ぶ。PduinoによるPdとArduinoの連携方法を学ぶ。
14[対面/face to face]：まとめ
学習成果の総まとめを行う。課題作品の発表と相互批評、講評を行う。
授業時間外の学習（準備学習・復習・宿題等）Work to be done outside of class (preparation, etc.)
情報リテラシー、メディア情報基礎、ディジタル情報学概論等の関連科目を前提知識として挙げておく。PdはオープンソースのソフトウェアでありWindowsでもMacでもフリーで配布されており、情報カフェテリアのPCにもインストールされている。スマホ用にもPdの実行環境は提供されている。授業時間外でのPdの実行環境を自分用に整備し、学習内容を十分に予習復習すること。本授業の準備学習・復習時間は各２時間を標準とします。
テキスト（教科書）Textbooks
実習内容を記したプリントを配布する。
参考書References
参考書・参考資料等
【Pure Data】
美山千香士、『Pure Data チュートリアル＆リファレンス』、ワークスコーポレーション (2013) ISBN: 978-4862671424
松村 誠一郎、『Pd Recipe Book -Pure Dataではじめるサウンドプログラミング』、ビー・エヌ・エヌ新社(2012) ISBN: 978-4861007804
中村隆之、『「PureData」ではじめるサウンド・プログラミング―「音」「映像」のための「ビジュアル・プログラミング」言語』、工学社 (2015) ISBN: 978-4777518821
【音響モデリング】
Andy Farnell, "Designing Sound," MIT Press(2010), ISBN:978-0262014410
成績評価の方法と基準Grading criteria
平常点（30％）、課題（30％）、最終課題の評点（40％）で成績を評価する。この成績評価の方法をもとに、本授業の到達目標の60%以上を達成した者を合格とする。
学生の意見等からの気づきChanges following student comments
講義だけではなく、実習を通して技術を体験できる授業にする。しかし、サウンドプログラミングの習得には毎回の授業だけではなく、課題の発展的応用を通じてコンピュータ音楽や音響現象への理解を深めることが同時に役に立つ。ぜひ情報実習室や個人のPCを利用して、授業時間以外にもプログラミングの復習時間を確保してほしい。またWeb公開されているさまざまな音響イベントやメディアアートの記録も積極的に参考にして欲しい。楽器屋で電子楽器に触れてみるのも良い体験となる。専門的な音楽の知識は必要としないが、音楽や音響への興味を大事にして授業に取り組んでほしい。
学生が準備すべき機器他Equipment student needs to prepare
情報実習室のデスクトップPCを使用する。Pdはフリーにダウンロードできるので個人PC（Mac版、Linux版もある）にインストールすれば教室と同じ環境で作業できる。Raspberry Pi、 Arduino、 Kinect、 Leap Motionなどの実習機器は担当教員が用意するので、受講のために購入する必要はない。
その他の重要事項Others
実務経験のある教員による授業：
担当教員はIT企業での研究所勤務において15年間のディジタル信号処理（特にディジタル音響、音声合成、統計モデルによる音声認識）、マルチメディア処理（音楽音響、電子透かし）分野の経験がある。