基本情報/Basic Information

開講科目名 ／Class	応用機械学習特殊講義／Advanced Lecture on Applied Machine Learning
授業コード ／Class Code	J012271001
ナンバリングコード ／Numbering Code
開講キャンパス ／Campus	ﾎﾟｰﾄｱｲﾗﾝﾄﾞ
開講所属 ／Course	修士／
年度 ／Year	2025年度／Academic Year
開講区分 ／Semester	通年／FULL-YEAR
曜日・時限 ／Day, Period	火5(前期),火5(後期)／TUE5(SPR.),TUE5(AUT.)
単位数 ／Credits	4.0
主担当教員 ／Main Instructor	金澤　拓也／KANAZAWA　TAKUYA
遠隔授業 ／Remote lecture	No

担当教員情報/Instructor Information

教員名 ／Instructor	教員所属名 ／Affiliation
金澤　拓也／KANAZAWA　TAKUYA	経営学部／Business Administration

授業の方法 ／Class Format	講義，演習
授業の目的 ／Class Purpose	将来を予測し，効率のよい計画を立てて実行することは組織の維持運営にとって重要である。本科目は機械学習・深層学習による意思決定支援の方法論を理解することを目的とする。これは経済学研究科のDPの 「１．知識・理解：　経営学に関する高度な専門知識を有する。 　２・思考・判断：　経営学の学問領域の高度な研究方法をもって、自ら設定した課題を総合的に考察することができる。」 に関係している。 なお，この授業の担当者は，総合電機メーカーの研究所で６年間の実務経験のある教員であるので，より実践的な観点から機械学習システムについて解説する。 In this lecture we learn foundations and applications of machine learning for industry and business. A particular emphasis is on reinforcement learning. The attendees must be familiar with basics of statistics, mathematics, and Python.
到　達　目　標 ／Class Objectives	・逐次的意思決定の基本的な数理モデルを説明できる。 ・強化学習の基本概念を理解できる。 ・強化学習と教師あり学習・教師なし学習との違いを説明できる。 ・機械学習のプログラムを読んで理解できる。 - Understand mathematics of sequential decision making - Understand basic concepts of reinforcement learning - Can explain the difference between reinforcement learning, supervised learning, and unsupervised learning - Can read, comprehend, and run Python programs for machine learning
授業のキーワード ／Keywords	最適化，深層学習，強化学習，ベルマン方程式 Optimization, Deep learning, Reinforcement learning, Bellman equation
授業の進め方 ／Method of Instruction	主に講義により実施するが，PCを用いた演習も行うことによって知識の定着を図る。
履修するにあたって ／Instruction to Students	微積分，確率論，基礎統計学，Pythonの知識が必要である。 The attendees must be familiar with basics of statistics and mathematics, including los/exp/sin/cos functions, integral, derivative, partial derivative, matrix and vector multiplication, probability theory (including Bayesian probability). It is also required to know basic grammers of Python programming language.
授業時間外に必要な学修内容・時間 ／Required Work and Hours outside of the Class	概ね２時間程度の予習・復習が必要である。 At least 2 hours of practice and study at home is required.
提出課題など ／Quiz,Report,etc	レポートを課す予定である。 Reports must be submitted.
成績評価方法・基準 ／Grading Method・Criteria	単位認定は授業回数の3分の2以上の出席が前提となる。レポート（60％）とプレゼン（40%）によって評価する。 Overall grade will be decided on the basis of attendance record, reports, and final work presentation.
テキスト ／Required Texts	特定のテキストは用いない。 No specific text is used.
参考図書 ／Reference Books	Sutton, Barto,『強化学習（第2版）』，森北出版，2022 久保 隆宏，『Pythonで学ぶ強化学習 [改訂第2版] 入門から実践まで』，講談社，2019 梶野 洸ほか，『強化学習から信頼できる意思決定へ』，サイエンス社，2024

No.	回 ／Time	主題と位置付け ／Subjects and position in the whole class	学習方法と内容 ／Methods and contents	備考 ／Notes
1	第１回	ガイダンス	本講義の進め方や注意事項の説明
2	第２回	多段階意思決定	複数の互いに影響しあう意思決定を時系列的に行う問題の概要とその経営学・ビジネス・理工学での位置づけを俯瞰する
3	第３回	多腕バンディット問題(1)	バンディット問題を題材に，探索と活用のジレンマを理解する
4	第４回	多腕バンディット問題(2)	バンディット問題へのアプローチを学ぶ
5	第５回	動的計画法(1)	ベルマンの最適性原理を理解する
6	第６回	動的計画法(2)	効率的に多段階最適化問題を解くための方法論である動的計画法の仕組みと使い方を理解する
7	第７回	AIの不確実性推定(1)	ガウス過程回帰モデルによる予測の不確実性の評価について理解する
8	第８回	AIの不確実性推定(2)	その他のAIモデルによる予測の不確実性の評価について理解する
9	第９回	ベイズ最適化(1)	少ない評価回数で未知の関数の最適点を探すという課題の概要を把握する
10	第１０回	ベイズ最適化(2)	AIモデルを用いた不確実性を基にして少ない回数で効率的に未知関数の評価を行う，ベイズ最適化の枠組みの基礎を学ぶ
11	第１１回	ベイズ最適化(3)	EI, PI, UCBといった，様々なベイズ最適化のアプローチを学ぶ
12	第１２回	ベイズ最適化(4)	多目的ベイズ最適化について理解する
13	第１３回	ベイズ最適化(5)	新材料探索や鉱物資源探索など，産業界におけるベイズ最適化の様々な応用例をレビューする
14	第１４回	神経科学と心理学	脳における学習がどのように進むかの仮説を理解する
15	第１５回	強化学習(1)	マルコフ決定過程を理解する
16	第１６回	強化学習(2)	価値関数の定義，およびオンポリシー学習とオフポリシー学習の違いを理解する
17	第１７回	強化学習(3)	モンテカルロ法による学習を理解する
18	第１８回	強化学習(4)	時間差（TD）学習を理解する
19	第１９回	強化学習(5)	Q学習を理解する
20	第２０回	強化学習(6)	価値ベースと方策ベースの学習方法の違いを理解する
21	第２１回	ニューラルネットワーク	ニューラルネットワークを用いた深層学習の基礎原理を学ぶ
22	第２２回	強化学習(7)	深層学習を活用した深層Q学習（DQN）を理解する
23	第２３回	強化学習(8)	方策ベースの深層強化学習（PPOなど）を理解する
24	第２４回	強化学習(9)	ゲームに勝つAIを強化学習で作る方法を考える
25	第２５回	強化学習(10)	オフライン強化学習による，シミュレータなしで取得済みデータのみから学習する方法を学ぶ
26	第２６回	強化学習(11)	強化学習の社会実装例について学ぶ
27	第２７回	Pythonの復習	Python言語の文法と基本ライブラリを復習する
28	第２８回	機械学習の実践(1)	Pythonプログラミングにより，深層強化学習するAIエージェントを作成する
29	第２９回	機械学習の実践(2)	強化学習するAIエージェントをシミュレータでテストし評価する
30	第３０回	機械学習の実践(3)	最終結果をまとめてプレゼンする