defter / katalog / EEE 448

EEE 448 Reinforcement Learning and Dynamic Programming

Sequential decision-making under uncertainty is the central question here: how should an agent act when outcomes are stochastic and the world's dynamics are only partially known? You'll move from the clean Markov decision process world, where Bellman equations and dynamic programming give you exact answers, into the messier model-free regime of Q-learning, temporal difference, and policy gradients, with multi-armed bandits framing the exploration-exploitation tradeoff. Two quizzes, a midterm, a final, and an implementation project anchor the work; the math leans on probability and linear algebra, and what you build here is the foundation for control, robotics, and modern ML research.

Kredi 3 ECTS 5 Fakülte Mühendislik Fakültesi Bölüm Elektrik-Elektronik Mühendisliği Koordinatör Muhammed Ömer Sayın

Ön koşul (MATH 250 veya MATH 255 veya MATH 230) ve (MATH 220 veya MATH 224 veya MATH 225 veya MATH 241)

→ STARS müfredatı (resmi syllabus)

EEE 448 dersinde kaç midterm var, ağırlıkları ne?

İzlencede 1 midterm var, ağırlığı %30. Final %35. Kalan %35 dersin öteki kalemlerinde. Tam dağılım aşağıda.

EEE 448 dersinin ön koşulu var mı?

Evet. Bilkent kataloğuna göre ön koşulu: (MATH 250 veya MATH 255 veya MATH 230) ve (MATH 220 veya MATH 224 veya MATH 225 veya MATH 241).

EEE 448 dersinde hangi kitap okunuyor?

İzlencede zorunlu kitap: Mathematical Foundation of Reinforcement Learning, Shiyu Zhao, 2025, Springer. İzlence toplam 2 kaynak sayıyor.

EEE 448 kaç kredi?

3 Bilkent kredisi, 5 AKTS.

Haftalık müfredat 14 hafta

Hafta 114–20 Eyl

Giriş ve olasılık tekrarı

Introduction and Probability Review

girişolasılıktekrar

Hafta 221–27 Eyl

Markov chains (Markov zincirleri)

Markov Chains

Markov chains

Hafta 328 Eyl – 4 Eki

Markov decision processes (MDP)

Markov Decision Processes

Markov decision processes

Hafta 45–11 Eki

Bellman equation

Hafta 512–18 Eki

Bellman optimality equation

Hafta 619–25 Eki

Value iteration ve policy iteration

Value Iteration & Policy Iteration

value iterationpolicy iteration

Hafta 726 Eki – 1 Kas

Monte Carlo yöntemleri

Monte Carlo Methods

Monte Carlo methods

Hafta 82–8 Kas

Multi-armed bandit problemleri

Multi-armed Bandits

multi-armed bandits

Hafta 99–15 Kas

Stochastic approximation yöntemi

Stochastic Approximation

stochastic approximation

Hafta 1016–22 Kas

Temporal Difference yöntemleri

Temporal Difference Methods

temporal difference methods

Hafta 1123–29 Kas

Value function yöntemleri ve function approximation

Value Function Methods & Function Approximation

value functionfunction approximation

Hafta 1230 Kas – 6 Ara

Policy gradient yöntemleri

Policy Gradient Methods

policy gradientreinforcement learning

Hafta 137–13 Ara

Actor-critic yöntemleri

Actor-Critic Methods

actor-critic methods

Hafta 1414–20 Ara

Proje demo sunumları

Project Demos

proje demosu

Değerlendirme 100% · 4 adım

20%

30%

35%

15%

Quiz Quizzes 20%

Midterm: Essay/written Midterm 30%

Final: Essay/written Final 35%

Project Individual Project 15%

en büyük tek kalem %35 · sınav ağırlığı %85 nasıl hesaplanıyor

Notunu hesapla

Kalem	Ağırlık	Notun (100 üzerinden)
Quizzes	%20
Midterm	%30
Final	%35
Individual Project	%15

Hedef toplam puanın

Bildiğin notları gir; girmediklerin hesaba katılmaz.

Ağırlıklar EEE 448 izlencesinden. Hocanın bu dönemki dağılımı farklı olabilir; bağlayıcı olan ders izlencesidir. Harf notu sınırlarını hoca belirliyor, o yüzden hedefi sen giriyorsun. İzlencede FZ şartı var, sayfanın sonundaki kutuda.

Önerilen kaynaklar 2 kitap

📕

Zorunlu

Mathematical Foundation of Reinforcement Learning, Shiyu Zhao, 2025, Springer

📖

Önerilen

Reinforcement Learning: An Introduction, Sutton and Barto, 2020/2nd Edition, MIT Press

Bu dersi alınca · 5 öğrenme çıktısı

Ability to formulate a given engineering problem involving sequential decision-making within the dynamic programming frameworkQuizzes, Midterm, Final, Individual Project
Ability to formulate a given engineering problem involving sequential decision-making under uncertainty and limited-model knowledge within the reinforcement learning frameworkQuizzes, Midterm, Final, Individual Project
Ability to choose the right dynamic programming or reinforcement learning methods to solve the sequential decision-making problem formulatedQuizzes, Midterm, Final, Individual Project
Ability to implement dynamic programming and reinforcement learning methods, such as Q-learning and policy gradient, on modern software environments or programming languagesQuizzes, Individual Project
Demonstrate engineering skills by successfully implementing a complete projectIndividual Project

Bilkent'in resmî syllabus'ünden. Sağdaki etiket o çıktının hangi değerlendirmeyle ölçüldüğünü söylüyor.

🤖 GenAI politikası

You should try to solve the assignments given here by yourself. Discussion of the assignments with other students and online tools (e.g., ChatGPT) are allowed and encouraged. However, the final submitted work must be your own. You should not submit anything that you do not understand. We may invite you to explain your solutions at a face-to-face (or Zoom) meeting with the instructor and the grader; at the end of this interview, you may get no credit for the assignment if it is deemed that you ha

Ders notları · henüz yok

EEE 448 için defter ekibi henüz not yazmadı.

İlk dosyayı sen atarsan: not, slayt, geçmiş sınav, çözüm, cheat-sheet, ne varsa. defter ekibi öğrenci paylaşımlarından bu dersin notlarını yazar. Drive linki / PDF / ZIP, hepsi olur.

← katalog

2026-2027 Güz döneminde açılmadı. Ders kaydı geçti, kayıt sisteminde bu dersin şubesi yok. Katalogda duruyor, yani başka bir dönem açılabilir. Son 4 güz döneminin 1 tanesinde açılmış; her yıl açılan bir ders değil. Açık dersler → · kayıt tarihleri

⚠️ FZ engelleyen şartlar

None

Hocalar 0 bu dönem · 2 geçmiş

Geçmişte ders veren (2 kişi)

Muhammed Ömer Sayın, Milad Malekipirbazari

Bu ders 7 programın seçmeli havuzunda.

Engineering Elective Bilgisayar Mühendisliği · havuzda 8 ders IE Elective on Data, Risk and Uncertainty Endüstri Mühendisliği · havuzda 12 ders IE Restricted Elective Endüstri Mühendisliği · havuzda 37 ders

ve 5 program daha.

Havuz listesi bölümün QME müfredatından; en küçük havuzlar önce yazılıyor, çünkü büyük "serbest seçmeli" havuzunda olmak dersi anlatmıyor. Seçmeli havuzunda olmak o dersi alabileceğin anlamına gelmez: ön koşul ve kontenjan ayrıca geçerli.

Aynı koddan diğer dersler · katalogda 75 EEE dersi · tüm EEE dersleri →

EEE 442Nonlinear Systems EEE 443Neural Networks EEE 444Robust Feedback Theory EEE 447Introduction to Robotics EEE 452Antenna Engineering EEE 473Medical Imaging EEE 474Foundations of Magnetic Resonance Imaging