defter*
defter / katalog / EEE 634

EEE 634 Information Theory

Information theory is the mathematical framework that pins down what "information" actually means as a measurable quantity, and how much of it you can squeeze through a noisy channel or compress out of a source before something breaks. You'll work through seven problem sets and two midterms proving things from Cover & Thomas, manipulating entropy and mutual information, deriving Shannon's source and channel coding theorems, computing capacities of Gaussian and multi-user channels, and reasoning about rate-distortion tradeoffs. As a graduate course it sits upstream of nearly everything in communications, coding, and statistical learning, giving you the asymptotic tools (AEP, large deviations, Fano) that later show up whenever you need a fundamental limit rather than a clever scheme.

Kredi 3 ECTS 5 Fakülte Mühendislik Fakültesi Bölüm Elektrik-Elektronik Mühendisliği Koordinatör Recep Can Yavaş

EEE 634 zor mu?

Son 10 dönemde dersin ortalaması 3,45 (150 öğrencinin notu, 4,00 üzerinden), yani sınıf ortalaması B+ civarında. Zorluk hocaya ve şubeye göre değişir; ölçülebilir olan bu sayı. Diğer derslerle karşılaştır →

EEE 634 dersinde kaç midterm var, ağırlıkları ne?

İzlencede 1 midterm var, ağırlığı %50. Final %35. Kalan %15 dersin öteki kalemlerinde. Tam dağılım aşağıda.

EEE 634 dersinin ön koşulu var mı?

Bilkent kataloğunda bu ders için ön koşul yazılı değil.

EEE 634 dersinde hangi kitap okunuyor?

İzlencede zorunlu kitap: Elements of Information Theory, Thomas M. Cover and Joy A. Thomas, second edition, 2006, Wiley.

EEE 634 kaç kredi?

3 Bilkent kredisi, 5 AKTS.

Haftalık müfredat 14 hafta

Hafta 114–20 Eyl
Probability tekrarı: entropy ve mutual information
Introduction. Probability theory recap. Entropy, mutual information, and KL divergence.
probability theoryentropymutual informationKL divergence
Hafta 221–27 Eyl
Mutual Information, KL Divergence ve Eşitsizlikler
Entropy, mutual information, and KL divergence cont’d. Jensen’s inequality. Data processing inequality. Fano’s inequality.
KL divergenceJensen's inequalitydata processing inequalityFano's inequality
Hafta 328 Eyl – 4 Eki
Asymptotic equipartition property
Hafta 45–11 Eki
Veri Sıkıştırma ve Shannon Kaynak Kodlama Teoremi
Data compression. Shannon’s source coding theorem.
data compressionShannon’s source coding theorem
Hafta 512–18 Eki
Değişken uzunluklu source coding ve Huffman codes
Variable-length source coding. Kraft’s inequality. Huffman codes.
variable-length source codingKraft's inequalityHuffman codes
Hafta 619–25 Eki
Durağan kaynaklar ve genel AEP
Stationary sources, general AEP.
stationary sourceAEP
Hafta 726 Eki – 1 Kas
Discrete memoryless channel kapasitesi
Capacity of discrete memoryless channels.
channel capacitydiscrete memoryless channel
Hafta 82–8 Kas
Differential entropy ve Gaussian kanal kapasitesi
Differential entropy and capacity of the additive Gaussian noise channel.
differential entropychannel capacityadditive Gaussian noise channel
Hafta 99–15 Kas
Paralel Gaussian kanallar ve waterfilling
Parallel Gaussian channels, waterfilling.
parallel Gaussian channelwaterfilling
Hafta 1016–22 Kas
İkili Hipotez Testi ve Asimptotikleri
Binary hypothesis testing and its asymptotics.
binary hypothesis testingasymptotics
Hafta 1123–29 Kas
Large deviations teorisi ve Sanov teoremi
Large deviations theory. Sanov’s theorem.
large deviationsSanov's theorem
Hafta 1230 Kas – 6 Ara
Rate distortion ve network information theory
Rate distortion theory, Introduction to network information theory.
rate distortion theorynetwork information theory
Hafta 137–13 Ara
Distributed source coding ve Slepian-Wolf teoremi
Distributed source coding. Slepian-Wolf theorem.
distributed source codingSlepian-Wolf theorem
Hafta 1414–20 Ara
Multiple access ve broadcast channel
Multiple access channels. Broadcast channels.
multiple access channelsbroadcast channels

Değerlendirme 100% · 3 adım

15%
50%
35%
Homework Homework 15%
Midterm: Essay/written Midterm 50%
Final: Essay/written Final 35%
en büyük tek kalem %50 · sınav ağırlığı %85 · 10 dönem ortalaması 3.45 (150 öğrenci) nasıl hesaplanıyor
Notunu hesapla
KalemAğırlık Notun (100 üzerinden)
Homework%15
Midterm%50
Final%35
Bildiğin notları gir; girmediklerin hesaba katılmaz.

Ağırlıklar EEE 634 izlencesinden. Hocanın bu dönemki dağılımı farklı olabilir; bağlayıcı olan ders izlencesidir. Harf notu sınırlarını hoca belirliyor, o yüzden hedefi sen giriyorsun. İzlencede FZ şartı var, sayfanın sonundaki kutuda.

Önerilen kaynaklar 1 kitap

📕
Zorunlu
Elements of Information Theory, Thomas M. Cover and Joy A. Thomas, second edition, 2006, Wiley

Bu dersi alınca · 5 öğrenme çıktısı

Bilkent'in resmî syllabus'ünden. Sağdaki etiket o çıktının hangi değerlendirmeyle ölçüldüğünü söylüyor.

🤖 GenAI politikası

The use of generative AI tools is permitted. However, students are fully responsible for all parts of any homework solution they submit. In particular, students must be the owner of their submissions: upon request, they should be able to explain the key ideas and critical steps in their solutions. At the beginning of each homework submission, students must state whether they used generative AI tools, and if so, where and how they used them (e.g., which step, and for what purpose).

Ders notları · henüz yok

EEE 634 için defter ekibi henüz not yazmadı.

İlk dosyayı sen atarsan: not, slayt, geçmiş sınav, çözüm, cheat-sheet, ne varsa. defter ekibi öğrenci paylaşımlarından bu dersin notlarını yazar. Drive linki / PDF / ZIP, hepsi olur.

← katalog

Geçmiş GPA dağılımı 10 dönem · ort. 3.45

DönemDers ort.
2025-2026 Spring 3.15 1 şube · 13 öğr
2024-2025 Fall 3.31 1 şube · 28 öğr
2022-2023 Fall 3.45 1 şube · 13 öğr
2020-2021 Fall 3.82 1 şube · 14 öğr
2017-2018 Spring 3.33 1 şube · 15 öğr
2015-2016 Spring 3.54 1 şube · 18 öğr
2013-2014 Spring 3.55 1 şube · 13 öğr
2011-2012 Spring 3.23 1 şube · 6 öğr
2009-2010 Fall 3.53 1 şube · 16 öğr
2007-2008 Spring 3.56 1 şube · 14 öğr

Dersin dönem ortalaması, o dönemin bütün şubeleri birlikte. Kaynak STARS'ın ders değerlendirme raporu. Rapor yalnız kampüs ağından ya da Bilkent VPN ile açılıyor: EEE 634 raporu · Bilkent VPN bilgisi. Öğrenci anket cevaplarını defter'de tutmuyoruz. Tüm derslerin ortalamaları →

2026-2027 Güz döneminde açılmadı. Ders kaydı geçti, kayıt sisteminde bu dersin şubesi yok. Katalogda duruyor, yani başka bir dönem açılabilir. Son 4 güz döneminin 2 tanesinde açılmış; her yıl açılan bir ders değil. Açık dersler → · kayıt tarihleri

⚠️ FZ engelleyen şartlar

None

Hocalar 0 bu dönem · 3 geçmiş

Geçmişte ders veren (3 kişi)
Tolga Mete Duman, Erdal Arıkan, Defne Aktaş

Aynı koddan diğer dersler · katalogda 75 EEE dersi · tüm EEE dersleri →