|
Informationstheorie (IT)5 ECTS (englische Bezeichnung: Information Theory)
Modulverantwortliche/r: Johannes Huber Lehrende:
Johannes Huber
Startsemester: |
SS 2014 | Dauer: |
1 Semester | Turnus: |
jährlich (SS) |
Präsenzzeit: |
60 Std. | Eigenstudium: |
90 Std. | Sprache: |
Deutsch |
Lehrveranstaltungen:
-
-
Informationstheorie
(Vorlesung, 3 SWS, Johannes Huber, Mi, 12:15 - 13:45, H15; jede 2. Woche Fr, 8:15 - 9:45, H15)
-
Übungen zur Informationstheorie
(Übung, 1 SWS, Christoph Rachinger, jede 2. Woche Fr, 8:15 - 9:45, H15; ab 18.4.2014)
Inhalt:
- Grundlegende Definitionen
Codierung für diskrete Informationsquellen
Informationstheoretische Beschreibung von Übertragungskanälen
Informationstheoretische Grundlagen der zuverlässigen Informationsübertragung über gestörte Kanäle durch Blockcodierung
Kontinuierlich verteilte Zufallsvariablen
Farbiges Rauschen - Signalverzerrungen
Mehrbenutzerkommunikation
Lernziele und Kompetenzen:
Die Studierenden erklären das grundlegende Blockschaltbild für die digitale Nachrichtenübertragung. Bei der informationstheoretischen Modellierung und Analyse der Nachrichtenübertragung verwenden sie diskrete gedächtnislose Informationsquellen, gekoppelte Informationsquellen, das Informationsmaß nach Shannon für diskrete Quellen und das Data Processing Theorem. Sie ermitteln den mittleren Informationsgehalt und bestimmen die relative Entropie. Sie erläutern das Informationsmaß nach Hartley für diskrete Quellen und die Problematik diskreter gedächtnisbehafteter Quellen. Die Studierenden erklären das Quellencodierungstheorem und analysieren verschiedene Quellencodierverfahren, u.a., mit Codewörtern variabler Länge (variable length code, z.B. Huffmann-Code), Blockcodierung für diskrete gedächtnislose Quellen mit Quellenwörtern variabler Länge (Tunstall-Code, Lempel-Ziv) und Blockcodierung für Quellenwörter mit fester Länge. Die Studierenden bestimmen und analysieren die informationstheoretischen Größen von Übertragungskanälen, insbesondere die Kanalkapazität. Sie untersuchen symmetrische diskrete gedächtnislose Kanäle. Die Studierenden erläutern die informationstheoretischen Grundlagen der zuverlässigen Informationsübertragung über gestörte Kanäle durch Blockcodierung. Dabei beschreiben und analysieren Sie Blockcodes und deren (optimale) Decodierung (Maximum-a-posteriori- und Maximum-Likelihood- Decodierung) und analysieren die Umkehrung des Kanalcodierungstheorems. Sie schätzen die Wortfehlerwahrscheinlichkeit bei ML-Decodierung nach Bhattacharyya und die Fehlerwahrscheinlichkeit nach Gallager ab. Sie erklären die heuristische Ableitung des Kanalcodierungstheorems basierend auf typischen Sequenzen. Die Studierenden analysieren die informationstheoretischen Größen in Szenarien mit kontinuierlich verteilten Zufallsvariablen. Dabei untersuchen sie den gedächtnislosen Kanal mit diskreter Eingangs- und kontinuierlicher reeller Ausgangsvariable sowie den gedächtnislosen Kanal mit kontinuierlichen reellen Ein- und Ausgangsvariablen. Sie bestimmen und analysieren die differentielle Entropie und untersuchen die Kapazität des
AWGN-Kanals. Die Studierenden analysieren die Auswirkungen von farbigem Rauschen und Signalverzerrungen auf die Kanalkapazität. Die Studierenden erläutern die informationstheoretischen Grundlagen der Mehrbenutzerkommunikation. Insbesondere analysieren sie die relevanten Größen von Multiple Access Channel (MAC) und Broadcast Channel (BC). Als mathematische Hilfsmitteln nutzen die Studierenden die
Tschebyscheff'sche Ungleichungen, das schwache Gesetz der großen Zahlen, Eigenschaften von konvexen Funktionen (dabei insbesondere die Jensen’sche Ungleichung), die Optimierung mit Berücksichtigung von Nebenbedingungen (Lagrange’sche Optimierung). Sie analysieren die Bedingungen zur Maximierung der Summenkapazität paralleler Kanäle und erklären die Water-Filling-Regel.
Literatur:
- Huber, J.: Lecture manuscript;
Gallager, R. G.: Information Theory and Reliable Communication, John Wiley & Sons 1968;
Cover T., Thomas J.: Elements of Information Theory, John Wiley and Sons, New York, 1991
Verwendbarkeit des Moduls / Einpassung in den Musterstudienplan: Das Modul ist im Kontext der folgenden Studienfächer/Vertiefungsrichtungen verwendbar:
- Berufspädagogik Technik (Master of Education)
(Po-Vers. 2010 | Masterprüfung | Wahlpflichtmodule Fachwissenschaft | Informationstheorie)
Studien-/Prüfungsleistungen:
Vorlesung und Übung Informationstheorie_ (Prüfungsnummer: 36001)
- Prüfungsleistung, Klausur, benotet
- Anteil an der Berechnung der Modulnote: 100.0 %
- Erstablegung: SS 2014, 1. Wdh.: WS 2014/2015, 2. Wdh.: keine Wiederholung
1. Prüfer: | Johannes Huber |
- Termin: 05.10.2014
Termin: 03.02.2015, 10:00 Uhr, Ort: H 11
Termin: 22.07.2015, 08:00 Uhr, Ort: H 1 NatFak
|
|
|
|
UnivIS ist ein Produkt der Config eG, Buckenhof |
|
|