Information Theory and Coding (ITC)5 ECTS
(englische Bezeichnung: Information Theory and Coding)

Lehrveranstaltungen:

• • Informationstheorie und Codierung
    (Vorlesung, 3 SWS, Ralf Müller, Di, 14:15 - 15:45, 0.151-115; Fr, 16:15 - 17:45, 0.151-115)
  • Übungen zu Informationstheorie und Codierung
    (Übung, 1 SWS, Christoph Rachinger, Zeit und Raum n.V.)

Inhalt:

1. Introduction: binomial distribution, (7,4)-Hamming code, parity-check matrix, generator matrix 2. Probability, entropy, and inference: entropy, conditional probability, Bayes’ law, likelihood, Jensen’s inequality 3. Inference: inverse probability, statistical inference 4. The source coding theorem: information content, typical sequences, Chebychev inequality, law of large numbers 5. Symbol codes: unique decidability, expected codeword length, prefix-free codes, Kraft inequality, Huffman coding 6. Stream codes: arithmetic coding, Lempel-Ziv coding, Burrows-Wheeler transform 7. Dependent random variables: mutual information, data processing lemma 8. Communication over a noisy channel: discrete memory-less channel, channel coding theorem, channel capacity 9. The noisy-channel coding theorem: jointly-typical sequences, proof of the channel coding theorem, proof of converse, symmetric channels 10. Error-correcting codes and real channels: AWGN channel, multivariate Gaussian pdf, capacity of AWGN channel 11. Binary codes: minimum distance, perfect codes, why perfect codes are bad, why distance isn’t everything 12. Message passing: distributed counting, path counting, low-cost path, min-sum (=Viterbi) algorithm 13. Exact marginalization in graphs: factor graphs, sum-product algorithm 14. Low-density parity-check codes: density evolution, check node degree, regular vs. irregular codes, girth 15. Lossy source coding: transform coding and JPEG compression

Lernziele und Kompetenzen:

The students apply Bayesian inference to problems in both communications and everyday's life. The students explain the concept of digital communications by means of source compression and forward-error correction coding. For the design of communication systems, they use the concepts of entropy and channel capacity. They calculate these quanities for memoryless sources and channels. The students proof both the source coding and the channel coding theorem. The students compare various methods of source coding with respect to compression rate and complexity. The students apply source compression methods to measure mutual information. The students factorize multivariate functions, represent them by graphs, and marginalize them with respect to various variables. The students explain the design of error-correcting codes and the role of minimum distance. They decode error-correcting codes by means of maximum-likelihood decoding and message passing. The students apply distributed algorithms to problems in both communications and everyday’s life. The students improve the properties of low-density parity-check codes by widening the girth and/or irregularity in the degree distribution. The students transform source images into the frequency domain to improve lossy compression.

Literatur:

MacKay, D.: Information Theory, Inference, and Learning Algorithms, Cambridge University Press, Cambridge, 2003.

Bemerkung:

Schlüsselwörter: ASC

Verwendbarkeit des Moduls / Einpassung in den Musterstudienplan:
Das Modul ist im Kontext der folgenden Studienfächer/Vertiefungsrichtungen verwendbar:

1. Berufspädagogik Technik (Master of Education)
   (Po-Vers. 2010 | TechFak | Berufspädagogik Technik (Master of Education) | Studienrichtung Elektro- und Informationstechnik (Masterprüfungen) | Wahlpflichtmodule Fachwissenschaft | Information Theory and Coding / Informationstheorie und Codierung)
2. Communications and Multimedia Engineering (Master of Science)
   (Po-Vers. 2011 | TechFak | Communications and Multimedia Engineering (Master of Science) | Masterprüfung | Pflichtmodule | Information Theory and Coding / Informationstheorie und Codierung)
3. Computational Engineering (Rechnergestütztes Ingenieurwesen) (Bachelor of Science)
   (Po-Vers. 2007 | TechFak | Computational Engineering (Rechnergestütztes Ingenieurwesen) (Bachelor of Science) | alte Prüfungsordnungen | Bachelorprüfung | NF Information Technology | Information Theory and Coding / Informationstheorie und Codierung)
4. Computational Engineering (Rechnergestütztes Ingenieurwesen) (Bachelor of Science)
   (Po-Vers. 2009 | TechFak | Computational Engineering (Rechnergestütztes Ingenieurwesen) (Bachelor of Science) | alte Prüfungsordnungen | Bachelorprüfung | NF Information Technology | Information Theory and Coding / Informationstheorie und Codierung)
5. Computational Engineering (Rechnergestütztes Ingenieurwesen) (Bachelor of Science)
   (Po-Vers. 2010 | TechFak | Computational Engineering (Rechnergestütztes Ingenieurwesen) (Bachelor of Science) | Bachelorprüfung | Technisches Anwendungsfach (TAF) | NF Information Technology | Information Theory and Coding / Informationstheorie und Codierung)
6. Computational Engineering (Rechnergestütztes Ingenieurwesen) (Master of Science)
   (Po-Vers. 2008 | TechFak | Computational Engineering (Rechnergestütztes Ingenieurwesen) (Master of Science) | Masterprüfung | Wahlpflichtbereich Angewandte Mathematik | Information Theory and Coding / Informationstheorie und Codierung)
7. Computational Engineering (Rechnergestütztes Ingenieurwesen) (Master of Science)
   (Po-Vers. 2008 | TechFak | Computational Engineering (Rechnergestütztes Ingenieurwesen) (Master of Science) | Masterprüfung | Wahlpflichtbereich Technisches Anwendungsfach | Information Theory and Coding / Informationstheorie und Codierung)
8. Elektrotechnik, Elektronik und Informationstechnik (Bachelor of Science)
   (Po-Vers. 2007 | TechFak | Elektrotechnik, Elektronik und Informationstechnik (Bachelor of Science) | Studienrichtungen (Wahlpflichtmodule) | Studienrichtung Informationstechnik | Kernmodule Informationstechnik | Information Theory and Coding / Informationstheorie und Codierung)
9. Elektrotechnik, Elektronik und Informationstechnik (Bachelor of Science)
   (Po-Vers. 2009 | TechFak | Elektrotechnik, Elektronik und Informationstechnik (Bachelor of Science) | Studienrichtungen | Studienrichtung Informationstechnik | Kernmodule (Pflichtmodule) Informationstechnik | Information Theory and Coding / Informationstheorie und Codierung)
10. Elektrotechnik, Elektronik und Informationstechnik (Master of Science)
    (Po-Vers. 2010 | TechFak | Elektrotechnik, Elektronik und Informationstechnik (Master of Science) | Studienrichtung Informationstechnik | Kernmodule Informationstechnik | Information Theory and Coding / Informationstheorie und Codierung)
11. Elektrotechnik, Elektronik und Informationstechnik (Master of Science)
    (Po-Vers. 2015s | TechFak | Elektrotechnik, Elektronik und Informationstechnik (Master of Science) | Masterprüfung | Studienrichtung Informationstechnik | Kernmodule Informationstechnik | Information Theory and Coding / Informationstheorie und Codierung)
12. Informatik (Bachelor of Science)
    (Po-Vers. 2009s | TechFak | Informatik (Bachelor of Science) | Nebenfach | Nebenfach Elektrotechnik, Elektronik und Informationstechnik | Informationstechnik | Information Theory and Coding / Informationstheorie und Codierung)
13. Informatik (Bachelor of Science)
    (Po-Vers. 2009w | TechFak | Informatik (Bachelor of Science) | Nebenfach | Nebenfach Elektrotechnik, Elektronik und Informationstechnik | Informationstechnik | Information Theory and Coding / Informationstheorie und Codierung)
14. Informatik (Master of Science)
    (Po-Vers. 2010 | TechFak | Informatik (Master of Science) | Nebenfach | Nebenfach Elektrotechnik, Elektronik und Informationstechnik | Informationstechnik | Information Theory and Coding / Informationstheorie und Codierung)
15. Informations- und Kommunikationstechnik (Bachelor of Science): 5. Semester
    (Po-Vers. 2009 | TechFak | Informations- und Kommunikationstechnik (Bachelor of Science) | Wahlpflichtmodule, Wahlmodule, Seminar, Praktika, Bachelorarbeit | Wahlpflichtmodule aus Katalog für IuK)
16. Informations- und Kommunikationstechnik (Master of Science)
    (Po-Vers. 2010 | TechFak | Informations- und Kommunikationstechnik (Master of Science) | Schwerpunkte im Masterstudium | Schwerpunkt Übertragung und Mobilkommunikation | Pflichtmodule | Information Theory and Coding / Informationstheorie und Codierung)
17. Informations- und Kommunikationstechnik (Master of Science)
    (Po-Vers. 2016s | TechFak | Informations- und Kommunikationstechnik (Master of Science) | Schwerpunkte im Masterstudium | Schwerpunkt Eingebettete Systeme | Wahlpflichtmodule | Wahlpflichtmodul aus EEI im Schwerpunkt Eingebettete Systeme)
18. Informations- und Kommunikationstechnik (Master of Science)
    (Po-Vers. 2016s | TechFak | Informations- und Kommunikationstechnik (Master of Science) | Schwerpunkte im Masterstudium | Schwerpunkt Kommunikationsnetze und Übertragungstechnik | Pflichtmodule | Information Theory and Coding / Informationstheorie und Codierung)
19. Informations- und Kommunikationstechnik (Master of Science)
    (Po-Vers. 2016s | TechFak | Informations- und Kommunikationstechnik (Master of Science) | Schwerpunkte im Masterstudium | Schwerpunkt Multimediasysteme | Wahlpflichtmodule | Wahlpflichtmodul aus EEI im Schwerpunkt Multimediasysteme)
20. Mathematik (Bachelor of Science)
    (Po-Vers. | NatFak | Mathematik (Bachelor of Science) | Module des Nebenfachs | Nebenfach Informations- und Kommunikationtechnik | Wahlpflichtmodule aus Katalog für IuK)
21. Mathematik (Bachelor of Science)
    (Po-Vers. 2007 | NatFak | Mathematik (Bachelor of Science) | alte Prüfungsordnungen | Bachelorprüfung | Nebenfach Informations- und Kommunikationtechnik | Information Theory and Coding / Informationstheorie und Codierung)
22. Mathematik (Bachelor of Science)
    (Po-Vers. 2009 | NatFak | Mathematik (Bachelor of Science) | Nebenfach Informations- und Kommunikationtechnik | Information Theory and Coding / Informationstheorie und Codierung)
23. Wirtschaftsingenieurwesen (Bachelor of Science)
    (Po-Vers. 2007 | TechFak | Wirtschaftsingenieurwesen (Bachelor of Science) | PO-Version 2007 | Bachelorprüfung | 1.-2. Ingenieurwissenschaftliches Wahlpflichtmodul in der Studienrichtung Informations- und Kommunikationssysteme | Information Theory and Coding / Informationstheorie und Codierung)
24. Wirtschaftsingenieurwesen (Bachelor of Science)
    (Po-Vers. 2008 | TechFak | Wirtschaftsingenieurwesen (Bachelor of Science) | Studienrichtung Informations- und Kommunikationssysteme | weiterer Bachelorprüfungen | Ingenieurwissenschaftlicher Bereich | Wahlbereich | Ingenieurwissenschaftliche Wahlpflichtmodule | Information Theory and Coding / Informationstheorie und Codierung)
25. Wirtschaftsingenieurwesen (Bachelor of Science)
    (Po-Vers. 2009 | TechFak | Wirtschaftsingenieurwesen (Bachelor of Science) | Studienrichtung Informations- und Kommunikationssysteme | weiterer Bachelorprüfungen | Ingenieurwissenschaftlicher Bereich | Wahlbereich | Ingenieurwissenschaftliche Wahlpflichtmodule | Information Theory and Coding / Informationstheorie und Codierung)
26. Wirtschaftsingenieurwesen (Master of Science)
    (Po-Vers. 2009 | TechFak | Wirtschaftsingenieurwesen (Master of Science) | Ingenieurwissenschaftliche Studienrichtungen | Studienrichtung Informations- und Kommunikationssysteme | Wahlpflicht- und Vertiefungsmodul Modulgruppe 1 | Wahlpflichtmodul Modulgruppe 1 | Information Theory and Coding / Informationstheorie und Codierung)
27. Wirtschaftsingenieurwesen (Master of Science)
    (Po-Vers. 2009 | TechFak | Wirtschaftsingenieurwesen (Master of Science) | Ingenieurwissenschaftliche Studienrichtungen | Studienrichtung Informations- und Kommunikationssysteme | 2.+3. Wahlpflichtmodul | Information Theory and Coding / Informationstheorie und Codierung)

Studien-/Prüfungsleistungen:

Information Theory and Coding/Informationstheorie und Kodierung (Prüfungsnummer: 36011)

(englischer Titel: Information Theory and Coding)

Prüfungsleistung, Klausur, Dauer (in Minuten): 90, benotet, 5 ECTS

Anteil an der Berechnung der Modulnote: 100.0 %

Prüfungssprache: Deutsch oder Englisch

Erstablegung: SS 2017, 1. Wdh.: WS 2017/2018

1. Prüfer:

Ralf Müller

Termin: 01.08.2017, 15:00 Uhr, Ort: H 9 TechF
Termin: 13.02.2018, 08:00 Uhr, Ort: H 11
Termin: 17.07.2018, 14:00 Uhr, Ort: H 7 TechF
Termin: 12.02.2019, 12:30 Uhr, Ort: H 11