|
|
Departments >> Faculty of Engineering >> Department of Electrical-Electronic-Communication Engineering >>
|
Chair of Multimedia Communications and Signal Processing (Prof. Dr. Kaup)
| |
Image and Video Compression [IVC] -
- Lecturer:
- André Kaup
- Details:
- Vorlesung, 3 cred.h, ECTS: 5, nur Fachstudium, für FAU Scientia Gaststudierende zugelassen
- Dates:
- Mon, 12:15 - 13:45, H6
Wed, 16:15 - 17:45, H6
- Fields of study:
- WPF MT-MA-BDV 1-2
WPF MT-MA-MEL 2-3
PF IuK-MA-MMS-INF 1-4
WF ICT-MA 1-4
PF ICT-MA-MPS 1-4
WF CE-MA-TA-IT 1-4
WPF EEI-MA-INT 1-4
WF EEI-MA 1-4
WPF EEI-BA-INT 5-6
WPF WING-MA 1-4
WF WING-MA 1-4
WPF WING-MA-ET-IT ab 1
PF CME-MA 2
WF MT-MA 1-4
WPF ASC-MA 1-4
- Prerequisites / Organisational information:
- Für das Verständnis notwendig sind grundlegende Kenntnisse über Signaldarstellungen und Transformationen aus der Lehrveranstaltung „Signale und Systeme II" sowie Basiswissen über Stochastik und Informationstheorie aus der Lehrveranstaltung „Nachrichtentechnische Systeme". Zusätzlich zur Vorlesung und Übung wird optional noch das Praktikum Image and Video Compression (PrIVC) angeboten.
Vorlesung und Übung zu diesem Modul werden in Präsenz angeboten. Darüber hinaus existieren Aufzeichnungen von Vorlesung und Übung aus dem Jahr 2020 im Videoportal der FAU. Auf StudOn finden Sie einen Zeitplan für die Veranstaltungen, das vollständige Skript und die Übungsaufgaben mit Lösungen in digitaler Form sowie Musterklausuren zur Vorbereitung auf die schriftliche Prüfung. Gedruckte Versionen des Skriptes und der Übungsaufgaben werden in der ersten Vorlesungsstunde verteilt und sind anschließend auch im Sekretariat des Lehrstuhls erhältlich.
- Contents:
- Die Lehrveranstaltung gibt eine Einführung in die grundlegenden Konzepte und Algorithmen für die Codierung und Übertragung von Bild- und Videosignalen. Dazu wird zunächst die digitale Repräsentation von Bild- und Videosignalen erläutert und es werden wesentliche Eigenschaften des menschlichen Gesichtssinns als Nachrichtensenke vorgestellt. Detailliert diskutiert werden die Prinzipien der Datenkompression durch Redundanz- und Irrelevanzreduktion und die typischen Algorithmen zur Codierung von Bild- und Videosignalen. Dazu zählen das Design von Quantisierern am Beispiel der Max-Lloyd Optimalquantisierung, die Entropiecodierung mit den Beispielen Huffman-Codierung und arithmetischer Codierung sowie Lauflängencodierung. Darüber hinaus wird auf die Grundlagen der Vektorquantisierung und der prädiktiven Codierung eingegangen. Verfahren der Frequenzbereichszerlegung werden am Beispiel der Transformationscodierung und Teilbandzerlegung bzw. Waveletanalyse diskutiert, ebenso wie das Prinzip der Bewegungskompensation und hybriden Codierung von Videosignalen. Am Ende werden verschiedene aktuelle MPEG- und ITU-Standards zur Codierung von Einzel- und Bewegtbildern vorgestellt.
- Recommended literature:
- Literaturempfehlung erfolgt in der Vorlesung.
|
| |
Lab Course Machine Learning in Signal Processing [LabMLISP] -
- Lecturer:
- Kamal Gopikrishnan Nambiar
- Details:
- Praktikum, 4 cred.h, ECTS: 2,5, nur Fachstudium
- Dates:
- Wed, 12:00 - 15:00, 06.021
The MLISP Lab will be conducted via Zoom online.
- Fields of study:
- WPF ASC-MA ab 1
WPF CME-MA ab 1
WPF ICT-MA ab 1
- Prerequisites / Organisational information:
- Knowledge of Python programming language is required. Basic theoretical knowledge in machine learning is assumed: consider taking the Machine Learning in Signal Processing (MLSIP) course in the same semester.
- Contents:
- Imagine a car driving on an autobahn in an automatic mode. Among other things, the car needs to steer itself to keep driving in it's own lane. To accomplish this, the central problem is to detect the road-lane markings. These are the white solid or dashed lines that are drawn on each side of the lane. The standard modern approach to solve this type of problems is to take a large dataset of labled examples and train a deep neural network model to accomplish the task. This is how car and pedestrian detection algorithms are developed. The difficulty with the road-lane markings is that there is no labled dataset of them and creating such dataset would cost millions of dollars.
In this lab course we will solve this problem using transfer learning and mathematical modeling:
Create cartoon-like artificial images of a road with known locations for the lane markings. Train deep neural network on these artificial images with heavy data augmentations that mimic real-world images. Create a dataset of unlabeled real-life videos by downloading and organizing examples from youtube. Create a machine learning pipeline for working with these videos efficiently. Apply the neural network that has been trained on artificial data to the real world videos. Analyze the quality of results produced by the network. Use mathematical modeling to correct the outputs of the network. Retrain the network on the dataset composed of the corrected outputs. Measure and analyze the quality of the results.
The software will be written in Python using JupyterLab development framework. Access to modern GPU servers will be provided.
This is an intensive research-level course; the result of the course might be the creation of state-of-the-art lane detection system for self-driving cars.
|
| |
Lab Course Image and Video Compression [PrIVC] -
- Lecturers:
- Christian Herglotz, Kristian Fischer
- Details:
- Praktikum, 3 cred.h, certificate, ECTS: 2,5, nur Fachstudium, We currently plan to offer this lab in presence at our lab. If this is not possible in April 2022, we will hold this lab completely virtual such as in 2020 and 2021.
- Dates:
- Thu, 14:00 - 19:00, 06.021
single appointment on 21.7.2022, 16:00 - 17:00, 05.025
- Fields of study:
- WPF WING-BA-IKS-ING-P 6
WPF WING-MA 1-4
WPF WING-BA-ET-IT ab 2
WPF EEI-MA-INT 1-4
WPF EEI-BA-INT 5-6
WF IuK-MA-MMS-INF 1-4
WPF IuK-BA 5-6
WPF WING-MA-ET-IT ab 2
WPF CME-MA 2
WPF ASC-MA 1-4
WPF ME-MA-P-EEI 1-3
- Prerequisites / Organisational information:
- Das Praktikum wendet sich an Studenten aus den Studiengängen EEI, IuK, WIng, ASC, CME und CE, die die Vorlesung Image and Video Compression (IVC) im gleichen Semester hören oder bereits gehört haben. Das in der Vorlesung erworbene theoretische Wissen wird dabei praktisch angewendet und dadurch zusätzlich vertieft.
Aktuell wird das Laborpraktikum in Präsenz geplant. Falls dies im April 2022 nicht möglich sein sollte, wird das Praktikum, wie auch schon 2020 und 2021, virtuell angeboten. Weitere Informationen zum Praktikum und dessen Terminen finden Sie auf StudOn.
- Contents:
- Der Schwerpunkt des Praktikums liegt auf Videocodierverfahren. Im Laufe des Praktikums erstellt jede Gruppe einen Video-Codec und untersucht dessen Eigenschaften. Kenntnisse in MATLAB sind hilfreich, aber nicht Voraussetzung.
Versuche Das Praktikum besteht aus vier Teilen.
Teil 1: Einführung in MATLAB
Teil 2: Verarbeitungsblöcke in Videocodern (Quantisierung, Entropiecodierung, Transformation, Bewegungsschätzung)
Teil 3: Integration der einzelnen Verarbeitungsblöcke in eine Verarbeitungskette und Implementierung optionaler Methoden
Teil 4: Subjektiver Vergleich und Analyse Zusätzliche Informationen:
Der Inhalt dieses Praktikums ist eng verbunden mit den Inhalten der Vorlesung Image and Video Compression (IVC).
- Recommended literature:
- Das Skriptum zum Praktikum Image and Video Compression wird in der Einführungsveranstaltung ausgegeben.
|
| |
Seminar on Selected Topics in Multimedia Communications and Signal Processing [Sem LMS] -
- Lecturers:
- André Kaup, Anna Meyer, und Mitarbeiter/innen
- Details:
- Seminar, 2 cred.h, graded certificate, ECTS: 2,5, nur Fachstudium
- Dates:
- single appointment on 3.5.2022, 10:00 - 11:00, 06.021
single appointment on 2.6.2022, 10:00 - 11:30, 05.025
single appointment on 15.7.2022, 9:00 - 16:00, 05.025
- Fields of study:
- WPF EEI-BA-INT 5-6
WPF EEI-MA-INT 1-4
WPF IuK-BA 5-6
WPF CME-MA ab 1
WPF ME-MA-SEM-EEI 3
- Prerequisites / Organisational information:
- The students are recommended to have initial experience with deep learning and machine learning and/or image and video compression, for example, from the modules “Machine Learning in Signal Processing (MLISP)”, “Deep Learning (DL)” or “Image and Video Compression (IVC)”.
- Contents:
- This seminar is designed for Bachelor and Master programs in Electrical Engineering, Electronics and Information Technology (EEI), Information and Communication Technology (IuK), Industrial Engineering and Management (WING), Computational Engineering (CE), Communications and Multimedia Engineering (CME), Advanced Signal Processing and Communications Engineering (ASC) as well as related study programs.
The topic of this seminar is "Machine Learning in Image and Video Compression" and it consists of three mandatory meetings: First meeting on May 3, 2022: An introduction will be given and the individual topics are assigned to the participants. Second meeting on June 2, 2022: The participants will give a brief presentation about the status of their work and hints for the final presentation are given. Third meeting on July 19, 2022: Each participant will give a presentation of 25 minutes and submit a report on his/her topic of 10 to 15 pages. All presentations will be given in English and the reports are expected to be written in English. Further information will be announced in due time.
- Recommended literature:
- D. Liu, Y. Li, J. Lin, H. Li, and F. Wu, “Deep learning-based video coding,” ACM Computing Surveys, vol. 53, no. 1, pp. 1–35, Jan. 2021.
G. Lu, W. Ouyang, D. Xu, X. Zhang, C. Cai, and Z. Gao, “DVC: An end-to-end deep video compression framework,” IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), June 2019.
J. Ballé, V. Laparra, and E. P. Simoncelli, “End-to-end optimized image compression,” International Conf. on Learning Representations (ICLR), April 2017.
- Keywords:
- Signal Processing, Machine Learning, Seminar
|
| |
Signals and Systems II [SISY II] -
- Lecturer:
- André Kaup
- Details:
- Vorlesung, 2,5 cred.h, ECTS: 5, nur Fachstudium, für FAU Scientia Gaststudierende zugelassen
- Dates:
- Wed, 14:15 - 15:45, H6
Thu, 16:15 - 17:45, H9
- Fields of study:
- PF EEI-BA 4
PF IuK-BA 4
PF WING-BA-ET-IT 4
PF MT-BA-BV 4
WPF MT-MA-MEL 1-3
WPF MT-BA-GP ab 5
PF CE-BA-TA-IT 4
- Prerequisites / Organisational information:
- Für das Verständnis notwendig sind grundlegende Kenntnisse in höherer Mathematik, insbesondere über Folgen und Reihen, Integralrechnung und komplexe Zeiger. Hilfreich sind weiterhin elementare Kenntnisse über Wahrscheinlichkeiten und Stochastik. Die Lehrveranstaltung ist komplementär zum Modul "Signale und Systeme I" über kontinuierliche Signale und Systeme konzipiert und ist für Studierende im vierten Bachelorsemester im Anschluss an das Modul "Signale und Systeme I" vorgesehen.
Vorlesung, Übung und Tutorium zum Modul werden in Präsenz angeboten. Darüber hinaus existieren Aufzeichnungen von Vorlesung und Übung aus dem Jahr 2021 im Videoportal der FAU. Auf StudOn finden Sie einen Zeitplan für die jeweiligen Veranstaltungen, das vollständige Skript, die Übungen und Tutorien sowie Musterklausuren zur Vorbereitung auf die schriftliche Prüfung. Eine gedruckte Version des Skriptes und der Übungs- und Tutoriumsaufgaben werden in der ersten Vorlesungsstunde verteilt und sind anschließend auch im Sekretariat des Lehrstuhl erhältlich.
- Contents:
- Die Lehrveranstaltung führt in die Beschreibung von diskreten Signalen und diskreten verschiebungsinvarianten linearen Systemen ein. Zunächst werden elementare diskrete Signale und Operationen, das Faltungsprodukt und die Korrelation von Signalen erläutert. Anschließend wird die Frequenzbereichsdarstellung von Signalen mit Hilfe der zeitdiskreten Fourier-Transformation, der DFT, und der z-Transformation eingeführt einschließlich der Theoreme und Korrespondenzen dieser Transformationen. Es folgt die Beschreibung von diskreten linearen verschiebungsinvarianten Systemen im Zeitbereich durch Impulsantwort und Faltung, Differenzengleichungen und die Zustandsraumdarstellung. Die Systembeschreibung im Frequenzbereich durch Eigenfolgen, Übertragungs- und Systemfunktion und Zustandsraumdarstellung wird erläutert. Nach der Vorstellung von linearphasigen, minimalphasigen, idealisierten Systemen und Allpässen werden Kausalität und diskrete Hilbert-Transformation, Stabilität und rekursive Systeme diskutiert. Die Vorlesung schließt mit der Beschreibung von diskreten Zufallssignalen und der Übertragung von Zufallssignalen über diskrete lineare verschiebungsinvariante Systeme.
|
| |
Speech and Audio Signal Processing [SASP] -
- Lecturer:
- Walter Kellermann
- Details:
- Vorlesung, 3 cred.h, graded certificate, ECTS: 5, nur Fachstudium, für FAU Scientia Gaststudierende zugelassen
- Dates:
- Tue, 16:15 - 17:45, H5
Wed, 14:15 - 15:45, H5
- Fields of study:
- WPF EEI-BA-INT 5-6
WPF EEI-MA-INT 1-4
WPF CE-MA-TA-IT 1-4
WPF IuK-MA-ES-EEI 1-4
WPF IuK-MA-KN-EEI 1-4
WPF IuK-MA-MMS-EEI 1-4
WPF IuK-MA-REA-EEI 1-4
WPF IuK-BA 5-6
WPF ICT-MA-ES 1-4
WPF ICT-MA-MPS 1-4
WPF WING-MA 1-3
WPF WING-MA-ET-IT 1-3
PF CME-MA 2
WPF ASC-MA 1-4
WPF MT-MA-MEL 1-4
- Prerequisites / Organisational information:
- Voraussetzung: Vorlesung Signale und Systeme I +II
- Contents:
- Die Vorlesung behandelt Grundlagen und Algorithmen der Verarbeitung von Sprach- und Audiosignalen mit Anwendungen in Telekommunikation und Multimedia, insbesondere:
Physiologie und Modelle der Spracherzeugung und des Hörens: Quelle-Filter-Modell, Filterbank-Modell der Cochlea; Maskierungseffekte; Darstellung von Sprach- und Audiosignalen: Schätzung und Darstellung der Kurzzeit- und Langzeitstatistik in Zeit-, Frequenz- und Cepstralbereich; typische Beispiele, Visualisierungen; Quellencodierung für Sprache und Audiosignale: Kriterien; skalare und vektorielle Codierung; lineare Prädiktion; Pitchprädiktion; Wellenform-/Parameter-/Hybrid-Codierung; Standards (ITU, GSM, ISO-MPEG) Spracherkennung: Merkmalextraktion, Dynamic Time Warping, Hidden Markov Models Grundprinzipien der Sprachsynthese: Text-to-Speech Systeme, modellbasierte und datenbasierte Synthese, PSOLA-Synthese Signalverbesserung bei Signalaufnahme und -wiedergabe: Geräuschbefreiung, Echokompensation, Enthallung mittels ein- und mehrkanaliger Verfahren.
- Recommended literature:
- Gemäß themenbezogenen Angaben in der Lehrveranstaltung
|
| |
Stochastic Processes [STOPRO] -
- Lecturer:
- Walter Kellermann
- Details:
- Vorlesung, 3 cred.h, ECTS: 5, nur Fachstudium
- Dates:
- Tue, Wed, 10:15 - 11:45, 05.025
- Fields of study:
- WF CE-BA-TW ab 4
PF IuK-BA 4
WF EEI-BA 4-6
WF EEI-MA ab 1
WF TM-BA 4-6
- Prerequisites / Organisational information:
- Voraussetzung: Vorlesung Signale und Systeme I
Auf StudOn finden Sie das Vorlesungsskript als PDF-Datei sowie aktuelle Informationen zur Vorlesung und Übung.
- Contents:
- Wahrscheinlichkeitsrechnung und Zufallsvariablen
Wahrscheinlichkeit, Zufallsvariablen, uni- und multivariate Wahrscheinlichkeitsverteilungen und -dichten; Funktionen von Zufallsvariablen und deren Verteilungen und -dichten; Erwartungswerte; spezielle Verteilungen (diskrete und kontinuierliche); Grenzwertsätze Stochastische Prozesse
Verteilungen, Dichten und Erwartungswerte eindimensionaler Stochastischer Prozesse; Stationarität, Zyklostationarität, Ergodizität; Schwach stationäre, zeitkontinuierliche und zeitdiskrete Prozesse im Zeit- und Frequenzbereich; lineare zeitinvariante (LZI) Systeme und schwach stationäre Prozesse Schätztheorie
Punkt- und Intervallschätzung; Schätzkriterien; Prädiktion; klassische und Bayes'sche Parameterschätzung (inkl. MMSE, Maximum Likelihood, Maximum A Posteriori); Cramer-Rao-Schranke; Hypothesentests und Entscheidungsverfahren (binäre Entscheidungen, Teststatistiken, Chi-Quadrat-Test); Binäre Entscheidungen, Neyman-Pearson-Kriterium Lineare Optimalfilterung
Orthogonalitätsprinzip; zeitkontinuierliche und zeitdiskrete Wiener-Filterung; adaptive Filter (LMS, NLMS); zeitkontinuierliche und zeitdiskrete Signalangepasste Filter
- Recommended literature:
- Hänsler: Statistische Signale, Springer 1998;
Papoulis/Pillai: Probability, Random Variables, and Stochastic
Processes, Prentice Hall, 2002
|
| |
Transformations in Signal Processing [TSV] -
- Lecturer:
- Jürgen Seiler
- Details:
- Vorlesung, 2 cred.h, graded certificate, ECTS: 2,5, für FAU Scientia Gaststudierende zugelassen
- Dates:
- Tue, 08:15 - 09:45, 05.025
- Fields of study:
- WF EEI-MA 1-4
WF EEI-BA ab 5
WF ICT-MA 1-4
WPF IuK-MA-MMS-EEI 1-4
WPF IuK-MA-ÜTMK-EEI 1-4
WPF ICT-MA-MPS 1-4
WF CE-MA 1-4
WF INF-MA 1-4
WF MT-MA 1-4
WPF CME-MA 2-4
WF ASC-MA 1-4
- Prerequisites / Organisational information:
- Voraussetzungen: Signale und Systeme I und II, Digitale Signalverarbeitung
Die Vorlesungsunterlagen sowie Aufzeichnungen der Vorlesung werden via StudOn semesterbegleitend zur Verfügung gestellt.
- Contents:
- Die Lehrveranstaltung "Transformationen in der Signalverarbeitung" behandelt mehrere verschiedene Transformationen, die im Rahmen der Signalverarbeitung Verwendung finden. Dabei werden zuerst die grundlegenden Konzepte von Transformationen diskutiert und die Vorteile die Transformationen mit sich bringen erläutert. Im Anschluss daran werden die grundlegenden Eigenschaften von Integraltransformationen betrachtet und die Laplace- und die Fourier-Transformation im Detail untersucht. Um auch zeitlich veränderliche Signale gut transformieren zu können werden danach die Kurzzeit-Fourier-Transformation und die Gabor-Transformation eingeführt. Im Anschluss daran erfolgt eine Betrachtung der Auswirkung der Abtastung auf transformierte Signale, bevor die z-Transformation als Transformation für diskrete Signale behandelt wird. Abschließend erfolgt die Betrachtung weiterer Transformationen für diskrete Signale wie der Diskreten Fourier-Transformation oder linearer Block-Transformationen.
- Recommended literature:
- K. Krüger, Transformationen - Grundlagen und Anwendungen in der Nachrichtentechnik, Vieweg Verlag, Braunschweig
B. Girod, R. Rabenstein, A. Stenger, Einführung in die Systemtheorie, B. G. Teubner Verlag, Stuttgart
|
| |
Virtual Vision [ViVi] -
- Lecturer:
- Christian Herglotz
- Details:
- Vorlesung, 2 cred.h, graded certificate, ECTS: 2,5, für FAU Scientia Gaststudierende zugelassen
- Dates:
- Wed, 14:15 - 15:45, 05.025
- Fields of study:
- WF CME-MA 1-4
WPF EEI-BA-INT 1-4
WF IuK-MA-MMS-EEI 1-4
WF IuK-MA-KN-EEI 1-4
WPF EEI-MA-INT 1-4
WF ASC-MA 1-4
- Prerequisites / Organisational information:
- Vorlesung Signale und Systeme I&II
- Contents:
- Menschliches Sehen
Sichtfeld und Fovea Dynamic Range Stereoskopie
Eigenschaften der Lichtfeldunktion
Energieeffizienz in der Videokommunikation
|
|
|
|