Bild-, Video- und mehrdimensionale Signalverarbeitung (IVMSP)5 ECTS
(englische Bezeichnung: Image, Video, and Multidimensional Signal Processing)
Modulverantwortliche/r: André Kaup
Lehrende:
André Kaup
Startsemester: |
WS 2022/2023 | Dauer: |
1 Semester | Turnus: |
jährlich (WS) |
Präsenzzeit: |
60 Std. | Eigenstudium: |
90 Std. | Sprache: |
Englisch |
Lehrveranstaltungen:
-
-
Bild-, Video- und mehrdimensionale Signalverarbeitung
(Vorlesung, 2 SWS, André Kaup, Mi, 10:15 - 11:45, 04.023)
-
Übung zu Bild-, Video- und mehrdimensionaler Signalverarbeitung
(Übung, 2 SWS, Andy Regensky, Mi, 12:15 - 13:45, 05.025)
Empfohlene Voraussetzungen:
Vorlesung Signale und Systeme I und II
Inhalt:
Punktoperationen
Histogrammausgleich, Gamma-Korrektur
Binäroperationen
Morphologische Filter, Erosion, Dilatation, Opening, Closing
Farbräume
Trichromat, RGB- Farbraum, HSV-Farbraum
Mehrdimensionale Signale und Systeme
Theorie mehrdimensionaler Signale und Systeme, Impulsantwort, lineare Bildfilterung, Leistungsspektrum, Wiener Filter
Interpolation von Bildsignalen
Bilineare Interpolation, Bicubische Interpolation, Spline Interpolation
Merkmalsdetektion in Bildern
Bildmerkmale, Kantendetektion, Hough Transformation, Harris Ecken Detektor, Texturmerkmale, Grauwertematrix
Skalierungsraumdarstellung
LoG, DoG, SIFT, SURF
Bildabgleich
Projektive Abbildungen, Blockabgleich, Optischer Fluss, Merkmalsbasierter Abgleich mittels SIFT und SURF, RANSAC
Bildsegmentierung
Amplituden Schwellenwertermittlung, K-Means Clustering, Bayes Klassifikation, Regionen-basierte Segmentierung, kombinierte Segmentierung und Bewegungsschätzung, zeitliche Segmentierung von Videos
Bildverarbeitung im Transformationsbereich
Unitäre Transformation, Karhunen-Loeve Transformation, separable Transformationen, Haar und Hadamard Transformation, DFT, DCT
Content:
Point operations
Histogram equalization, gamma correction
Binary operations
Morphological filters, erosion, dilation, opening, closing
Color spaces
Trichromacy, red-green-blue color spaces, color representation using hue, saturation and value of intensity
Multidimensional signals and systems
Theory of multidimensional signals and systems, impulse response, linear image filtering, power spectrum, Wiener filtering
Interpolation of image signals
Bi-linear interpolation, bi-cubic interpolation, spline interpolation
Image feature detection
Image features, edge detection, Hough transform, Harris corner detector, texture features, co-occurrence matrix
Scale space representation
Laplacian of Gaussian, difference of Gaussian, scale invariant feature transform, speeded-up robust feature transform
Image matching
Projective transforms, block matching, optical flow, feature-based matching using SIFT and SURF, random sample consensus algorithm
Image segmentation
Amplitude thresholding, k-means clustering, Bayes classification, region-based segmentation, combined segmentation and motion estimation, temporal segmentation of video
Transform domain image processing
Unitary transform, Karhunen-Loeve transform, separable transform, Haar and Hadamard transform, DFT, DCT
Lernziele und Kompetenzen:
Die Studierenden
verstehen Punktoperationen an Bilddaten und Gamma-Korrektur
testen die Wirkung von Rangordnungs- und Medianfiltern an Bilddaten
unterscheiden und bewerten verschiedene Farbräume für Bilddaten
erklären das Prinzip der zwei-dimensionalen linearen Filterung für Bildsignale
berechnen und bewerten die zweidimensionale diskrete Fourier-Transformierte eines Bildsignales
bestimmen vergrößerte diskrete Bildsignale mit Methoden der bilinearen und Spline-Interpolation
überprüfen Bilddaten auf ausgewählte Textur-, Kanten- und Bewegungsmerkmale
analysieren Bild- und Videodaten auf Merkmale in unterschiedlichen Scale-Spaces
erläutern und beurteilen Methoden für das Matching von Bilddaten
segmentieren Bilddaten durch Programmierung von einfachen Klassifikations- oder Clustering-Verfahren
verstehen das Prinzip von Transformation auf Bilddaten und können diese an Beispielen anwenden.
The students
understand point operations for image data and gamma correction
test the effects of rank order and median filters for image data
evaluate and differentiate between different color spaces for image data
explain the principle of two-dimensional linear filtering for image signals
calculate and evaluate the two-dimensional discrete Fourier transform of an image signal
determine enlarged discrete image signals by bi-linear and spline interpolation
verify image data for selected texture, edge and motion features
analyze image and video data for features in different scale spaces
explain and evaluate methods for the matching of image data
segment image data by implementing basic classification and clustering methods
understand the principle of transformations on image data and apply them exemplarily
Literatur:
J.-R. Ohm: Multimedia Content Analysis, Springer, 2016
J. W. Woods: Multidimensional Signal, Image, and Video Processing and Coding, Academic Press, 2nd edition, 2012
Bemerkung:
This lecture replaces the previous lecture Visual Computing for Communication (VCC).
Weitere Informationen:
www: https://www.studon.fau.de/studon/goto.php?target=crs_2002842
Verwendbarkeit des Moduls / Einpassung in den Musterstudienplan:
Das Modul ist im Kontext der folgenden Studienfächer/Vertiefungsrichtungen verwendbar:
- Advanced Signal Processing & Communications Engineering (Master of Science)
(Po-Vers. 2016w | TechFak | Communications Engineering (Master of Science) | Gesamtkonto | Wahlmodule | Technical Electives | Bild-, Video- und mehrdimensionale Signalverarbeitung)
- Advanced Signal Processing & Communications Engineering (Master of Science)
(Po-Vers. 2020w | TechFak | Communications Engineering (Master of Science) | Gesamtkonto | Technical Electives | Bild-, Video- und mehrdimensionale Signalverarbeitung)
- Advanced Signal Processing & Communications Engineering (Master of Science)
(Po-Vers. 2021w | TechFak | Communications Engineering (Master of Science) | Gesamtkonto | Technical Electives | Bild-, Video- und mehrdimensionale Signalverarbeitung)
- Communications and Multimedia Engineering (Master of Science)
(Po-Vers. 2011 | TechFak | Communications and Multimedia Engineering (Master of Science) | Gesamtkonto | Wahlpflichtmodule | Technische Wahlpflichtmodule | Bild-, Video- und mehrdimensionale Signalverarbeitung)
- Communications and Multimedia Engineering (Master of Science)
(Po-Vers. 2011 | TechFak | Communications and Multimedia Engineering (Master of Science) | Gesamtkonto | Wahlmodule | Technische Wahlmodule | Bild-, Video- und mehrdimensionale Signalverarbeitung)
- Computational Engineering (Master of Science)
(Po-Vers. 2016w | TechFak | Computational Engineering (Master of Science) | Gesamtkonto | Wahlpflichtbereich Technisches Anwendungsfach | Information Technology - DSP | Bild-, Video- und mehrdimensionale Signalverarbeitung)
- Computational Engineering (Rechnergestütztes Ingenieurwesen) (Master of Science)
(Po-Vers. 2013 | TechFak | Computational Engineering (Rechnergestütztes Ingenieurwesen) (Master of Science) | Gesamtkonto | Wahlpflichtbereich Technisches Anwendungsfach | Information Technology - DSP | Bild-, Video- und mehrdimensionale Signalverarbeitung)
- Information and Communication Technology (Master of Science)
(Po-Vers. 2019s | TechFak | Information and Communication Technology (Master of Science) | Gesamtkonto | Pflicht- und Wahlpflichtmodule der Studienschwerpunkte | Schwerpunkt Networks and Digital Communication | Wahlpflichtmodul aus EEI im Schwerpunkt Networks and Digital Communication | Bild-, Video- und mehrdimensionale Signalverarbeitung)
- Information and Communication Technology (Master of Science)
(Po-Vers. 2019s | TechFak | Information and Communication Technology (Master of Science) | Gesamtkonto | Pflicht- und Wahlpflichtmodule der Studienschwerpunkte | Schwerpunkt Media Processing Systems | Wahlpflichtmodul aus EEI im Schwerpunkt Media Processing Systems | Bild-, Video- und mehrdimensionale Signalverarbeitung)
- Information and Communication Technology (Master of Science)
(Po-Vers. 2019s | TechFak | Information and Communication Technology (Master of Science) | Gesamtkonto | Wahlmodule | Wahlmodule aus dem Angebot von EEI und Informatik | Bild-, Video- und mehrdimensionale Signalverarbeitung)
- Information and Communication Technology (Master of Science)
(Po-Vers. 2019s | TechFak | Information and Communication Technology (Master of Science) | Gesamtkonto | Wahlmodule | Wahlmodule aus dem Angebot der Technischen Fakultät oder der Naturwissenschaftlichen Fakultät | Bild-, Video- und mehrdimensionale Signalverarbeitung)
- Medizintechnik (Master of Science)
(Po-Vers. 2013 | TechFak | Medizintechnik (Master of Science) | Studienrichtung Medizinische Bild- und Datenverarbeitung | M5 Medizintechnische Vertiefungsmodule (BDV) | Bild-, Video- und mehrdimensionale Signalverarbeitung)
- Medizintechnik (Master of Science)
(Po-Vers. 2013 | TechFak | Medizintechnik (Master of Science) | Studienrichtung Medizinelektronik | M5 Medizintechnische Vertiefungsmodule (MEL) | Bild-, Video- und mehrdimensionale Signalverarbeitung)
- Medizintechnik (Master of Science)
(Po-Vers. 2018w | TechFak | Medizintechnik (Master of Science) | Studienrichtung Medizinische Bild- und Datenverarbeitung | M5 Medizintechnische Vertiefungsmodule (BDV) | Bild-, Video- und mehrdimensionale Signalverarbeitung)
- Medizintechnik (Master of Science)
(Po-Vers. 2018w | TechFak | Medizintechnik (Master of Science) | Studienrichtung Medizinelektronik | M5 Medizintechnische Vertiefungsmodule (MEL) | Bild-, Video- und mehrdimensionale Signalverarbeitung)
- Medizintechnik (Master of Science)
(Po-Vers. 2019w | TechFak | Medizintechnik (Master of Science) | Modulgruppen M1, M2, M3, M5, M7 nach Studienrichtungen | Studienrichtung Medizinische Bild- und Datenverarbeitung | M5 Medizintechnische Vertiefungsmodule (BDV) | Bild-, Video- und mehrdimensionale Signalverarbeitung)
- Medizintechnik (Master of Science)
(Po-Vers. 2019w | TechFak | Medizintechnik (Master of Science) | Modulgruppen M1, M2, M3, M5, M7 nach Studienrichtungen | Studienrichtung Medizinelektronik | M5 Medizintechnische Vertiefungsmodule (MEL) | Bild-, Video- und mehrdimensionale Signalverarbeitung)
- Medizintechnik (Master of Science)
(Po-Vers. 2019w | TechFak | Medizintechnik (Master of Science) | Modulgruppen M1, M2, M3, M5, M7 nach Studienrichtungen | Study Field Health and Medical Data Analytics | M5 Medical Engineering specialisation modules (HMDA) | Bild-, Video- und mehrdimensionale Signalverarbeitung)
Studien-/Prüfungsleistungen: