Research project

SFB603 - TP C2: Analyse, Codierung und Verarbeitung von Lichtfeldern zur Gewinnung realistischer Modelldaten

Computergraphik und Bildverarbeitung beginnen seit einigen Jahren verstärkt zusammenzuwachsen. Das belegen zahlreiche international anerkannte Konferenzen auf beiden Gebieten, in denen sich Themen aus dem Bereich "Image Based Rendering" oder "Computer Vision for Computer Graphics" etabliert haben. Diese greift das Teilprojekt C2 mit dem langfristigen Ziel auf, automatisch eine effiziente Repräsentation realer Szenen zum Zwecke der Analyse und Visualisierung zu ermitteln. Das Projekt teilt sich grob in zwei Abschnitte auf. Zunächst wird aus den Videosequenzen eine bildbasierte Repräsentation ermittelt. Dieses Aufgabenfeld "Lichtfeld- und Geometrierekonstruktion" bearbeitet der Lehrstuhl für Mustererkennung und kümmert sich dabei verstärkt um die Berechnung der intrinsischen und extrinsischen Kameraparameter aus einem unkalibrierten Bildstrom und um die Erstellung eines hierarchischen geometrischen Szenenmodells unterschiedlicher Auflösungsstufen, das es ermöglicht, die Visualisierungsqualität je nach Bedarf anzupassen. Bei der Modellierung wird neben der bisher üblichen Interpolation von neuen Szenenansichten auch ihre Extrapolation berücksichtigt. Des weiteren werden erste Arbeiten begonnen, die sich mit der Anwendung der bildbasierten Modellierung für die Analyse befassen sowie einer Erweiterung auf dynamische Lichtfelder. Im zweiten Abschnitt des Projektes wird die ermittelte Modellinformation verwendet, um neue Ansichten der Szene zu generieren. Diese Forschung im Bereich der Visualisierung wird vom Lehrstuhl für Graphische Datenverarbeitung durchgeführt. Dort sollen neue Verfahren entwickelt werden, die mit Hilfe von 3-D-Hardware auch komplexe Darstellungen in Echtzeit erzeugen können. Als wesentliches Merkmal des Gesamtsystems sollen die visualisierten Daten in den Analyseprozess rückgeführt werden, um die Aufnahmeposition neuer Ansichten sicher zu schätzen, die bisherigen Kalibrierparameter zu verbessern und die neu gewonnenen Daten in ein verfeinertes Szenenmodell fließen zu lassen, das auch für diese Anforderung hierarchisch strukturiert sein muss.

Project manager:
Prof. Dr. Günther Greiner, Prof. em. Dr.-Ing. Dr.-Ing. h.c. Heinrich Niemann, Prof. Dr.-Ing. Joachim Denzler

Project participants:
Dr.-Ing. Christian Vogelgsang, Dr.-Ing. Ingo Scholz, Dr.-Ing. Martin Meister

Keywords:
Lichtfelder; Lumigraph; Rendering; Hardware-beschleunigt; bildbasiert

Duration: 1.1.1998 - 31.12.2009

Sponsored by:
Sonderforschungbereich 603

Mitwirkende Institutionen:
Lehrstuhl für Mustererkennung (Informatik 5)

Contact:
Vogelgsang, Christian
E-Mail: vogelgsang@informatik.uni-erlangen.de

Publications

Vogelgsang, Christian ; Heigl, Benno ; Greiner, Günther ; Niemann, Heinrich: Automatic Image-Based Scene Model Acquistion and Visualization. In: Bernd Girod ; Greiner, Günther ; Niemann, Heinrich ; Hans-Peter Seidel (Ed.) : Proceedings (Vision Modeling and Visualization 2000 Saarbrücken 22-24.11.2000). 1. Edition Berlin : Akad. Verl.-Ges. 2000, 2000, pp 189-198. - ISBN 3-89838-019-X

Vogelgsang, Christian: Free Form Lightfields. Erlangen : Uni Erlangen. 2001 (3). - Internal report. 8 pages

Vogelgsang, Christian ; Greiner, Günther: Interactive Range Map Rendering with Depth Interval Texture Slicing. In: T. Ertl ; B. Girod ; Greiner, Günther ; Niemann, Heinrich ; H.-P. Seidel (Ed.) : Proceedings of Vision, Modeling, and Visualization 2003 (Vision, Modeling, and Visualization 2003 München 19-21.11.2003). Berlin : infix, 2003, pp 477-484. - ISBN 3-89838-048-3

Dachsbacher, Carsten ; Vogelgsang, Christian ; Stamminger, Marc: Sequential Point Trees. In: ACM Transactions on Graphics (Proc. SIGGRAPH 2003) 22 (2003), No. 03, pp 657-662

Hartmut Schirmacher ; Vogelgsang, Christian ; Hans-Peter Seidel ; Greiner, Günther: Efficient Free Form Light Field Rendering. In: Thomas Ertl ; Bernd Girod ; Greiner, Günther ; Niemann, Heinrich ; Hans-Peter Seidel (Ed.) : Proceedings (Vision Modeling and Visualization 2001 Stuttgart 21-23.11.2001). Vol. 1, 1. Edition Berlin : AKA, 2001, pp 249-256. - ISBN 3-89838-028-9

Vogelgsang, Christian ; Scholz, Ingo ; Greiner, Günther ; Niemann, Heinrich: lgf3 - A Versatile Framework for Vision and Image-Based Rendering Applications. In: Greiner, Günther ; Niemann, Heinrich ; Ertl ; Girod ; Seidel, Hans-Peter (Ed.) : Proceedings of Vision, Modeling, and Visualization 2002 (Vision, Modeling, and Visualization 2002 Erlangen 20-22.11.2002). Berlin : Infix, 2002, pp 257-264. - ISBN 3-89838-034-3

Vogelgsang, Christian ; Greiner, Günther: LGF3 - A versatile framework for image-based modeling and rendering. In: ACM SIGGRAPH (Org.) : SIGGRAPH 2004 Sketches and Applications (SIGGRAPH 2004 Los Angeles 8.8.2004-12.8.2004). Los Angeles : ACM Press, 2004, pp DVD ROM.

Kück, Hendrik ; Heidrich, Wolfgang ; Vogelgsang, Christian: Shape from Contours and multiple Stereo - a hierarchical mesh-based approach. In: IEEE (Org.) : Proceedings of First Canadian Conference on Computer and Robot VisionPro (First Canadian Conference on Computer and Robot Vision London, Ontario, Canada 17.-19.5.2004). London, Ontario, Canada : IEEE Press, 2004, pp 76-83.

Scholz, Ingo ; Vogelgsang, Christian ; Denzler, Joachim ; Niemann, Heinrich: Dynamic Light Field Reconstruction and Rendering for Multiple Moving Objects. In: Ikeuchi (Ed.) : Proceedings of Machine Vision Applications (Machine Vision Applications Tsukuba, Japan Mai 2005). 2005, pp 184-188.

Vogelgsang, Christian: The lgf3 Project: A Versatile Implementation Framework for Image-Based Modeling and Renderin. Erlangen, Universität Erlangen-Nürnberg, Ph.D. thesis, 2005

Winter, Marco ; Meister, Martin ; Greiner, Günther: Integration of Multiple Unstructured Lumigraphs in a Rendering Framework. In: Kobbelt, Leif ; Kuhlen, Torsten ; Aach, Til ; Westermann, Rüdiger (Ed.) : Proceedings Vision, Modeling and Visualization 2006 (Vision, Modeling and Visualization 2006 Aachen 22.11.06 - 24.11.06). Aachen : Akademische Verlagsgesellschaft Aka GmbH, 2006, pp 121-128, 391. - ISBN 3-89838-081-5