Research project

Mobile Scanners

Consumer electronics, etwa Kameras, smart phones, Spiele- Konsolen oder infotainement- Systeme in Kraftfahrzeugen verfügen über eine sehr ausgereifte Bild-Sensorik und zugleich eine enorme Rechnerleistung. Dieser Technologie- Sprung in der Hardware-Entwicklung erlaubt es, Verfahren die bislang nur durch sehr teure Sensorik (z.B. 3D- Scanner) und unter Verwendung von leistungsfä- higen Desktop-Rechnern realisiert werden können, auch portabel zu realisieren. Als Beispiele kann die 3D-Objekterfassung und 3D-Objekterkennung dienen. Im einzelnen sollen die folgenden Problem- kreise bearbeitet werden: Erfassung, Rekonstruktion und Analyse sowohl von statischen Objekten als auch von dynamischen Szenen, incl. Anwendungen. Im statischen Fall sind dies 3D-Objekterkennung und Augmented Reality, im dynamisch Fall Bewegungsanalyse und Gesten-/ Mimik-Steuerung. Ziel ist die Entwicklung von Software, die Sensordaten von consumer electronic verarbeitet mit dem Ziel 3D-Information von Objekten, oder ganzen Szenen zu analysieren, zu digitalisieren (Rekonstruktion) und gegebenenfalls zu klassifizieren (Objekterkennung), inklusive der skizzierten Anwendungen. Hierfür muss die Algorithmik angepasst und effizienter weiter entwickelt werden und eine Hardware-nahe Imple- mentierung erfolgen. Wichtig ist dabei, im Verbund mit den Projekten des Bereichs B eine Middleware zu entwickeln, die hinreichend flexibel ist, um auf die Entwicklungszyklen der Hardware zu reagieren.
Aus dem Teilprojekt haben sich eine Reihe von Verfahren zur Erfassung von bewegten Gesichtern herausgebildet, die im Forschungsprojekt "3D-Erfassung bewegter Gesichter" aufgeführt sind.

Project manager:
Prof. Dr. Günther Greiner

Project participants:
Dr.-Ing. Michael Zollhöfer, Prof. Dr.-Ing. Matthias Nießner, M.Sc. Justus Thies

Start: 1.10.2012

Sponsored by:
Deutsche Forschungsgemeinschaft

Publications

Nießner, Matthias ; Zollhöfer, Michael ; Izadi, Shahram ; Stamminger, Marc: Real-time 3D Reconstruction at Scale using Voxel Hashing. In: ACM Transactions on Graphics (TOG) 32 (2013), No. 6, pp 169:1-11

Nießner, Matthias ; Loop, Charles: Analytic Displacement Mapping using Hardware Tessellation. In: ACM Transactions on Graphics (TOG) 32 (2013), No. 3, pp 26

Zollhöfer, Michael ; Vieweg, Andre ; Süßmuth, Jochen ; Greiner, Günther: Pseudo-Skeleton based ARAP Mesh Deformation. In: Sabanci University Press (Ed.) : Proceedings of Computer Animation and Social Agents 2013 (CASA 2013 Istanbul, Turkey May 2013). 2013, pp Paper 41. - ISBN 978-605-4348-53-4

Nießner, Matthias: Rendering Subdivision Surfaces using Hardware Tessellation. München : Verlag Dr. Hut, 2013. - ISBN 978-3-8439-1182-5

Zollhöfer, Michael ; Süßmuth, Jochen ; Bauer, Frank ; Greiner, Günther ; Boss, Martin: Towards an Objective Geometrical Description of Antique Busts.Talk: Colour and Space in Cultural Heritage, Mainz, 27.03.2013

Zollhöfer, Michael ; Süßmuth, Jochen ; Bauer, Frank ; Stamminger, Marc ; Boss, Martin: Visualization and Deformation Techniques for Entertainment and Training in Cultural Heritage. In: IEEE Computer Society (Ed.) : Image and Signal Processing and Analysis (ISPA), 2013 (Image and Signal Processing and Analysis (ISPA) Trieste 4.9.2013). Los Alamitos, CA, USA : IEEE Computer Society, 2013, pp 570-575. - ISBN 9781479931255

Zollhöfer, Michael ; Thies, Justus ; Colaianni, Matteo ; Stamminger, Marc ; Greiner, Günther: Interactive Model-based Reconstruction of the Human Head using an RGB-D Sensor. In: Journal Computer Animation and Virtual Worlds 25 (2014), No. 3-4, pp 213-222

Zollhöfer, Michael ; Siegl, Christian ; Riffelmacher, Bert ; Vetter, Mark ; Dreyer, Boris ; Stamminger, Marc ; Bauer, Frank: Low-Cost Real-Time 3D Reconstruction of Large-Scale Excavation Sites using an RGB-D Camera. In: Klein, R. ; Santos, P. (Ed.) : EUROGRAPHICS Workshop on Graphics and Cultural Heritage (EUROGRAPHICS Workshop on Graphics and Cultural Heritage Darmstadt 6.10.-7.10.2014). 2014, pp to appear.

Zollhöfer, Michael ; Nießner, Matthias ; Izadi, Shahram ; Rhemann, Christoph ; Zach, Christopher ; Fisher, Matthew ; Wu, Chenglei ; Fitzgibbon, Andrew ; Loop, Charles ; Theobalt, Christian ; Stamminger, Marc: Real-time Non-rigid Reconstruction using an RGB-D Camera. In: ACM Transactions on Graphics (TOG) 33 (2014), No. 4, pp 156:1-12

Wu, Chnglei ; Zollhöfer, Michael ; Nießner, Matthias ; Stamminger, Marc ; Izadi, Shahram ; Theobalt, Christian: Real-time Shading-based Refinement for Consumer Depth Cameras. In: ACM Transactions on Graphics 33 (2014), No. 6, pp 200:1-10
[doi>10.1145/2661229.2661232]

Thies, Justus ; Zollhöfer, Michael ; Nießner, Matthias ; Valgaerts, Levi ; Stamminger, Marc ; Theobalt, Christian: Real-time Expression Transfer for Facial Reenactment. In: ACM (Org.) : ACM Transactions on Graphics (TOG) (Siggraph Asia 2015 Kobe, Japan). Vol. 34, 6. Edition 2015, pp -.

Thies, Justus ; Zollhöfer, Michael ; Stamminger, Marc ; Theobalt, Christian ; Nießner, Matthias: Face2Face: Real-time Face Capture and Reenactment of RGB Videos. In: IEEE (Ed.) : Proc. Computer Vision and Pattern Recognition (CVPR) (CVPR 2016 Las Vegas). 2016, pp -.

Zollhöfer, Michael: Real-Time Reconstruction of Static and Dynamic Scenes. München : Verlag Dr. Hut, 2015. - 196 pages. ISBN 978-3-8439-2116-9

Thies, Justus ; Zollhöfer, Michael ; Stamminger, Marc ; Theobalt, Christian ; Nießner, Matthias: FaceVR: Real-Time Facial Reenactment and Eye Gaze Control in Virtual Reality. In: arXiv.org. Cornell : Cornell University Library, 2016, pp 1-13.

Thies, Justus ; Zollhöfer, Michael ; Stamminger, Marc ; Theobalt, Christian ; Nießner, Matthias: Demo of Face2Face: Real-time Face Capture and Reenactment of RGB Videos. In: ACM Siggraph (Org.) : ACM SIGGRAPH 2016 Emerging Technologies (SIGGRAPH '16 Anaheim, California). New York, NY, USA : ACM, 2016, pp 5:1-5:2.
[doi>10.1145/2929464.2929475]