Structure from Motion

Structure from Motion SFM ist ein Begriff aus dem Bereich Computer Vision und bezeichnet einen automatischen Prozess, der die räumliche Struktur von Objekten aufgrund korrespondierender Merkmale in Bildern erkennt. In der Photogrammetrie wird die Vorgehensweise als Mehrbild-Photogrammetrie benannt. Grundlage des Verfahrens ist BUNDLER, eine an der Universität Washington zur Rekonstruktion ungeordneter Bildsequenzen mit beliebig beteiligten Kamerasystemen entwickelte Software. Eingangsdaten für Bundler sind digitale Bilder, Bildmerkmale und Bildzuordnungen. Rekonstruiert wird die Kamera- und Szenengeometrie. Bundler ist Open-Source-Software für Linux und Windows.

Prozesskette von Bundler

BUNDLER baut zunächst eine Bildliste mit Näherungswerten der Kameradaten aus den EXIF-Informationen auf. Im nächsten Schritt werden Merkmale in den Bildern ermittelt, häufig findet der SIFT-Detector Anwendung. Der Algorithmus (scale invariant keypoint detector) wurde 1999 von Loewe an der University British Columbia entwickelt. Das Matchen der so gefundenen Merkmalspunkte kann mit dem RANSAC-Algorithmus erfolgen. Kameraparameter, Photopositionen und Objektpunkte werden nach der Methode der kleinsten Quadrate im Ausgleichungsprozess bestimmt. Ein Ergebnis am Beispiel der Konak-Moschee in Izmir ist oben links im Bild zu zu sehen.

BUNDLER hat mit Patch-based Multi-view Stereo PMVS und CMVS Clustering-views for Multi-View Stereo Software von Yasutaka Furukawa, Univ. Washington, zwei wesentliche Erweiterungen erfahren. CMVS ist ein Preprocessor für PMVS zur Kachelung großer Bilddaten und PMVS verdichtet die Punktwolke, wie in der unteren Abbildung am Beispiel des Rathauses zu erkennen ist.

Punktwolke berechnet mit BUNDLER (links), verdichtet mit PMVS (rechts)

Es existieren unterschiedliche Distributionen von SFM-Software. Sehr komfortabel ist VSFM Visual Structure from Motion von Cangchang WU, Univ.Washington, Download von http://homes.cs.washington.edu/~ccwu/vsfm/index.html

Neben den Desktoplösungen wird für das SFM-Verfahren auch Webservice angeboten. Nach Hochladen der Bilder erhält man das 3D-Objekt als Mesh zurück. Bekannte Lösungen sind:

• ARC3D Visics Group KU Leuven
• Microsoft Photosynth www.photosynth.net
• Autodesk 123D Catch
• Hypr3D / Cubify Capture www.hypr3d.com

 



Screenshot von Autodesk 123D Catch

Von den Webservices erscheint Autodesk 123D Catch als das erste im Ranking mit Nachbearbeitung und Videofunktion. Nach Hochladen der Bilder wartet man auf das texturierte 3D-Modell oder man wird per eMail benachrichtigt. Die Modelle können in den Auflösungen mobile, standard oder maximum generiert werden. Nach Bereinigung der ersten Rekonstruktion kann man die ausgewählten Teile erneut berechnen lassen. Mit einer Videofunktion besteht auch die Möglichkeit des Hochladens einer Animation nach YouTube. Der obige Screenshot zeigt eine Familiengruppe aus dem Ägyptischen Museum Berlin, aufgenommen mit Canon G10. Hier geht es zum YouTube-Video. Ein Klick in das kleine Bild rechts zeigt eine vergrößerte Anaglyphendarstellung zur Betrachtung mit einer rot-cyan Brille.

Allgemein gilt für jede Aufnahmeanordnung, dass zwischen den Photostandpunkten eine Distanz sein muss und die Aufnahmerichtungen konvergent sind. Die Überdeckung sollte bis zu 60% betragen. Alle Objektbereiche sollten mehrfach vorhanden sein. Starke Sonneneinstrahlung ist störend. Das Objekt selbst muss genügend Struktur aufweisen oder präpariert werden. Erstellen Sie Übersichtsaufnahmen, nähern Sie sich dem Objekt und versuchen Sie Verdeckungen auszufüllen. Eine weitere Regel ist die Formatfüllung. Im Bild rechts sehen Sie eine sehr kleine Figurine, aufgenommen mit einer Webcam. Der Hintergrund ist eine Zeitung auf Karton aufgeklebt. Somit können die Bilder aufgrund vielfacher Bildpunkte orientiert werden. Der nicht interessierende Bereich wir später verworfen. Sie benötigen immer das ganze Bild, keine Ausschnitte. Vermeiden Sie am besten den Wechsel zwischen Quer- und Hochkantformat. Zoomen ist gestattet.

Bildnachweis:
Oben links: Lapidarium Mindener Museum, Ausschnitt der Mesh
Oben rechts: VSFM Screenshot Aufnahme Konak-Mosque,Izmir
Rechts oben: 3D-Modell der Moschee abgeleitet aus der Punktwolke
Rechts mitte: Relief (Ausschnitt) Lapidarium Mindener Museum
Rechts unten: Miniatur-Figurine, aufgenommen mit Webcam
Rechts darunter: Familiengruppe Ägyptisches Museum