Die aktuelle Vorhersage von Molly
Virtuelle Fische am Institut für Echtzeit Lernsysteme
“Nutze dein Wissen” – Analyse durch Synthese zum Fisch-Tracking
Im Teilprojekt des Instituts für Echtzeit Lernsysteme (Prof. Kuhnert) geht es um die technische Umsetzung des virtuellen Fisches. Neben der Erstellung und der Animation eines Fischmodells steht besonders die Interaktion des virtuellen Fisches mit dem echten Fisch im Vordergrund. Wie auch ein echter Fisch benötigt der virtuelle Fisch Sensoren, um seine Umgebung und besonders seinen echten Fischpartner wahrzunehmen. Im aktuellen Projekt werden Kameras eingesetzt, um dem virtuellen Fisch das "Sehen" zu ermöglichen. Aus den Kamerabildern werden dann mit Hilfe von Software exakte Bewegungs- und Positionsinformationen des echten Fisches extrahiert.
Im genannten Projekt soll ein spezielles Analysesystem eingesetzt und erforscht werden: das Analyse-durch-Synthese-Verfahren. Bei diesem Verfahren werden nicht nur Kamerabilder zur Bestimmung der Position und der Verformung des Fisches genutzt, sondern zusätzlich das Wissen, dass man durch das zuvor erstellte 3D-Modell des virtuellen Fisches erlangt hat.
Publikationen
M. Langer, L. Kuhnert, M. Ax, D.-V. Nguyen, and K.-D. Kuhnert. 3D object recognition and localization employing an analysis by synthesis system. In IADIS Int. Conf. on Applied Computing, pages 132-140, Rome, Italy, November 19-21, 2009.
S. Todt, M. Langer, C. Rezk-Salama, A. Kolb, and K.-D. Kuhnert. Spherical light field rendering in application for analysis by synthesis. In Int. J. on Intell. Systems and Techn. and Appl. (IJISTA), Issue on Dynamic 3D Imaging, volume 5:1, pages 304-314, 2008.
In der Praxis schätzt man zuerst grob die Position des echten Fisches mit Hilfe aktuell vorhandener Tracking-Algorithmen ab. An dieser Position wird nun auch der virtuelle Fisch in die virtuelle Welt gesetzt. Im nächsten Schritt wird ein synthetisches Bild des virtuellen Fisches mit dem des echten Fisches verglichen. Sind diese unterschiedlich, passt man das virtuelle Fisch-Modell solange an, bis die Bilder der beiden Fische nahezu identisch sind.
Anschließend werden die Positions- und Verformungsparameter des virtuellen Fisches, die während des Anpassungsprozesses gesetzt wurden, für den echten Fisch abgeleitet und man bekommt so detaillierte Informationen über dessen Position und Ausrichtung. Im Gegensatz zu den sonst üblichen Verfahren, liefert das Analyse-durch-Synthese Verfahren genauer 3D-Lage- und Positionsdaten bei Verwendung von nur einer Kamera.
Abbildung 1. Screenshot der Tracking-Software. In der rechten Hälfte des Ausgabefensters, werden die aktuellen Aufnahmen der beiden Kameras eingeblendet. Aus diesen Aufnahmen werden die Silhouetten des Fisches automatisch ausgeschnitten und in der unteren linken Hälfte des Bildes angezeigt. Die berechnete 3D Pose des Fisches wird im oberen linken Teil angezeigt.
Abbildung 2. Versuchsaufbau zum Fisch-Tracking. Der Aufbau umfasst zwei Kameras. Neben der Kamera für das Analyse-durch-Synthese-Verfahren, ist eine zweite Kontroll-Kamera zur Überprüfung der berechneten Fisch-Bewegung installiert. Die roten Bälle an den Ecken des Aquariums dienen der Kamera-Kalibrierung.
Mehr Informationen zur Forschung am Institut für Biologie
