HADAR verleiht „gespenstischen“ Wärmebildern Tiefe und Textur

Wenn autonome Fahrzeuge und Roboter jemals sicher und effizient sein sollen, müssen sie ihre Umgebung wahrnehmen. Sie müssen auch in der Lage sein, das Verhalten der Dinge um sie herum vorherzusagen – seien es andere Roboter, Fahrzeuge oder sogar Menschen –, ihre Wege zu planen und entsprechende Entscheidungen zu treffen. Mit anderen Worten: Sie brauchen maschinelles Sehen.

Traditionell wird maschinelles Sehen mit einer Kombination aus Kameras und Sensoren wie Radar, Sonar und Lidar erreicht. Aber auch maschinelles Sehen ist oft auf Wärme angewiesen. „Wärmestrahlung kommt von allen Objekten, deren Temperatur ungleich Null ist“, sagt Zubin Jacob, Professor für Elektrotechnik und Computertechnik an der Purdue University. „Blätter, Bäume, Pflanzen, Gebäude – sie alle strahlen Wärmestrahlung aus, aber da es sich um unsichtbare Infrarotstrahlung handelt, können unsere Augen und herkömmliche Kameras sie nicht sehen.“ Da Wärmewellen jedoch ständig streuen, mangelt es den von Infrarotkameras erzeugten Bildern an Materialspezifität, was zu verschwommenen, „geisterhaften“ Bildern ohne Tiefe oder Textur führt.

Als Alternative zu „Geisterbildern“ haben Jacob und seine Kollegen an den Universitäten Purdue und Michigan State eine HADAR-Technik (Hitzeunterstützte Erkennung und Entfernung) entwickelt, die überlagerte Wärmesignale auflöst, um Textur und Tiefe zu „sehen“. In einem Proof-of-Concept-Experiment zeigten sie, dass die HADAR-Rangfolge bei Nacht genauso gut ist wie die RGB-Stereovision am Tag. Ihre Arbeit wurde am 26. Juli in Nature veröffentlicht.

Menschen sehen tagsüber oder in Umgebungen mit ausreichend Licht eine reiche Vielfalt an Farben, Texturen und Tiefen, aber selbst in dunklen oder dunklen Situationen prallen zahlreiche thermische Photonen umher. Obwohl Menschen es nicht sehen können, „muss diese Einschränkung nicht für Maschinen gelten“, sagt Jacob, „aber wir mussten neue Sensoren und neue Algorithmen entwickeln, um diese Informationen zu nutzen.“

Für ihr Experiment wählten die Forscher einen Außenbereich in einem sumpfigen Gebiet, fernab von Straßen und städtischer Beleuchtung. Sie sammelten Wärmebilder im Infrarotspektrum über fast 100 verschiedene Frequenzen. Und so wie jedes Pixel in RGB-Bildern durch drei sichtbare Frequenzen kodiert ist (R für Rot, G für Grün, B für Blau), wurde jedes Pixel im Experiment mit drei thermischen physikalischen Attributen gekennzeichnet: TeX – Temperatur (T), Material-Fingerabdruck oder Emissionsgrad (e) und Textur oder Oberflächengeometrie (X). „T und e sind einigermaßen gut verstanden, aber die entscheidende Erkenntnis über die Textur liegt tatsächlich in X“, sagt Jacob. „X sind eigentlich die vielen kleinen Sonnen in Ihrer Szene, die Ihren spezifischen Interessenbereich beleuchten.“

Die Forscher haben alle gesammelten TeX-Informationen in einen maschinellen Lernalgorithmus eingespeist, um Bilder mit Tiefe und Textur zu erzeugen. Sie verwendeten die sogenannte TeX-Zerlegung, um Temperatur und Emissionsgrad zu entwirren und die Textur aus dem Wärmesignal wiederherzustellen. Die bereinigten T-, e- und X-Attribute wurden dann verwendet, um Farben hinsichtlich Farbton, Sättigung und Helligkeit auf die gleiche Weise aufzulösen, wie Menschen Farben sehen. „Nachts, in absoluter Dunkelheit, war unsere Genauigkeit dieselbe, als wir tagsüber zurückkamen und die Ortung und Ortung mit RGB-Kameras durchführten“, sagt Jacob.

Der größte Vorteil von HADAR sei, dass es passiv sei, fügt Jacob hinzu. „Das bedeutet, dass man die Szene nicht mit einem Laser, Schallwellen oder elektromagnetischen Wellen beleuchten muss. Außerdem kann es bei aktiven Ansätzen wie Lidar, Sonar oder Radar zu starkem Übersprechen zwischen ihnen kommen, wenn viele Agenten vor Ort sind.“

Als neue Technologie befinde sich HADAR noch in einem recht jungen Stadium, sagt Jacob. Derzeit dauert die Datenerfassung fast eine Minute. Im Vergleich dazu müsste ein autonomes Fahrzeug, das beispielsweise nachts fährt, seine Umgebung in Millisekunden abbilden. Außerdem sind die für die Datenerfassung erforderlichen Kameras sperrig, teuer und energiehungrig: „Großartig für eine wissenschaftliche Demonstration, aber nicht wirklich für eine breite Anwendung“, so Jacob. Die Forscher arbeiten derzeit an diesen Problemen, und Jacob geht davon aus, dass die Forschung noch einige Jahre darauf ausgerichtet sein wird, sie anzugehen.

Allerdings gebe es einige Anwendungen, die sofort möglich seien, sagt Jacob, etwa die nächtliche Wildtierüberwachung. Ein weiterer Bereich, in dem eine Entscheidungsfähigkeit im Millisekundenbereich nicht erforderlich ist, sind einige medizinische Anwendungen, beispielsweise die Messung von Temperaturgradienten am menschlichen Körper.

„Die große Herausforderung sind jetzt Hardware-Verbesserungen“, sagt Jacob, „in die wir unsere fortschrittlichen Algorithmen integrieren können.“ Die nächste Generation von Kameras, prognostiziert er, werde schnell und kompakt sein und bei Raumtemperatur arbeiten, wofür völlig neue Materialien erforderlich seien.