Fraunhofer-Institut für Physikalische Messtechnik IPM
Fraunhofer-Institut für Physikalische Messtechnik IPM

Automatisierte Interpretation von Punktwolken

Mit KI-basierten Methoden aus dem Bereich des Deep Learning sorgen wir für ein tiefes semantisches Verständnis von Mobile Mapping-Daten wie z. B. Punktwolken und Kamerabildern.

Semantische Datenanalyse

Künstliche Intelligenz für die automatisierte Auswertung von 2D- und 3D-Daten

Bei der Zustandserfassung von Verkehrsinfrastruktur, Bauwerken oder landwirtschaftlich genutzten Flächen werden enorme Mengen an Kamerabildern und sehr große 3D-Punktwolken erzeugt. Solche Mobile Mapping-Daten werden auch heute noch überwiegend manuell ausgewertet. Das ist zeitaufwändig und teuer. Deshalb setzt Fraunhofer IPM auf eine automatisierte Auswertung mithilfe von KI: Bei der KI-basierten semantischen Segmentierung von Kamerabildern oder Punktwolken wird jedes Pixel bzw. jeder 3D-Punkt einer bestimmten Objektklasse zugeordnet. Durch dieses semantische Verständnis können in einem Folgeschritt die Messergebnisse automatisiert in reduzierte und vektorisierte Datenformate wie z. B. 3D-Modelle oder GIS-kompatible 2D-Karten überführt werden.

Semantische Segmentierung von 2D-Bildern und 3D-Punktwolken
© Fraunhofer IPM
Beispiel für die semantische Segmentierung von Objekt- und Oberflächenklassen einer Straßenszene auf der Basis von 2D-RGB-Bildern und 3D-Punktwolken

Methode: Supervised Deep Learning

Für unsere anwendungsspezifischen, hochgenauen Lösungen zur Datenanalyse verwenden wir hauptsächlich KI-Methoden aus dem Bereich des Supervised Deep Learning. Beim Supervised Deep Learning lernt ein Algorithmus zu erkennende Objekte anhand manuell gelabelter Trainingsdaten. Dazu werden künstliche neuronale Netze (KNN) mithilfe von geeigneten Trainingsdatensätzen trainiert. Ein hochgenaues KNN ist eine Grundvoraussetzung für die automatisierte Datenanalyse. KNN erlernen für bestimmte Eingangsmuster das zugehörige Ausgabemuster. Auf Basis dieser »Erfahrungswerte« können neue, unbekannte Eingangsdaten dann in Echtzeit analysiert werden. Dabei erweisen sich KNN als sehr robust gegenüber Variationen charakteristischer Farben, Kanten oder Formen. Datenbasis für die automatisierte Objekterkennung können sowohl 2D-Kamera- als auch 3D-Scandaten (Punktwolken) oder auch fusionierte Daten sein.

Prinzipiell ist dieser Ansatz auf beliebige Objekte und Szenarien anwendbar. Objekte können zum Beispiel parkende Autos, Schäden an Betonbrücken, Befestigungsschrauben von Bahnschienen oder Tür- und Fensteröffnungen im Hochbau sein. Dieser Ansatz ist klassischen geometrischen Erkennungsalgorithmen für 2D-Bilddaten oder 3D-Punktwolken überlegen, da besser auf leichte Variationen in den Messdaten (Farben, Belichtung, Bauformen der Objekte etc.) generalisiert wird.

Optimierung und Echtzeit-KI

Häufig sind KI-Ansätze wesentlich leistungsfähiger als klassische Algorithmen, wenn es um komplexe Fragestellung in der Datenanalyse geht. Allerdings benötigen KI-basierte Lösungen deutlich mehr Rechenleistung, häufig in Form von dezidierten Beschleunigern (z. B. Grafikkarten). Um den Einsatz der KI im produktiven Betrieb so kosteneffizient wie möglich zu gestalten, optimieren wir die KI und die gesamte Softwarekette auf die zur Verfügung stehende Hardware.

Je nach Anwendung kann dies auch eine Optimierung für weniger leistungsfähige Edge-Hardware oder Embedded-Plattformen sein. Hier kann die KI-basierte Interpretation der Messdaten direkt im Messsystem in Echtzeit erfolgen. So ergeben sich immense systemische Vorteile: Der Arbeitsaufwand für Datenhandling, Speicherung und Nachprozessierung entfällt. Das Ergebnis steht direkt nach der Messung in Echtzeit zur Verfügung.


KNN-Training und Erstellen von Trainingsdaten

Alle ausklappen Alle einklappen

Eingangsdaten für das Trainieren eines KNN sind je nach Anwendung entweder 3D-Punktwolken aus Laserscannern, Daten von Photogrammmetrie- oder Stereo-Kamerasystemen oder auch einfache 2D-Bilder.

2D-Bilddaten

Kamerabilder als Trainingsdaten für ein KNN haben gleich mehrere Vorteile: Dank der sehr hohen Auflösung lassen sich sehr feine Strukturen wie z. B. unterschiedliche Straßenoberflächen oder Risse erkennen. Der Prozess der manuellen Annotation von Bilddaten ist für Menschen zwar aufwändig, aber weniger komplex als etwa die Annotation von 3D-Punktwolken. Zudem stellen die von uns verwendeten künstlichen neuronalen Netze weniger Anforderungen an die Hardware. Nachteilig ist allerdings, dass vor allem für komplexe Szenarien mit vielen verschiedenen Objektklassen sehr viele Trainingsdaten benötigt werden. Um georeferenzierte Daten zu erhalten, müssen die Bildinformationen außerdem nachträglich mit klassischen geometrischen Operationen im 3D-Raum verortet werden. Dies stellt höhere Anforderungen an die Kalibration und Komplexität der Messsysteme, die die Daten bereitstellen.

3D-Punktwolken-Daten

Punktwolken als Datenbasis für das KI-Training stellen höhere Anforderungen an Speicherkapazität und Rechenleistung. Zudem ist die Annotation von Punktwolken sehr zeitaufwändig. Moderne Punktwolken-KI-Architekturen erreichen aber schon mit vergleichsweise wenig Trainingsdaten erstaunliche Genauigkeiten. Zudem wird die Gesamtkomplexität der Software reduziert und diverse andere Fehlerquellen wie z. B. Projektionsfehler aufgrund ungenauer Kalibrationen werden eliminiert.

Eine gute Auswahl der Trainingsdaten und eine sorgfältige Vorbereitung (Annotation), sind der Schlüssel zu einer effektiven KI-Lösung für die automatisierte semantischen Datenanalyse. Mit eigens entwickelten Tools und Verfahrensabläufen sichern wir eine hohe Qualität von Trainingsdaten – und damit zuverlässige Ergebnisse bei der Datenanalyse. Das Labeln kleinerer Datensätze übernimmt bei uns ein eigens dafür qualifiziertes Team. Die Expertinnen und Experten für Datenanalyse erstellen darüber hinaus Annotationsrichtlinien, anhand derer Dienstleister größere Datenmengen annotieren und führen die anschließende Qualitätskontrolle durch.

Synthetische Trainingsdaten und alternative Konzepte zur Trainingsdatenreduktion

Das Erstellen von Trainingsdaten ist häufig der größte Kostentreiber für die KI-basierte Datenanalyse. Wir entwickeln Methoden zur gezielten Reduktion der Trainingsdatenmenge: Mit ausgeklügelten Softwarebibliotheken werden vorhandene Trainingsdaten statistisch analysiert, mithilfe frei verfügbarer 3D-Modelle nachmodelliert und algorithmisch variiert. Anschließend werden das komplette Messsystem und die Messung realitätsnah simuliert. So lassen sich zusätzliche synthetische, jedoch realistische, Trainingsdaten erzeugen. Die synthetischen Trainingsdaten erhöhen die Trainingsdatenmenge um ein Vielfaches und steigern somit die Genauigkeit der Datenanalyse.

Zusätzlich erforschen wir, wie KI-Methoden aus den Bereichen Semi-Supervision und Unsupervised-Learning genutzt werden können, um die Ergebnisqualität weiter zu steigern. Diese Ansätze arbeiten methodisch bedingt ausschließlich mit den Messdaten. Der gesamte Vorgang der Annotation entfällt.

Für die automatisierte Analyse von Messdaten sollte das neuronale Netz so effizient wie möglich trainiert werden. Dabei müssen jeweils viele zusätzliche Freiheitsgrade (Hyperparameter) optimiert werden. Für das Training des KNN stehen uns hochleistungsfähige Server zur Verfügung, die eine Parallelisierung von Rechenprozessen und die Verarbeitung sehr großer neuronaler Netze ermöglichen.

Das KNN muss in eine Gesamtsoftware integriert und mit klassischen Methoden ergänzt und kontrolliert werden, um mögliche Fehler der KI zu erkennen. Bei der Software decken wir alle Plattformen und Auslieferungsmodelle ab und bauen individuell maßgeschneiderte Softwareprodukte.

Am Ende entscheidet die Genauigkeit des Gesamtprozesses über die Qualität der automatisierten Datenanalyse: Daher legen wir großen Wert auf eine End-to-End-Betrachtung der Ergebnisse auf Basis repräsentativer Daten und einen wissenschaftlich belastbaren Vergleich des Analyseergebnisses zum wahren Sachverhalt.