Das Umfeld sicher überwachen

Die Anforderungen an Fahrerlose Transportfahrzeuge (FTF) erhöhen sich stetig. Deren Einsatzgebiete werden dynamischer, und der Mischbetrieb, bei dem FTF in direkter Umgebung zu Personen eingesetzt werden, nimmt zu. Ausgangspunkt sind wandlungsfähige Produktionssysteme, die aufgrund kleinerer Losgrößen und kürzerer Produktlebenszyklen erforderlich werden.

Am Institut für Fördertechnik und Logistik (IFT) der Universität Stuttgart werden für die wandlungsfähigen Produktionssysteme nicht nur neue Materialbereitstellungssysteme und FTF für verschiedenste Aufgaben genutzt, sondern auch Ansätze zu deren Umgebungsüberwachung und Absicherung entwickelt. Die bisher häufig an FTF eingesetzten Sensoren zur Überwachung der Umgebung verfügen nur über einen eingeschränkten Erfassungsbereich und sind nicht in der Lage, Objekte in ihrer Umgebung exakt zu identifizieren. Durch die Unterscheidung von Objekten und Personen wäre ein situatives Verhalten der FTF in dynamischen Umgebungen möglich.

Robot Operating System (ROS) als Forschungsbasis

Zur Entwicklung und Validierung neuer Sensorkonzepte für FTF wurde am IFT auf der Grundlage des Linux-basierten Frameworks Robot Operating System (ROS) ein modularer Versuchsträger aufgebaut. Die quelloffene Sammlung von Softwarepaketen und -werkzeugen, deren Entwicklung im Jahr 2007 an der Stanford University begann, wird für eine Vielzahl von Robotikanwendungen in Forschung und Industrie eingesetzt.

Dank der aktiven Community sind bereits viele grundlegende Funktionen implementiert, wodurch sich die Umsetzung von robotischen Projekten beschleunigen lässt. Zudem ist aufgrund der vorhandenen Schnittstellen eine Integration von weiteren (Hardware-)Komponenten jederzeit möglich. Dadurch lassen sich die im System aufkommenden Daten auch problemlos weiteren Verwendungszwecken zuführen. So können die Sensor-Daten zur FTF-Absicherung beispielsweise für die Navigation des Fahrzeugs verwendet oder umgekehrt Informationen von stationären Systemen in die Umgebungsüberwachung integriert werden.

Bei ROS handelt es sich um ein verteiltes System, bei dem die einzelnen Anforderungen in sog. Nodes aufgeteilt werden. Diese nutzen ein Publisher-Subscriber-System zur Peer-to-Peer-basierten Kommunikation untereinander, die über individuell vordefinierte Nachrichtentypen stattfindet.

Des Weiteren ermöglicht ROS, wie im Bild 1 dargestellt, eine unmittelbare Auswertung und Visualisierung des aktuellen Zustands. Die integrierte Aufzeichnung der Rohdaten bietet zudem eine gute Möglichkeit zur Validierung der eingesetzten Sensorik.

Aufbau des Versuchsträgers

Der Versuchsträger zur Entwicklung und Validierung neuer Sensorkonzepte (Bild 2) macht sich die o. g. Vorteile zunutze. Die grundlegende Struktur des ROS-Frameworks ermöglicht modulare Sensorkonzepte, die sich an die Bedürfnisse der Umgebung anpassen lassen. Auf diese Weise konnte im Versuchsträger ein Plug-and-Play-System realisiert werden, in dem einzelne Sensormodule je nach Anwendungsfall hinzugefügt werden können. Dadurch ist auch die einfache Entnahme einzelner Sensormodule für die separate Weiterentwicklung und Erprobung möglich.

Die einzelnen Sensormodule sind hardware- und softwareseitig voneinander getrennt und in genormte Kleinladungsträger integriert, die über eine zentrale Stromversorgung an ein Basismodul angebunden sind und via Ethernet kommunizieren. In diesem Basismodul befindet sich darüber hinaus ein Computer zur Fusionierung und Visualisierung der gewonnenen Sensordaten. Außerdem ist dort ein Touch-Display zur direkten Bedienung und Visualisierung des Gesamtsystems integriert (Bild 3).

Die Fusion der Sensordaten ermöglicht den Ausgleich der Defizite der einzelnen Sensoren sowie die gegenseitige Verifizierung der erkannten Hindernisse. Das Resultat der Sensorfusion ist eine Liste an Objekten, denen jeweils ein Objekttyp (z. B. Mensch, Tisch, Stuhl usw.) sowie eine Position im Raum zugewiesen sind.

Für eine erste Untersuchung wurden drei unterschiedliche Sensormodule im Versuchsträger implementiert:

• Das sog. Laser-Modul basiert auf einem einfachen Laserscanner, der beispielsweise in Staubsaugrobotern eingesetzt wird.
• Das RGB-Kamera-Modul enthält eine konventionelle USB-Webkamera.
• Das ToF-Kamera-Modul enthält eine 3D-Kamera aus der Unterhaltungselektronik, die ähnliche Daten wie eine konventionelle ToF-Kamera liefert.

Die Software des Laser-Moduls basiert auf einem Clustering-Ansatz. Die zweidimensionale Punktwolke des Sensors wird nach Häufungen untersucht, um Objekte in der Umgebung des Versuchsaufbaus zu isolieren. Aufgrund der Beschränkungen in der Dimensionalität des Sensorsignals kann der Objekttyp hier nicht weiter spezifiziert werden. Als Rechner-Plattform kommt ein Raspberry Pi Single-Board-Computer (SBC) zum Einsatz. Das RGB-Kamera-Modul verwendet ein vortrainiertes, neuronales Netzwerk (MobileNetV2), um Menschen und andere Hindernisse, wie Stühle oder Tische, im Sichtfeld der Kamera zu detektieren. Ausgehend von den Kennzahlen der Kameralinse, kann der Winkel zwischen Kamera und Objekt bestimmt werden. Auch hier wird ein SBC verwendet, in diesem Fall ein Rock Pi 4 von Radxa. Das ToF-Kamera-Modul basiert auf einem ähnlichen Ansatz; aufgrund der erweiterten Rechenkapazität des verwendeten NVIDIA Jetson Nano kann hier aber ein verbessertes Netzwerk eingesetzt werden. Zusätzlich werden die Tiefeninformationen des integrierten Infrarotsensors verwendet, um die Position der Objekte im Raum zu bestimmen.

Resümee und Ausblick

Zur Weiterentwicklung der Umgebungsüberwachung bei FTF wurde am IFT ein modularer Versuchsträger entwickelt und aufgebaut, der mit den eingesetzten Sensormodulen u. a. eine differenzierte Erkennung von Objekten und Personen ermöglicht. Dieser Versuchsträger basiert auf dem aus der Robotik stammenden Open-Source-Framework ROS. Aufgrund seiner modularen Struktur ist ein Plug-and-Play-Betrieb der Sensormodule möglich. Mithilfe dieses Versuchsträgers sollen neue Sensorkonzepte sowie neue Bedienkonzepte für die Mensch-Technik-Interaktion sowohl bei FTF als auch bei stationären Anlagen entwickelt und validiert werden.

Autor: Dipl.-Ing. David Korte, Oberingenieur am Institut für Fördertechnik und Logistik (IFT) der Universität Stuttgart, Laura Blumhardt, M. Sc., wissenschaftliche Mitarbeiterin am Institut für Fördertechnik und Logistik (IFT) der Universität Stuttgart, Kai Schneider, B. Sc., wissenschaftliche Hilfskraft am Institut für Fördertechnik und Logistik (IFT) der Universität Stuttgart, Julian Brandes, B. Sc., wissenschaftliche Hilfskraft am Institut für Fördertechnik und Logistik (IFT) der Universität Stuttgart