Thermografie zur Handerkennung in der MRK

In industriellen Umgebungen arbeiten Menschen und kollaborative Roboter zunehmend eng zusammen, was neue Herausforderungen im Bereich der Arbeitssicherheit mit sich bringt. Der Schutz des Menschen vor potenziellen Kollisionen oder Unfällen ist hierbei von zentraler Bedeutung. Insbesondere die Erkennung menschlicher Hände, die sich im gemeinsamen Arbeitsraum befinden, ist kritisch für eine sichere Zusammenarbeit.

Hände zuverlässig erkennen

Ein Forschungsprojekt am Bremer Institut für Strukturmechanik und Produktionsanlagen (bime) untersucht die Anwendung von Thermografie und maschinellem Lernen zur zuverlässigen Erkennung menschlicher Hände in einem geteilten Arbeitsbereich. Thermografiekameras bieten den Vorteil, temperaturbasierte Bilder aufzunehmen und Objekte mit von der Umgebung abweichender Temperatur, wie menschliche Hände, präzise zu detektieren. Im Gegensatz zu herkömmlichen Kamerasystemen, die auf Farb- oder Texturinformationen angewiesen sind, vermeidet dieses Verfahren Fehlinterpretationen in komplexen Umgebungen. Es konzentriert sich allein auf Temperaturunterschiede und ist daher widerstandsfähiger gegenüber Störungen durch visuell ähnliche Objekte.

Um die Erkennungsgenauigkeit weiter zu optimieren, wird ein Algorithmus auf Basis neuronaler Netze entwickelt. Convolutional Neural Networks (CNNs) eignen sich hervorragend für Bildverarbeitungsaufgaben, da sie in der Lage sind, komplexe Muster wie Formen und Konturen zu erlernen. Das für diese Arbeit verwendete Yolo-Modell (You Only Look Once) ermöglicht es, Objekte in Bilddaten in Echtzeit zu erkennen. Dies ist besonders relevant, da industrielle Anwendungen auf hohe Verarbeitungs- und Reaktionsgeschwindigkeiten angewiesen sind. Das Modell wird speziell angepasst, um thermografische Bilder zu analysieren und Hände sicher und genau zu segmentieren. Dabei werden Hände in den Bilddaten lokalisiert und anschließend präzise von ihrer Umgebung abgegrenzt, um eine effiziente Weiterverarbeitung zu gewährleisten.

Erkennung der Hand unter Verwendung unterschiedlicher Werkzeuge. © bime

Die entwickelten Algorithmen werden umfassend getestet, sowohl in simulierten als auch in realen Arbeitsumgebungen. Die Ergebnisse zeigen eine hohe Erkennungsrate, auch unter schwierigen Bedingungen wie unterschiedlichen Handhaltungen, variierenden Temperaturen oder teilweisen Verdeckungen. Besonders hervorzuheben ist die Echtzeitfähigkeit des Systems, das Bildwiederholraten von bis zu 60 Bildern pro Sekunde erreicht. Dies stellt sicher, dass die Anwendung in sicherheitskritischen Bereichen, wie sie in der MRK üblich sind, effektiv eingesetzt werden kann.

Training und Validierung des Modells

Ein wesentlicher Teil der Forschung besteht in der Entwicklung eines Datensatzes thermografischer Handbilder, der vielfältige Variationen menschlicher Hände unter verschiedenen Bedingungen abdeckt. Dieser Datensatz dient dem Training und der Validierung des Modells und ermöglicht eine präzise Abstimmung des Erkennungsalgorithmus. Dabei werden unterschiedliche Handhaltungen, Temperaturveränderungen sowie die Überdeckung durch Objekte berücksichtigt. Die Implementierung dieses Systems bringt klare Vorteile für die Sicherheit in MRK-Szenarien und reduziert das Risiko, dass Roboter den Menschen durch unvorhergesehene Bewegungen verletzen.

Diese Arbeit leistet einen wesentlichen Beitrag zur aktuellen Forschung im Bereich der sicheren Zusammenarbeit von Mensch und Maschine. Thermografiebasierte Ansätze bieten gegenüber klassischen, bildbasierten Methoden erhebliche Vorteile, da sie robust gegenüber visuellen Störungen sind und Temperaturunterschiede effektiv zur Erkennung menschlicher Extremitäten nutzen. Der Einsatz moderner neuronaler Netze ermöglicht eine effiziente Verarbeitung der Bilddaten und garantiert eine leistungsfähige Echtzeitanwendung, die für den industriellen Einsatz von entscheidender Bedeutung ist.

Patrick Rückert, Lorenz Marhenke