Lange Zeit war die Bildverarbeitungstechnologie bekannt für ihre Komplexität bei Entwicklung und Integration. Selbst heute noch benötigen viele Machine-Vision-Lösungen spezielle Fähigkeiten oder Unterstützung durch mitunter teure Integrationsleistungen, etwa bei der Implementierung von Bildverarbeitung in Robotikanwendungen. Im Kontext von Industrie 4.0 und zunehmender Automatisierung steigt jedoch die Nachfrage nach standardisierten und bezahlbaren Bildverarbeitungslösungen, die einfach zu integrieren sind und die Wahrnehmungsfähigkeit eines Industrieroboters verbessern. Darüber hinaus sind solche Systeme auch Voraussetzung für die Eroberung neuer Anwendungsfelder außerhalb der Fabrikhalle, die üblicherweise unter dem Begriff „Servicerobotik“ zusammengefasst werden. In diesem Bereich konnten in den letzten zehn Jahren deutliche Fortschritte erzielt werden, etwa bei unbemannten Luftfahrzeugen (UAVs) wie Drohnen und unbemannten Bodenfahrzeugen (UGVs), die durch den Einsatz komplexer Algorithmen und Sensoren einen deutlich höheren Grad an Autonomie erreicht haben. Beschleunigt wurde die Integration von Computer-Vision-Systemen auch durch die zunehmende Miniaturisierung von Komponenten, welche Embedded-Vision-Systeme erst ermöglichte. Wirklich verlässlich funktionierende Systeme mit „sehenden Robotern“ stehen aber noch immer vor großen Herausforderungen, zu denen beispielsweise die Erkennung, Klassifizierung und Umgehung von Hindernissen gehören.

Das Viper-System ist eine Kombination aus 3D-Sensorik und flexibel nutzbarer Recheneinheit. Es besteht aus einem synchronisierten Paar handelsüblicher 2D-Sensoren, einer auf der kundenspezifisch ausgestalteten Trägerplatte integrierten Embedded-GPU-Computerplattform mit allen relevanten Industrieschnittstellen sowie einer sorgfältig abgestimmten Basissoftware. Letztere wurde so konzipiert, dass sie durch Standardmodule oder maßgeschneiderte Perception-Module erweitert werden kann. Diese Module werden auch als „Perception Apps“ bezeichnet, da sie wie im Smartphone-App-Store verfügbar sind und sich einfach integrieren lassen. Diese Software-Grundlage bildet die leis-tungsstärkste Funktion von Viper: Damit kann ein aufgenommenes 3D-Bild bereits im Viper-System zusätzlich je nach Anwendung interpretiert und qualifiziert werden. Dem Host-System können lediglich die für die Auswertung relevanten Bilddaten weitergegeben werden. So kann beispielsweise das ursprüngliche 3D-Bild analysiert und in das roboterseitig genutzte Laserscan-Signal umgewandelt werden. Damit wird das vom Nutzer definierte Segment des 3D-Bildvolumens fast in Echtzeit in eine 2D-LiDAR-Signaldarstellung konvertiert. Ein weiterer Anwendungsfall ist die Palettenplatzerkennung. Hier kann Viper lediglich die relevanten 3D-Koordinaten der Palette ausgeben, nachdem sie vor einem selbstfahrenden Gabelstapler erfasst wurde.

Das Herzstück der 3D-Erkennung von Viper ist eine passive Stereokamera, die synchronisierte Bilder mit einem bestimmten Offset aufnimmt und mit dem schnellen On-Board-Computing ein 3D-Bild der Umgebung als Punktewolke rekonstruiert. Das Stereo-Vision-System mit zwei 3,4-MP-Low-Light-Kameras misst kontinuierlich die Umgebungstiefe in 3D mit einer Tiefenbildrate von bis zu 40 Hz über Entfernungen bis zu 50 Metern. Die zuverlässige Erfassung der dritten Dimension macht das 3D-Computer-Vision-System immun gegen negative Umgebungsfaktoren, die üblicherweise 2D-Systeme beeinträchtigen können, also zum Beispiel mangelnde Beleuchtung oder Kontrast sowie der variable Abstand zum Objekt des Interesses.

Viper korrigiert zunächst Bilddisparitäten durch Methoden wie Echtzeit-Objektivkorrektur, Filterung, Bildentzerrung und weitere Bildfehlerkorrekturen und entlastet somit den Onboard-Prozessor von Low- und High-Level-Bildverarbeitungsaufgaben. Darüber hinaus ist ausreichend Leistung im System, um lokal maschinelle Lernverfahren wie neuronale Netze laufen zu lassen und darüber Stereobilddaten zu verarbeiten. Einen solchen Ansatz verwendet Viper etwa zur Erkennung von Menschen und zur Berechnung ihrer relativen 3D-Position im Bild. Dies ermöglicht intelligente Funktionen auf den mobilen Roboterplattformen wie etwa einer „Follow the human“-Funktion. Ebenso kann damit beispielsweise ein Alarm ausgelöst werden, wenn ein Mensch in die vorab definierte sicherheitskritische Zone eintritt. Um diese Funktionalität zu ermöglichen, aktiviert der Nutzer eines der Erweiterungsmodule von Viper, wie zum Beispiel die Perception-App „Follow-me“. Die App kombiniert dann die Fähigkeit zur Personenerkennung (2D) und zur Entfernungsmessung (3D), um das Hostsystem über jede Änderung der Entfernung zur visuell registrierten Person zu informieren. Der mobile Roboter kann so situationsbedingt verlangsamen, bremsen oder beschleunigen und ermöglicht auf diese Weise eine „virtuelle Abstandsleine“. Zusätzlich zur Personenverfolgung kann die App auch andere Arten von Objekten oder spezielle Tags wie ArUco-Tags verfolgen. Letzteres ermöglicht die Anordnung eines Konvois aus mehreren UGVs (Unmanned Ground Vehicle; unbemanntes Bodenfahrzeug), die einander folgen, während das vorderste UGV einer Person folgt.