Wie Open-Source-Bibliotheken die Roboter-Vision-Entwicklung beschleunigen

Dieser Artikel ist Teil eines AspenCore Special Projects zu visionsgeführten Robotern.

Robotervisionssysteme verlangen ein breites Spektrum an Fähigkeiten, doch das Open-Source-Ökosystem bietet Lösungen für nahezu jede Anforderung. Von grundlegender Bildverarbeitung und Objekterkennung bis hin zu fortgeschrittener Bewegungsplanung und Kollisionsvermeidung können Entwickler auf eine reiche Sammlung von Bibliotheken zugreifen. Im Folgenden stellen wir Schlüssel-Open-Source-Bildverarbeitungspakete vor, die anspruchsvolle robotische Applikationen ermöglichen. (Hinweis: Dieser Report fokussiert auf fundamentale bildbasierte Algorithmen und schließt KI-getriebene Vision-Frameworks bewusst aus.)

OpenCV: Der Standard

Jede Diskussion über Roboter-Vision-Software muss die OpenCV Bibliothek anerkennen. Weit verbreitet und funktionsreich liefert OpenCV über 2.500 Algorithmen über Module wie:

• core – fundamentale Datenstrukturen und Utilities, geteilt von allen Modulen
• imgproc – lineare/nicht-lineare Filterung, geometrische Transformationen, Farbraumkonvertierung, Histogrammanalyse u.v.m.
• video – Bewegungsestimation, Background Subtraction, Object Tracking
• calib3d – Kamerakalibrierung, Pose Estimation, grundlegende Geometrie-Algorithmen
• features2d – Feature Detektoren, Deskriptoren, Matching-Routinen
• objdetect – Erkennung vordefinierter Objektklassen und Instanzen

In C++ geschrieben, bietet OpenCV Language Bindings für C++, Python, Java und MATLAB und läuft auf Windows, Linux, Android und macOS. Es unterstützt auch SIMD Instruction Sets und liefert GPU-Beschleunigung via CUDA (gpu Modul) und OpenCL (ocl Modul). Das kürzliche OpenCV 4.0 Release bringt Performance-Verbesserungen und integriert den populären Kinect Fusion Algorithmus.

SimpleCV: Niedrigere Einstiegshürde

Während OpenCVs Tiefe eine Stärke ist, kann sie auch eine steile Lernkurve für Entwickler darstellen, die schnell prototypen wollen. Die Python-basierte SimpleCV Bibliothek schließt diese Lücke. Auf OpenCV aufbauend, bietet SimpleCV ein hochgradiges, intuitives API, das weniger erfahrenen Entwicklern erlaubt, gängige Machine-Vision-Aufgaben mit knappen Python-Aufrufen umzusetzen. Beispielsweise kann Bildschwellenwertbildung mit einer einzigen Zeile durchgeführt werden:

from SimpleCV import Image, Color, Display
# Create a half-and-half image
def halfsies(left, right):
    result = left
    crop = right.crop(right.width/2.0, 0, right.width/2.0, right.height)
    result = result.blit(crop, (left.width/2, 0))
    return result

# Load an image
img = Image('https://i.imgur.com/lfAeZ4n.png')
# Binarize with threshold 90 and invert
output = img.binarize(90).invert()
# Create side-by-side image
result = halfsies(img, output)
# Display and save
result.show()
result.save('juniperbinary.png')

3D Perception mit Point Cloud Library

Jenseits grundlegender Bildmanipulation bieten sowohl OpenCV als auch SimpleCV fortgeschrittene Algorithmen, die für robotische Wahrnehmung essenziell sind: Objekterkennung, Ausrichtung, sichere Navigation. Eine zentrale Datenstruktur hierbei ist die Point Cloud – eine multidimensionale Repräsentation eines Objekts, erfasst von Tiefenkameras. Point Clouds ermöglichen Kernoperationen der Robotik wie Identifikation, Ausrichtung und Fitting. Die Point Cloud Library (PCL) stellt Algorithmen für Filterung, Segmentierung, Keypoint-Extraktion und mehr bereit und ist unverzichtbar für 3D-Wahrnehmung.