Präzisionsüberwachung: Objekttracking mit Arduino und Servos

Komponenten und Materialien

Apps und Online-Dienste

• Arduino IDE

Projektbeschreibung

Objekttracking ist eine zentrale Aufgabe der Computer Vision. Durch leistungsstarke Computer, günstige hochwertige Kameras und wachsenden Bedarf an automatisierter Videoanalyse haben Tracking-Algorithmen stark an Bedeutung gewonnen. Die drei Kernschritte der Videoanalyse sind:

1. Erkennung interessanter bewegter Objekte
2. Verfolgung dieser Objekte von Frame zu Frame
3. Analyse der Objektspuren zur Verhaltenserkennung

Anwendungsbereiche:

1. Bewegungsbasierte Erkennung: Ganganalyse, automatische Objekterkennung
2. Automatisierte Überwachung: Szenenmonitoring auf verdächtige Aktivitäten
3. Video-Indizierung: Automatische Annotation und Retrieval in Multimedia-Datenbanken
4. Mensch-Computer-Interaktion: Gestenerkennung, Blickverfolgung
5. Verkehrsüberwachung: Echtzeit-Verkehrsstatistiken für Verkehrslenkung
6. Fahrzeugnavigation: Videobasierte Pfadplanung und Hindernisvermeidung

Tracking lässt sich vereinfacht als Schätzung der Objektbahn in der Bildebene definieren. Ein Tracker weist konsistente Labels in verschiedenen Videoframes zu und kann – je nach Domäne – auch objektzentrierte Informationen wie Orientierung, Fläche oder Form liefern.

Dieses Projekt realisiert Echtzeit-Objekterkennung und -tracking: Eine CCTV-Kamera identifiziert und verfolgt ein Ziel im Sichtbereich. Zusätzlich verfolgt ein laserbestückter Roboterarm das Objekt physisch im Raum. Der Arm bewegt sich per Pan-Tilt so, dass er jede Koordinate im Videoframe abdecken kann.

Programmcode

Mausgesteuertes Tracking (Processing + Arduino)

Processing-Code – überträgt Mauskoordinaten an Arduino und steuert Servos entsprechend:

///////////////////// Processing Code /////////////////////////////////
import processing.serial.*;
import processing.video.*;
import java.awt.*;
import gab.opencv.*;

Capture video;
OpenCV opencv;
Serial Com7;
float fpan, ftilt;
int pan, tilt, x, y;
int[] inBytes = new int[3];

void setup() {
  size(500, 500);
  String portName = Serial.list()[0];
  Com7 = new Serial(this, portName, 9600);
  video = new Capture(this, 640/2, 480/2);
  opencv = new OpenCV(this, 640/2, 480/2);
  opencv.loadCascade(OpenCV.CASCADE_FRONTALFACE);
  video.start();
  background(0, 0, 0);
  ellipse(width/2, width/2, 10, 10);
}

void draw() {
  scale(2);
  opencv.loadImage(video);
  noFill();
  stroke(0, 255, 0);
  strokeWeight(3);
  image(video, 0, 0);
  Rectangle[] faces = opencv.detect();
  println(faces.length);
  for (int i = 0; i < faces.length; i++) {
    println(faces[i].x + "," + faces[i].y);
    rect(faces[i].x, faces[i].y, faces[i].width, faces[i].height);
  }
  pan = int(mouseX * 180 / width);
  tilt = int(mouseY * 180 / height);
  pan = constrain(180 - pan, 0, 180);
  tilt = constrain(tilt, 0, 180);
  Com7.write(pan);
  Com7.write(tilt);
  Com7.write(255);
  while (Com7.available() > 0) {
    inBytes[0] = inBytes[1];
    inBytes[1] = inBytes[2];
    inBytes[2] = Com7.read();
    if (inBytes[2] == 255) {
      println(inBytes[0] + " , " + inBytes[1]);
    }
  }
}

void captureEvent(Capture c) {
  c.read();
}

Gesichtserkennung-Tracking (Processing)

Processing-Code – verfolgt ein Gesicht im Kamerabild automatisch:

///////////////////// Processing Code /////////////////////////////////
import processing.serial.*;
import processing.video.*;
import java.awt.*;
import gab.opencv.*;

Capture video;
OpenCV opencv;
Serial Com7;
float fpan, ftilt;
int pan, tilt, x, y;
int[] inBytes = new int[3];

void setup() {
  size(500, 500);
  String portName = Serial.list()[0];
  Com7 = new Serial(this, portName, 9600);
  video = new Capture(this, 640/2, 480/2);
  opencv = new OpenCV(this, 640/2, 480/2);
  opencv.loadCascade(OpenCV.CASCADE_FRONTALFACE);
  video.start();
  background(0, 0, 0);
  ellipse(width/2, width/2, 10, 10);
}

void draw() {
  scale(2);
  opencv.loadImage(video);
  noFill();
  stroke(0, 255, 0);
  strokeWeight(3);
  image(video, 0, 0);
  Rectangle[] faces = opencv.detect();
  println(faces.length);
  for (int i = 0; i < faces.length; i++) {
    println(faces[i].x + "," + faces[i].y);
    rect(faces[i].x, faces[i].y, faces[i].width, faces[i].height);
    pan = int(faces[i].x * 180 / width);
    tilt = int(faces[i].y * 180 / height);
  }
  pan = constrain(180 - pan, 0, 180);
  tilt = constrain(tilt, 0, 180);
  Com7.write(pan);
  Com7.write(tilt);
  Com7.write(255);
  while (Com7.available() > 0) {
    inBytes[0] = inBytes[1];
    inBytes[1] = inBytes[2];
    inBytes[2] = Com7.read();
    if (inBytes[2] == 255) {
      println(inBytes[0] + " , " + inBytes[1]);
    }
  }
}

void captureEvent(Capture c) {
  c.read();
}

Arduino Servo-Steuerung

#include <Servo.h>
byte inBytes[3];
Servo panservo;
Servo tiltservo;
int panangle = 90;
int tiltangle = 90;

void setup() {
  Serial.begin(9600);
  panservo.attach(9);
  tiltservo.attach(11);
}

void loop() {
  if (Serial.available() > 0) {
    inBytes[0] = inBytes[1];
    inBytes[1] = inBytes[2];
    inBytes[2] = Serial.read();
    if (inBytes[2] == 255) {
      Serial.write(inBytes, 3);
      panangle = inBytes[0];
      tiltangle = inBytes[1];
      panservo.write(panangle);
      tiltservo.write(tiltangle);
    }
  }
}

OpenCV Library für Processing

Erforderliche Bibliothek: https://github.com/atduskgreg/opencv-processing

CAD-Dateien

CAD-Dateien für Gehäuse und Roboterarm sind im Projektverzeichnis verfügbar.