In diesem Tutorial werden wir uns mit OpenCV beschäftigen. OpenCV (Wikipedia) ist eine Sammlung von Computer Vision Algorithmen, welche von Intel initiiert wurde. Sie beinhaltet einige interessante Funktionen, welche wir uns zu Nutze machen können. Dazu gehören neben den schon gelernten Funktionen (Background Subtraction, Brightest Point) auch Funktionen zum erkennen von Gesichtern oder dem Hervorheben von Kanten in einem Bild.
Die von uns genutzte Implementierung von OpenCV wurde von Greg Bordstein extra für Processing adaptiert. Sie bietet nicht die komplette Vielfalt der Möglichkeiten mit OpenCV, ist aber ein guter Startpunkt und für die meisten Projekte mehr als ausreichend.
Die Library gibt es hier als Download: OpenCV for Processing.
Getting Started
Die grundlegende Struktur von OpenCV for Processing ist sehr einfach.
Zuerst müssen wir die Library importiern:
import gab.opencv.*;
Dann können wirn ein OpenCV Steuerobjekt deklarieren:
OpenCV opencv;
Welches wir in der setup() Funktion initialisieren können:
opencv = new OpenCV(this, width, height);
Bild an OpenCV übergeben:
opencv.loadImage(video);
OpenCV Funktionen ausführen:
opencv.updateBackground();
Eine grosse Anzahl von Beispielen kommt mit der Library und es wird empfohlen sich diese einmal genauer anzusehen. In den folgenden Beispielen werden die vier wichtigsten Funktionen der Library vorgestellt.
Background Subtraction
Beispiel “P05_1_OpenCV_BackgroundSubtraction” zeigt, wie ein Hintergrundbild mit einem Vordergrundbild verglichen wird. Dazu übergeben wir im setup() nach der Initialisierung der Library mit dem Befehl opencv.startBackgroundSubtraction(5, 3, 0.5); drei Parameter.
Im draw() lesen wir zunächst unser Video-Bild ein und übergeben dieses dann an OpenCV opencv.loadImage(video);. Mit dem Befehl opencv.updateBackground(); sagen wir OpenCV, dass der Hintergrund aktualisiert werden soll und nehmen die Funktionen opencv.dilate(); und opencv.erode(); um etwaige Löcher in der Erkennung zu schliessen. Schliesslich lassen wir uns alle gefundenen Konturen (Bewegung) darstellen:
for (Contour contour : opencv.findContours()) {
contour.draw();
}
Alle Regionen, welche auf dem folgenden Bild in Rot dargestellt sind, haben sich in den letzten Frames verändert.
Brightest Point
Die Methode um den hellsten Punkt in einem Bild zu finden wurde in Beispiel “P04_6_Video_Kamerabild_Hellster_Punkt” schon besprochen. Mit OpenCV können wir viel einfacher auf diese Methode zugreifen. Dazu rufen wir die Funktion PVector loc = opencv.max(); welche uns direkt einen PVector mit den Koordinaten des hellsten Punktes zurückgibt. In gleicher Weise können wir auch die Koordinaten des dunkelsten Punktes finden PVector loc = opencv.min();.
Face Detection
Eine sehr interessante Methode in OpenCV ist das sog. Face Detection. Mit dieser Funktion können wir Gesichter in einem Bild erkennen. Beispiel “P05_3_OpenCV_FaceDetection” zeigt, wie es geht. Im setup() müssen wir OpenCV zunächst ein sog. Haar-Cascade übergeben. Dieses bestimmt, nach welchen Mustern (Gesicht, Mund, Nase, Körper, usw.) der Algorithmus suchen sollopencv.loadCascade(OpenCV.CASCADE_FRONTALFACE);
Im draw() gibt uns die Funktionfaces = opencv.detect();
dann ein Array vom Typ Rectangle zurück. Diese Rechtecke beschreiben die Bereiche im Bild, an welchen ein Gesicht erkannt wurde. Um die Rechtecke zu zeichnen iterieren wir durch das Array und stellen die Rechtecke dar.
for (int i = 0; i < faces.length; i++) {
rect(faces[i].x, faces[i].y, faces[i].width, faces[i].height);
}
Region Of Interest
Eine weitere hilfreiche Funktion ist die Beschränkung von OpenCV auf einen bestimmten Bereich des Bildes. Dies ist immer dann hilfreich, wenn wir nur einen Teil des Bildes auf Veränderungen oder das Auftauchen von Gesichtern etc. überwachen wollen. Dazu rufen wir die Funktionopencv.setROI(mouseX, mouseY, roiWidth, roiHeight);
Diese gibt einen rechteckigen Bereich an, welcher für OpenCV verwendet werden soll. Beispiel “P05_4_OpenCV_RegionOfInterest” gibt einen Überblick, wie diese Funktion genutzt werden kann.
Aufgaben
- Verwendet das bisher gelernte Wissen um Objekte (Partikel, Bilder, SVG’s) auf das Kamerabild reagieren zu lassen.
Weiteres:
- OpenCV – offizielle Homepage