Die Microsoft Kinect ist eine Kamera, welche für die Spielkonsole Xbox entwickelt wurde. Das Besondere an dieser Kamera ist ihre Möglichkeit, neben einem normalen RGB Bild, ein Tiefenbild ihrer Umgebung zurückzugeben. Damit wird es möglich komplexere Computer Vision Aufgaben zu implementieren. Darüber hinaus bietet das sog. Microsoft Kinect SDK die Möglichkeit das Skelett einer Person zu erkennen. Durch das "Skeleton-Tracking" ist es möglich festzustellen, wo die Gelenke einer Person sind und welche Gesten und Bewegungen sie ausführt. Leider ist dieses SDK nur für Windows erhältlich und wir arbeiten daher vor allem mit dem Tiefenbild der Kinect Kamera.

Version 1 und Version 2

Mittlerweile gibt es zwei Versionen der Kinect Kamera: Kinect v1 und Kinect v2. Der wesentliche Unterschied besteht in der Auflösung und der Geschwindigkeit mit welcher die Kameras arbeiten. Hier ein kurzer Vergleich der Spezifikationen:

Generell ist also vor allem die Auflösung des RGB Bildes und des Tiefenbilds mit der Version 2 verbessert worden. Ein weiterer kleiner Vorteil der v2 besteht darin, dass sie mit einer Stativschraube befestigt werden kann.

Programmierung

Wir verwenden die Library OpenKinect von Daniel Shiffman. Es existiert auch eine Library von Max Rheiner (ehem. Dozent am IAD), leider funktioniert seine SimpleOpenNI Librar nicht mehr mit der neuen Version der Kinect Kamera. Wer jedoch die Möglichkeiten des Selektion-Trackings aufprobieren möchte, dem sei ein Blick in die Beispiele empfohlen.

Zunächst muss die Library, wie alle anderen Bibliotheken in Processing installiert werden. Dies geht am einfachsten über "Sketch > Library importieren ... > Library hinzufügen". In das Suchfeld kann nun "Open Kinect for Processing" eingetragen werden. Ein Klick auf "Install" installiert die Library und die zugehörigen Beispiele.

Um die Library nutzen zu können, muss diese importiert werden:

import org.openkinect.processing.*;

Danach muss eine Referenz auf das Kinect Objekt gesetzt werden:

Kinect kinect;

Im setup() wird das Objekt dann initialisiert:

void setup() {
  kinect = new Kinect(this);
  kinect.initDevice();
}

Wird eine Kinect Kamera v2 verwendet, muss die Referenz und Initialisierung entsprechend angepasst werden:

Kinect2 kinect;
void setup() {
  kinect = new Kinect2(this);
  kinect.initDevice();
}

Sind die obigen Schritte erfolgt kann im Weiteren direkt auf die Informationen der Kinect zugegriffen werden. Die Library macht uns fünf Informationen zugänglich:

• PImage (RGB) der Kinect Videokamera.
• PImage (grayscale) der Kinect IR Kamera.
• PImage (grayscale) ein Tiefenbild, in dem die Helligkeit der Pixel für den Abstand steht (Heller = näher).
• PImage (RGB) ein Tiefenbild, bei dem die Farbe für die Entfernung steht. 
• int[] (array) ein Array, welches die "Rohdaten" der Entfernung beinhaltet (0-2048 v1 und 0-4500 v2).

RGB Bild

Um das Tiefenbild der Kamera auszulesen kann die gleiche Methode verwendet werden, wie sie schon bei einer normalen Webcam zu Einsatz kam: 

PImage videoImage = kinect.getVideoImage();

Gezeichnet werden kann das Bild mit:

image (videoImage, 0, 0);

Neben dem zeichnen des Bildes in der draw() Funktion, gibt es auch die Möglichkeit, das Bild asynchron zu zeichnen. Das bedeutet, es wird nur dann ein Bild gezeichnet, wenn ein neues vorhanden ist. Die entsprechende Funktion lautet:

void videoEvent(Kinect k) {
  // There has been a video event!
}

IR Bild

Um das Infrarotbild der Kamera auszulesen verwenden wir:

kinect.enablIR(true);

Ein Nachteil der Kinect v1 ist, dass nur eine Art von Bild auf ein Mal abgerufen werden kann (entweder IR oder RGB). Deshalb wird mit der Funktion getVideoImage() immer das zuletzt gewählte Bildformat zurückgegeben:

PImage videoImage = kinect.getVideoImage();
PImage irImage = kinect.getIrImage();

Tiefenbild

Um das Tiefenbild als Graustufen zurückzubekommen wird folgendes gemacht:

PImage depthImage = kinect.getDepthImage();

Gezeichnet wird es mit:

image(depthImage, 0, 0);

Tiefenarray

Der Nachteil des Graustufen-Tiefenbildes ist es, dass alle Entfernungsinformationen auf Werte zwischen 0 bis 255 (Helligkeit) verteilt werden. Tatsächlich kann die Kinect Kamera aber eine viel genauere Auflösung der Tiefeninformationen liefern. Dazu ist es jedoch nötig, das Tiefenarray aufzurufen und auszulesen. Dies geschieht über:

int[] depth = kinect.getRawDepth();

Angleichung

Weil bei der Kinect Kamera der Sensor für das RGB Bild und das Titelbild nicht übereinanderliegen stimmen die Positionen in XY Richtung der einen Kamera, nicht mit denen der anderen überein. Um dies zu korrigieren kann ein RGB Bild angefordert werden, welches durch die Library angepasst wird. Dieses Bild bekommt man über:

PImage img = kinect2.getRegisteredImage();

Übersicht der Funktionen

Hier eine Übersicht der Funktionen, welche die Library zur Verfügung stellt:

• initDevice() — Alles initialisieren (RGB, IR, Tiefenbild)
• initVideo() — Nur das RGB Bild initialisieren 
• initDepth() — Nur das Tiefenbild initialisieren
• activateDevice(int) – Aktivieren eines speziellen Gerätes (bei mehreren Kinects an einem Rechner)
• enableIR(boolean) — Infrarotbild aktivieren/deaktivieren (nur Kinect v1)
• enableColorDepth(boolean) — Tiefeninformationen als Farbwert/Grauwert
• enableMirror(boolean) — Bild spiegeln (nur Kinect v1)
• PImage getVideoImage() — RGB Bild (oder IR Bild für Kinect v1)
• PImage getIrImage() — IR Bild (nur Kinect v2)
• PImage getDepthImage() — Tiefenbild
• PImage getRegisteredImage() — Angeglichenes RGB Bild (nur Kinect v2)
• int[] getRawDepth() — Tiefenarray

Für weitere Informationen: the javadoc reference.