Flirmotions

Aus toolbox_interaktion
Wechseln zu: Navigation, Suche

Idee

Ein interaktives System, in welchem mittels einer Wärmebildkamera die Temperaturverteilungen eines Users aufgezeichnet und ausgewertet werden, womit auf dessen Emotionen geschlossen wird.


Funktionsweise Wärmebildkamera

Wärmebildkameras erkennen keine Temperaturen sondern zeichnen lediglich die Intensität der Strahlung eines Objekts im Infrarotbereich auf. Deshalb werden sie auch "Infrarotkameras" genannt. Je höher die Temperatur eines Objekts ist, desto mehr Infrarotstrahlung wird von ihm abgegeben. Die Wärmebildkamera wandelt diese Strahlung in ein für den Menschen sichtbares Bild um, indem sie den Strahlungswerten Grauwerte zuweist. Mit Programmen wie ICam können diese Grauwertbilder dann mit verschiedenen Farbpaletten eingefärbt werden um die Temperaturverteilung besser zu erkennen.


Die Berechnung der Temperatur einer Oberfläche funktioniert wie folgt:

Stefan-Boltzmann-Gesetz W = σ · T4

 W = Intensität der Strahlung

 σ = Stefan-Boltzmann-Konstante = 5,67 · 10-8 W/(m²·K)

 T = gemessene Temperatur in Kelvin

Gray1Flirmotions.jpg Heatcam1Flirmotions.jpg

Benötigte Komponenten

- FlirA300 Wärmebildkamera

- Videograbber

- PC mit Openframeworks

- Beamer

- Leinwand

FaceTracker

Als FaceTracker benutzten wir ein AddOn von OpenFrameworks. Dieser arbeitet mit der Programmiersprache C++. Mit diesem wollten wir den Bereich der Nasen detektieren um deren Wärme zu bestimmen und daraus auf die Emotion des Users zu schließen.

FaceTrackerFlirMotions.jpg

Facetracker1Flirmotions.jpg

Aufbau

VersuchsaufbauFlirmotions.jpg

FlirA300 macht Videos in Echtzeit, und sendet diese über einen Videograbber an den PC. In OpenFrameworks wird mit dem FaceTracker zuerst die Nase detektiert. Aus den Grauwerten/Wärmewerten aus einem definierten Bereich um die Nase wird ein Mittelwert gebildet. Dieser wird mit einem vordefinierten Schwellwert für "warm" (positive Emotion) und "kalt" (negative Emotion) verglichen. Je nachdem in welchem Bereich der aufgezeichnete Wert liegt, wird für eine positive Emotion eine Sonne, für eine negative Emotion eine Wolke über das Videobild gelegt. Dieses wird über den Beamer an eine Leinwand projiziert.

Probleme

Framegrabber und Openframeworks auf MAC

Der Framegrabber für MAC den wir verwendeten wurde von OpenFrameworks nicht als Device erkannt. Und auch als wir einen weiteren Framegrabber testeten trat das selbe Problem auf.

OpenFrameworks Installation auf Windows

Da die Framegrabber für den MAC nicht funktionierten entschieden wir uns, OpenFrameworks auf Windows zu installieren und es mit einem Framegabber für Windows zu probieren. Die Installation stellte sich als komplizierter als gedacht heraus. Obwohl wir uns an die Installationsanleitung von der OpenFrameworks Webseite hielten, funktionierte die Kompilierung der AddOns nicht. Wir suchten Hilfe bei Frau Böttcher, die das selbe Problem bereits hatte. Es stellte sich heraus, dass das zur Kompilierung benötigte CMake File nicht korrekt war. Dies kostete uns viel Zeit.

FaceTracker und Wärmebildkamera inkompatibel

Nachdem wir OpenFrameworks auf Windows installiert hatten, stellten wir fest dass zwar der Framegrabber für Windows funktionierte, der Facetracker und das Wärmebild inkompatibel sind. Das heißt, ein Gesicht das mit einer Wärmebildkamera aufgezeichnet wurde, wird vom FaceTracker nicht als Gesicht erkannt.

Fazit

Die Wärmebildkamera bietet als Hardwarekomponente eines interaktiven Systems viele innovative Möglichkeiten. Da sie allerdings bisher kaum für Projekte verwendet wurde, fehlten uns die nötigen Informationen um unser Projekt nach unseren Vorstellungen umzusetzen.

Leider nahmen die Probleme zu viel Zeit in Anspruch. Mit mehr Zeit hätten wir bestimmt noch eine Lösung für unser letztes Problem gefunden. Wir überlegten den Mittelpunkt des aufgezeichneten Bildes zu bestimmen und dessen Grauwert für die Auswertung zu verwenden.