Eigentlich brauchen wir nur einen normalen Laptop, der ein bisschen mehr kann", sagt Ilona Pezenka, während sie das Computerprogramm namens iMotions öffnet. Seit etwa zwei Jahren beschäftigt sich die Wissenschafterin an der FH Wien der WKW mit Emotionsmessung. Für ihr aktuelles Projekt hat sie Verkaufsgespräche unter Studierenden des Masterlehrgangs "Marketing und Sales" aufgezeichnet.

Die Analyse sieht etwa so aus: Insgesamt 33 kleine silberne Punkte legen sich über das Gesicht der Person, während diese spricht. Einer steht etwa für den rechten Mundwinkel, ein anderer für die Innenseite des linken Augenlids. Unterhalb des Videos befinden sich Graphen, die mit sieben Emotionen korrelieren: Freude, Wut, Überraschung, Angst, Verachtung, Traurigkeit und Ekel. Während des Videos werden die Veränderungen der Punkte gemessen, die Ausdrücke mit einer Datenbank verglichen und einer bestimmten Emotion zugeordnet, erklärt Pezenka.

Algorithmen im Einsatz

Die Algorithmen basieren auf dem Facial Action Coding System, kurz FACS. Mikroexpressionen, also rasche Gesichtsbewegungen, werden so analysiert und – bis vor kurzem noch händisch – ausgewertet. Einer der FACS-Entwickler, der Psychologe und Anthropologe Paul Ekman, definierte in den 1970er-Jahren sieben von Geburt an vorhandene Basisemotionen, die auch heute beim Facial Coding zum Einsatz kommen. Mit besagtem Programm kann Pezenka berechnen, wie häufig eine Emotion vorkommt. In der Studie waren Freude und Überraschung während der Verkaufsgespräche viel häufiger als die übrigen fünf Emotionen. Warum, das weiß Pezenka zu diesem Zeitpunkt noch nicht. Vergleichbare Studien gibt es kaum. Das genutzte Programm kostet rund 25.000 Euro.

Eine Zunahme an automatisierten Methoden in der Emotionsmessung könne man trotzdem feststellen, sagt auch Martin Kampel, Professor für Informatik und Wissenschafter am Computer Vision Lab der TU Wien. "Die Sensoren, die diese Daten aufnehmen, werden immer genauer und günstiger." Dazu kommt die bessere Ausgangslage: "Wir sind datenhungrig, und dieser Fortschritt multipliziert sich mit neuen Erkenntnissen aus dem Bereich des maschinellen Lernens."

Die Algorithmen haben aber auch noch Mankos. Ist das Gesicht teils verdeckt oder nicht ausreichend beleuchtet, sind nur ungenaue Aussagen möglich. Auch sind nicht alle Personengruppen gleich gut repräsentiert, da gewisse Emotionen verschieden ausgeprägt sind: "Wir haben eine andere Datenlage bei gewissen Altersgruppen und Kulturen. Da kann es schon sein, dass der Algorithmus nicht alle gleich behandelt."

Kaum universelle Gesichtsausdrücke gefunden

Bei den Messungen im Sales-Bereich gehe es laut Kampel darum, ungefähre Trends zu erkennen. Bedeutend findet er den Einsatz im therapeutischen Bereich, etwa bei der Behandlung von Demenz und Autismus. Veränderungen, die von einem Tag zum nächsten nicht so leicht zu beobachten sind, könnten mit computergestützten Verfahren analysiert werden.

Eva Bänninger-Huber begleiten Fragen der Emotionsmessung schon seit Beginn ihrer Karriere: "Was sieht man im Gesicht, und wie hängt das mit internen Prozessen zusammen?", fragt sich die emeritierte Professorin für Klinische Psychologie der Universität Innsbruck. Viele Jahre lang wertete sie psychotherapeutische Gespräche manuell mit der FACS-Methode aus. Universelle Gesichtsausdrücke fand sie dabei kaum, sondern lediglich Elemente davon. Die Sache sei komplexer: Zu den angeborenen kommen auch strukturelle Emotionen wie Scham, Neid oder Schuld dazu. Diese setzen Prozesse voraus, die erst erlernt und entwickelt werden müssen und gerade bei Menschen, die in Therapie sind, oft gestört sind. "Für diese Emotionen gibt es keine wirklichen oder nur unspezifische Ausdrucksmuster", erklärt die Psychologin.

Kritik an Langzeitstudie

Auch die beschriebenen Langzeitanalysen sieht sie kritisch: "Die Fragestellung an sich ist sehr interessant. Aber es bleibt offen, ob man dafür die richtigen Indikatoren erwischt." André Weinreich, Professor für Allgemeine Psychologie an der BSP Business School, meint dazu im Gespräch mit Spektrum der Wissenschaft, dass der automatisierten Emotionserkennung etwa 80 Prozent der vorhandenen emotionalen Reaktionen verborgen bleiben. Grund dafür? Emotionen, die nur angedeutet werden, erkenne der Algorithmus kaum. Und auch der Kontext kann einen großen Unterschied machen, wie Bänninger-Huber weiß: "Wir sehen das etwa bei Schuldgefühlen. Leute agieren vielleicht besonders freundlich und wollen etwas gutmachen, aber wir merken nicht, dass sie das aufgrund von Schuldgefühlen tun." Es bringe deshalb wenig, ohne Kontext nur die Häufigkeit von bestimmten Ausdrucksmustern zu zählen.

Automatisierte Emotionserkennung, Apps, die uns eine Glücksbilanz erstellen – Emotionsanalyse wurde digitalisiert. Doch den Vorteil der menschlichen Interaktion könne bisher keine Maschine lernen, so Bänninger-Huber: "Wir sind sensibel auf andere Menschen. Und die Basis für vieles davon ist einfach Intuition." (Katharina Kropshofer, 4.8.2019)