Vortrag: Digital Puppetry / Digital Mask

Anmerkung: Auch wenn ich zur besseren Lesbarkeit und aus Stilfragen heraus nicht konsequent „gender“, spreche ich selbstredend alle Geschlechter dieser Welt im gleichen Maße wertschätzend und respektvoll an. Den Vortrag hielt ich im Seminar zu Animismus und Animation bei Mareike Gaubitz an der Ruhr Universität Bochum SS2020.

Einleitung

Vorab: Es wären vor allem Disney und Jim Henson zu nennen, die auf dem Gebiet der Digital Puppetry Pionierarbeit geleistet haben. Plus eine handvoll Künstler, die schon in den 80er Jahren erste Experimente durchgeführt haben. Ich gebe hier allerdings keinen historischen Abriss, erst recht keinen vollständigen, sondern möchte auf eine mir neu und interessant erscheinende Qualität aufmerksam machen, die noch nicht konsequent den Weg ins Theater gefunden hat. Sicher nicht Öffentlichkeitswirksam, wobei ich nicht ausschließen will, dass irgendwo ein paar Nerds viel weiter mit der Technologie gekommen sind, als ich es hier erfasse.

Bei der Beschäftigung mit dem Text zur Metamorphose von Animation (Animation im/als Wandel von Julia Eckel, Erwin Feyersinger und Meike Uhrig), sind mir Elemente aufgefallen, die mich zur Beitragsidee und Konzipierung eines Mini-Kindertheaterprojektes inspiriert haben. Der Text richtet den Blick auf Animationsverfahren, die, anders als durch Schnitt oder Übertragen von analogen, physischen Bewegungsabläufen, eine Belebung von virtuellen Objekten bewirken. Entscheiden war hier das Liquidieren von Bildinformationen, die im weiteren Prozess zu neuen Bildinformationen führen, dessen Übergang von Zustand A zu Zustand B sichtbar ist. Also eine Variante der Animation, die nicht auf Editing oder „Daumenkinoprinzip“ zurückzuführen sind, sondern als Morphing bezeichnet werden können.

Von hieraus gerieten Instagram-Face-Filter in meinen Aufmerksamkeitsbereich. Diese würde ich vorsichtig in den Bereich des Digitalen Objekttheaters aufnehmen wollen. Je nach Komplexität des Filters, geschieht hier eben das, was ich oben Morphing nenne – die Bildinformationen, eingefangen durch eine Kamera, werden teils liquidiert und ergeben in Verschmelzung mit der optischen und kinetischen Logik des angewandten Filters, eine Variante des Ursprungsmaterials, die sowohl Züge des Rohmaterials, als auch Züge des Filters enthalten. Quasi ein Hybrid, der sich als drittes aus analogem und digitalem ergibt. Diese Technologie macht also eine andere Form der Mimik digital erfahrbar, was ich später noch näher erläutern will. Die Frage nach einer digitalen Figur, die nicht nur aus Gesicht besteht tat sich auf, was mich dann zum Begriff der „Digital Puppetry“ brachte.

Kurz: unter „Digital Puppetry“ versteht man die irgendwie geartete Kontrolle von animierten, digitalen Figuren. Dies funktioniert meistens in real-time durch Übertragung von analogen, physischen Bewegungen auf eine virtuelle Puppe. Dabei gibt es diverse Lösungsansätze, auf die ich später zurückkomme.

Denkt man jetzt beide Elemente, die auf Morphing basierte Maske als belebtes Gesicht und die Übertragung von Bewegungsabläufen in Echtzeit gemeinsam, ergibt sich die Möglichkeit sehr realistische Darstellungen von gerenderten Figuren, die sowohl virtuelle als auch analoge Elemente enthalten. Damit wäre auch begründet, warum die Digitale Maske dem Objekttheater zugehörig wäre. Aber wie bringt man diese Elemente jetzt zusammen? Und wie ließe sich diese Technologie, skizziert als Digitales Objekttheater, für Theaterpädagogische Zwecke nutzen? Im Film, in der Ausbildung von Soldaten, im Videospiel, oder in TV-Gameshows sind Teile dieser Technologie längst etabliert. Allerdings, weder in Verbindung von beidem, noch konsequent in Echtzeit, wird diese Technologie in der Theaterpädagogik eingesetzt. Die Notwendige Technologie gibt es aber bereits: Augemnted Reality. Wie die Recherche ergab, wird diese Form des Echtzeit-Puppenspiels auch nicht oder kaum an großen Häusern eingesetzt. Lediglich in der Video-Performance oder Installation finden sich Elemente, die aber nicht konsequent als angewandte Variante von Puppenspiel, oder Objekttheater gedacht werden. Ein schmaler Bereich zwischen den Disziplinen tat sich mir auf, dessen Abgrenzung recht kompliziert ist. Hier also ein Versuch.

Beispiel Hugo https://www.youtube.com/watch?v=hvKiyUV0X9g&feature=youtu.be

Beispiel Tine http://ti-pi.de/work/digital-puppetry/

Digital Mask – Instagram Filter

Die hier zugrunde liegende Technologie ist die Augemented Realty, was sich etwa mit erweiterter Realität übersetzen ließe. Also vereinfacht gesagt das Einfangen der analogen Welt, die Ergänzung von digitalen, sichtbaren Bildinformationen in Relation zum Ausgangsmaterial und die dann folgende kombinierte Ausgabe auf ein darstellendes Peripheriegerät. Monitor, Beamer, Smartphone oder „peripheral head mounted display“ (Google-Glasses), sind die bisher zur Verfügung stehenden Geräte, die eine erweiterte Realität sichtbar machen. Hoffentlich alsbald gelingt der Durchbruch in Sachen holografischer Darstellung, sodass ein Sichtfeld einschränkendes Gerät überflüssig wird, was die Möglichkeit der subjektiv erfahrbaren Augmented Reality (AR) in ein objektives überführen könnte. Ferner sind in der AR schon jetzt Elemente einer künstlichen Intelligenz implementiert, was bei einer Weiterentwicklung dessen dazu führen könnte, dass das, was wir bisher in Masken oder Objekten als Wesenhaftes interpretieren, tatsächlich als quasi-bewusstes und autonomes eine völlig neue Dimension von beseelten Objekten eröffnet, in der sich dann die Frage stellen lässt, wer eigentlich wen spielt: der Mensch das Objekt, oder das Objekt den Menschen. Genauer die Maschine. Beim analogen Objekt stellt sich die Frage schon jetzt nur als unmöglich zu beantwortende, da die Erfahrung nur subjektiv gemacht wird und am Ende stets der Interpretation unterliegt, während eine KI tatsächlich als Co-Subjekt bewiesen werden könnte. Aber das ist Zukunftsmusik. Noch.

Beispiel Objektspiel https://www.instagram.com/p/CBfQVfqluHK/?utm_source=ig_web_copy_link

Frage: Wesenhaftes Objekt oder von vorneherein Interpretiert? Wer spielt wen?

Bei den betrachteten Instagram-Masken liegt es noch etwas einfacher, obwohl auch hier das digitale Objekt ein vor-bewusstes Eigenleben besitzt, welches auf den Spieler zurückwirkt und hierdurch ein drittes, für die Dauer des Spiels (der Verschmelzung) hervorbringt, welches in direkter Relation zum Spieler steht und individuelle Formen annimmt, wenn der Spieler wechselt. Zwei Menschen können mit Morphing-Filtern nie die selbe Figur erschaffen, da die zugrundeliegenden Bildinformationen immer zu einem anderen Ergebnis führen, welches durch die Wechselseitigkeit immer andere Erscheinungen produziert. Im Grunde sehr ähnlich zu analogen Masken, mit dem Unterschied, dass die digitale Maske ein größeres Liquiditäts- und Interaktions-Potential besitzt und so viel Komplexere Darstellungen ermöglicht, als die träge Analoge es jemals könnte.

Derzeit, vor allem da Facebook die zur Entwicklung von AR-Filtern nötige Software kostenlos zur Verfügung stellt (AR-Sparks), gibt es recht viele Instagram-Künstler, die ihre Masken teilen und inszenieren. Und hier ergeben sich schon zwei Problem: die so erstellten Masken leben nur im Instagram-Universum (wahrscheinlich auch rechtlich daran gebunden) und zweitens nur im Selfiekameraformat, ohne Ausweg in eine unabhängige Darstellungsweise. Es gibt zwar alternative Apps, aber am Ende sind alle Varianten nur über das Smartphone erfahrbar. Beziehungsweise dort, wo sie dieses verlassen, befinden wir uns dann im Gamingbereich, oder der interaktiven Videoinstallation. Aber noch lange nicht im Objekttheater mit einer theatralen Struktur. Die angestrebte Verbindung von Gesicht und Körper ist so ebenfalls noch nicht erreicht, begibt man sich auch hier nicht in einen Bereich, der sich klar vom Theater differenzieren lässt.

Beispiel Pulchinella https://www.instagram.com/p/CBbVeR3Akvb/?utm_source=ig_web_copy_link

Beispiel Narziss https://www.instagram.com/p/CAa9FpqA5AE/?utm_source=ig_web_copy_link

Motion-Tracking / Face-Tracking

Bevor ich zum Nächsten übergehe, möchte ich noch das Face-Tracking vom AR-Morphing unterscheiden, da sonst angenommen werden könnte, das Mimik ja schon längst realisierbar ist. Was in Hollywood auch sicher der Fall ist. Mir geht es aber um die Qualität des Morphings (Hybredisierung, AR) und des Echtzeitrenderings in Theaterpädagogik und Off-Theater-Szene.

Das Face- (oder Motion-) Tracking ist vergleichbar zur AR relativ alt und in verschiedenen „Digital Puppetry“ Varianten erprobt. Auch im Animationsfilm, oder teil animierten Blockbustern wie Herr der Ringe (Gollum), oder auch in Fernsehshows ist diese Technologie längst ausgereift. Bei dieser Technologie werden Referenzpunkte im Gesicht (oder anderen Körperteilen) angebracht, die dann mittels Tiefenkamera erfasst und auf die zu animierende Vorlage übertragen werden. Das bedeutet, bewegt sich der Referenzpunkt, übertragen sich die Parameter auf die digitale Entsprechung. So lässt sich z.B. Mimik darstellen und eine Figur bewegen. Allerdings spielt hier die analoge Erscheinung des Spielers für das Dargestellte keine Rolle. Egal wer die Figur bewegt, die Figur behält ihre vordefinierte Erscheinung. Noch abstrakter wird es, wenn die Referenzpunkte nicht analog bildhaft erfasst werden (Tiefenkamera), sondern die Regionen der Figur durch Controller (z.B. Playstation) bewegt werden.

Beim AR-Morphing hingegen ist die Maske relativ zum Spieler, da die Erscheinung sich eben aus einer Hybridisierung ergibt. Darüber hinaus, ist die Mimik viel natürlicher, da hier nicht manuell unzureichende Referenzpunkt gesetzt werden müssen, sondern die Technologie so mächtig ist, dass die Bewegungsmuster eins zu eins erfasst werden können und buchstäblich analoges und digitales verschmelzen. Nicht jede Maske erfüllt dies, aber die Technologie macht es möglich. Hierin ergibt sich dann auch eine völlig neue Qualität der Darstellung, die viel näher am Spieler ist, als es die bloße Übertragung von Bewegungsmustern zulassen würde.

Beispiel Controller https://www.youtube.com/watch?v=0a_M9VsZ6Lk&feature=youtu.be

Beispiel Blender Motion Tracking https://www.youtube.com/watch?v=eC0joJdrjpw

Kindertheater

Zur Verdeutlichung nun ein knapper Bericht des eingangs erwähnten Mini-Kindertheaterprojektes. Ich hatte, da allein die Darstellungsfrage von Digitalen Masken mir von Anfang an problematisch erschien, dem Projekt die Komponente Objekttheater vor einer Kamera hinzugefügt. In Anbetracht der ziemlich sicher zu erwartenden zweiten Corona-Welle und der damit drohenden Schließung des Theaters, dachte ich mir, dass es für die Kids von Vorteil sein könnte, hygienetaugliche Theatermittel zu erproben, die man im Falle des Falles online anleiten und präsentieren könnte. Das erwies sich als sinnvoll, weil die Digitalen Masken völlig nutzlos für das Theater sind. Noch. Um es konkret zu machen: die Form der Darstellung und das Interkationspotential zwischen den durch das Smartphone radikal isolierten Spielern, ist nicht nur problematisch, sondern scheinbar unüberwindbar. Die technische Einschränkung, auf der gegebenen Basis von Apps, führt dazu, dass nur Screens realisierbar sind, die von Videotelefonie nicht zu unterscheiden sind. Oder aber unter dem Dogma der Instagram-Story-Ästhetik keinerlei Entfaltungspotential entwickeln, das es rechtfertigen würde, von Theater zu sprechen. Sicherlich ließe sich einmalig eine solche Ästhetik realisieren, aber Spiel-Dynamik, autopoietische Feedbackschleife (die im Digitalen sowieso neu gedacht werden muss), Raumnutzung und damit verbundene Atmosphäre bleiben nicht nur aus, sondern werden abgetötet. Monologe sind machbar, allerdings nicht gerade attraktiv für 9 Jährige Kinder, die spielen wollen. Die Erfahrung geht einfach nicht über die Instagram- oder Skype-Erfahrung hinaus. Darum haben wir uns ausschließlich mit Objekttheater im klassischen Sinne beschäftig, wofür ich oben bereits ein Beispiel gab.

Beispiel AR-Filter auf Instagram: https://www.instagram.com/instamaskin/

Darstellungsproblematik

Zu dem Problem der Darstellung habe ich mir folgende Gedanken gemacht: Die scheinbar einzige Möglichkeit, die Maskenwesen aus dem Pixelgefängnis zu befreien, scheint der Weg über Greenscreen und Chromakey zu sein. Das bedeutet die Darsteller müssen vor einem grünen Hintergrund spielen, den man mit dem Effekt Chromakey, den diverse Videoprocessingprogramme bereithalten, herausrechnet und durch eine beliebige File ersetzt (Video oder Bild), sodass ein digitaler Raum geöffnet wird, in dem die Masken leben könnten. Das so gewonnene Video könnte gespeichert, gestreamt oder projiziert werden. Allerdings lässt sich, wenn ich nichts übersehen habe, die Maske nicht erzeugen, da der Zugriff auf Kamerafunktion und maskengenerierende App sich nicht in eins bringen lassen, wenn man nicht selbst eine App programmiert, die AR fähig ist und ihr Signal, z.B. über W-LAN, an einen Rechner schickt, der wiederum das Greenscreenkeying rechnet. Man könnte versuchen, den Smartphonebildschirm zu capturen und diesen über W-LAN streamen, aber dann wären alle grafischen Kontrollsymbole im Bild (von den eingeblendeten Werbeanzeigen ganz abgesehen).

Kurz: Da AR erst auf dem Bildschirm erzeugt wird und nicht eine Abstraktionsebene tiefer sich generiert, sodass direkt am Kamerasignal die Maske erzeugt wird, lässt sich die Maske nicht ohne weiteres vor einem Greenscreen spielen. Zumindest nicht mit kostenlosen Apps und erst recht nicht mit Instagram. Technisch möglich, aber es hat noch keiner für diesen Zweck programmiert. Zumindest meinem Wissensstand nach. Noch.

Das Problem der Interaktion ließe sich dem Anschein nach ebenfalls vor einem Greenscreen eliminieren, sollte man denken. Aber auch hier macht uns die bekannte Technik einen Strich durch die Rechnung. Pro App, eine Maske, in einem Zeitraum. Eine App, die zwei unterschiedlich Masken gleichzeitig erzeugen könnte, sodass zwei Wesen existieren könnten, ist mir nicht bekannt. Jetzt könnte man versuchen mit zwei Kameras, mit zwei Darstellern vor einem Greenscreen zwei Masken spielen zu lassen. Was evtl. das Problem lösen könnte, allerdings stehen wir dann wieder vor dem ersten Problem, dass nicht mal eine Maske vor Greenscreen gecaptured werden kann. Noch fehlt es an einer praktischen App. Noch.

Man könnte jetzt versuchen, erst auf dem verarbeitenden Rechner die Maske zu erzeugen, wozu man aber ein entsprechend mächtiges Plugin (z.B. für den Videomixer Resolume) bräuchte, welches es eben sowenig gibt. Auswegslos, oder?

Lösungsansatz für Freie Theater und Theaterpädagogik

Nicht ganz. Ein Programm, dass der Lösung schon recht nahe ist, ist Blender. Ein ultramächtiges 3D Modeling und Animationstool. Mit diesem lässt sich sowohl eine Maske (oder Avatar) erzeugen, als auch die Steuerung über eine Tiefenkamera realisieren und darüber hinaus kann ein Live-Videosignal so verarbeitet werden, dass Greenscreen-Keying möglich wird. Hierbei handelt es sich allerdings nicht um eine intuitiv zu bedienende App, oder einen praktischen Videomixer wie Resolume, sondern um ein zwar mächtiges, aber genauso kompliziertes Programm, das für gewöhnlich von Theaterpädagogen nicht beherrscht wird. Zumindest nicht von mir. Erst wieder im Gaming-Universum, oder Animationsfilm Sektor, finden sich findige Informatiker oder Designer, die dieses Monstrum bändigen können. Allerdings, und soviel kann ich erahnen, mit Blender eine Theatershow zu fahren, dürfte alles andere als easy-peasy sein. Zu komplex. Soweit es mir bekannt ist, ist es für den Showeinsatz auch nur sekundär gedacht. Und ich kann nicht beurteilen, in wieweit sich tatsächlich echte AR-Filter erzeugen lassen, die denen von Instagram nahe kommen (Stichwort: Liquidierung und Reorganisation von Bildinformationen, was ich aber nicht ausschließen kann). Das übersteigt mein Fachwissen um ein Vielfaches. Aber ich ahne fast, dass es einen Weg geben müsste. Und da das Programm OpenSource ist, also der Quellcode les- und modifizierbar ist, könnte eine solche Funktion implementiert werden. Theoretisch. Wenn man es kann. Und dann ergibt sich noch das Problem, dass der Performer seine Maske nicht sieht oder fühlt, was die Wechselwirkung beinah eliminiert, da faktisch und im analogen überhaupt kein Kontakt zum bespielenden Objekt besteht. In Hollywood Alltag, im Realtime Digital Objektthetre mit Kindern eindeutig zu viel verlangt. Wie auch immer dieser Aspekt sich hiermit umsetzen lässt, Blender hält, man könnte es bereits aus Gesagtem erahnen, noch eine Überraschung bereit: Digital Puppetry. Hiermit komme ich auch zum letzten Punkt meines Vortrages, bevor ich einen Ausblick auf die weitere Auseinandersetzung gebe.

Digital Puppetry und Vision

Beispiel Animata https://www.youtube.com/watch?v=IkCwLTSIIHo

Ich fasse mich kurz: Wie eingangs erwähnt, macht die Digitale Maske alleine noch kein Digitales Objekttheater. Der Körper muss hinzugedacht werden. An der Stelle noch mal ein deutlicher Hinweis darauf, dass es hier zu keiner Zeit um die Animation einer vor gestalteten digitalen Puppen ging, dessen Umsetzung durchaus praxisnah erreicht werden kann. Auch hier gibt es eine OpenSource-Software, namens Animata, mit der sich Tiefenkamerasignale auf vorher definierte Referenzpunkte einer Vektor basierten Figur übertragen lassen. Allerdings fehlt hier wieder vollständig die Mimik. Nur mechanische Animation ist machbar. Da kommt Blender ins Spiel, mit dem sich die oben erwähnte Face-Motion-Tracking Animation realisieren lässt. Plus der Mechanischen Animationen des Körpers. Und über die Umsetzung von Morphinganimation aus dem Bereich der AR, bin ich mir wie gesagt unsicher, allerdings müsste es irgendwie lösbar sein.

Diese Frage habe ich allerdings an meine Projektpartnerin Dini Dynamite abgegeben, die genau in diesem Moment die vorerst letzten Vorbereitungen unternimmt, um am morgigen Montag in die erste Testphase mit Kindern und Erwachsenen zu gehen, um der fixen Idee von gemorpheten Masken, Realtimeanimation und digital konstruierten Raum nachzujagen, bis wir aus dem Prototypsetup eine stabile, praktische und flexible Lösung erarbeitet haben, die eine neue Form von Digitalem Objekttheater möglich macht, die zwischen Mensch und Maschine, Analoger und Digitaler Realität und zwischen Theater und Digitaler Kunst oszilliert.

Wollen wir hoffen, dass die Hologrammtechnologie noch vor der Rente kommt, damit konsequent Digitales Objekttheater gelebt werden kann, bevor der Tod uns gewaltsam vorführen mag, wie es um den Dualismus wohl bestellt ist.