Vi sitter i Humanistlabbets studio i Lund. Forskningsingenjören Stefan Lindgren visar på datorskärmar vad som krävs för att väcka en avatar till liv. Tekniken heter Motion capture, förkortat mocap, och spelar in och lagrar rörelser på en dator. Inom datorspel och film har man länge arbetat med att få karaktärer att röra sig naturtroget. ABBA gjorde comeback med tekniken, och filmen Avatar, som kom för tio år sen, visar upp häpnadsväckande scener.
Strömning i realtid
Grundtanken är att man skapar en tredimensionell inspelning - små runda markörer fästs på olika delar av kroppen hos en person. Dessa markörer spelas in av ett stort antal mocap kameror, vilka är placerade runt omkring personen. När personen rör sig kan systemets datorer spela in personens rörelser i tre dimensioner. Med en speciell mjukvara överförs rörelserna från personen till motsvarande punkter på en datorgenererad kropp. Men hittills har aldrig Humanistlabbet i sina projekt strömmat inspelningarna i realtid, utan har arbetat med stora mängder data i efterhand.
– Vi hjälper många olika typer av forskare, som arkeologer eller språk- och beteendeforskare, och vi har lång erfarenhet av att spela in. Men när Riksteatern Crea, som är en av världens ledande teckenspråkiga teatrar, ville undersöka om man kunde livestreama avatar som använder teckenspråk tänkte jag jisses – det var en rejäl spännande utmaning, berättar Stefan Lindgren.
Stefan Lindgren visar på en datorskärm hur man spelar in och lagrar rörelser. Foto: Bodil Malmström
Små detaljer gör skillnad
Riksteatern Crea är den främsta svenska professionella teatern för döva; skådespelare som publik. Den konstnärliga ledaren Mindy Drapsa samt regissör och skådespelare började tillsammans med Humanistlabbets mocap-experter att testa och laborera i mocap-studion. En av utmaningarna är att hos en teckenspråkstalare sitter språket i kroppens gester, medan grammatiken sitter i ansiktet. Hur skulle man komma åt de små detaljerna i rörelsemönstret och samtidigt streama i realtid?
Att sätta markörer i ansiktet fungerade inte, nyanser var svåra att fånga. Till sist hittade forskarna en app som genom en smartphone kunde filma alla små rörelser i ansiktet. Tillsammans med handskar, som forskarna kunde kalibrera bättre, samt filmning från mocap-kamerorna fick man tre system att registrera alla rörelser samtidigt och strömma till den virtuella figuren. Resultatet blev förbluffande bra.
– Allt baseras på att systemet ser den teckenspråkstalande skådespelaren och hur bra den virtuella karaktären kan interagera. Om en liten markör ramlar av på skådespelaren blir det kaos. Då rör sig kanske inte det ena benet och då ser det väldigt konstigt ut. Att kasta sig ut och våga göra detta live, som aldrig har gjorts innan, det är modigt, menar Stefan Lindgren.
Det kommer att bli superspännande att få
se en teckenspråksavatar på scen
Riksteatern Creas tekniska kunnande ger också många möjligheter för avataren att projiceras var som helst på scenen, inflygande från sidan eller att dyka upp bakom skådespelarens axel.
Världsunikt projekt
Under hösten har man testat detta unika koncept för publik i pjäsen ”Spöket på Canterville” och fått positiv respons och 2025 drar teatergruppen ut på en riksturné. Den teckenspråkstalande skådespelaren behöver inte ens åka med, utan tekniken kan skötas från hemmaplan. Men hur kan man få publiken att förstå att det är live?
– Pjäsen skulle kunna börja med att spöket kommer fram till publiken och pratar med den på teckenspråk och får till en konversation. Avataren blir inte bara ett pålägg, utan tillför scenframställningen mycket, berättar Stefan Lindgren.
Efter en lång arbetsprocess är konstnärliga ledaren, Mindy Drapsa mycket positiv till utvecklingen av Riksteatern Creas ambitioner i detta världsunika projekt.
– Det kommer att bli superspännande att få se en teckenspråksavatar på scen. Publiken vi har testat på är överväldigad – att få uppleva en uttrycksfull avatar som använder teckenspråk i realtid. Det är en upplevelse som inte går att beskriva.
