Ik zie, ik zie wat jij niet ziet door Roy Schilderman, Zichtlijnen 46, mei 1996

Mark Reaney heeft als studieproject aan de universiteit van Kansas een virtual reality-project gerealiseerd. Met redelijk betaalbare middelen, simpele computersystemen, wat gratis software en een script uit 1920 (The adding machine van Elmer Rice), is een voorstelling tot stand gekomen waarin zowel het decor als het acteren gedeeltelijk virtueel waren. Een verslag hiervan is verschenen in Theatre Design & Technology1. Roy Schilderman, die zelf veel met digitale videotechniek werkt, gaat naar aanleiding van dat artikel in dop de mogelijkheden van virtual reality in het theater. Hij sprak ook met Judith van Wessel, die een week lang de voorstelling van Reaney ter plaatse heeft geanalyseerd. Zij kon informatie geven over de technische realisatie, over de speltechniek en de beleving van de toeschouwer. Het vakjargon wordt in een lijst aan het einde van het artikel verklaard.

Virtueel
Virtual reality binnen het theater betekent, technisch gezien, dat je dingen laat zien op plaatsen waar ze zich op dat moment niet werkelijk bevinden, in een vorm die ze in werkelijkheid niet hebben. Om door middel van een voorbeeld duidelijk te maken wat virtual reality (VR) is, ga ik er vanuit dat de voorstelling zich ‘gewoon ouderwets’ in het theatergebouw zelf afspeelt. Misschien is het principe van VR het best uit te leggen aan de hand van een vergelijking met een lenzenstelsel: er is sprake van een origineel, een beeld en iets wat daartussen zit: de lens. Bij VR is dat niet anders. Het origineel kan een structuur zijn van acteurs, een chroma-key studio, bestaand beeldmateriaal zoals dia’s en video- of filmanimaties, echte stukken decor, enzovoort. De ‘lens’ bestaat uit een aantal computers die, bijvoorbeeld gestuurd door een motion capture systeem al of niet real-time, twee- of driedimensionale animaties staan te renderen. Aan de computers kunnen film- of videoprojectoren gekoppeld worden die de beelden op op- of doorzichtschermen projecteren. Ook de operators, de regisseur, de gebruikte software, enzovoort behoren tot de ‘lens’. En het beeld? Tja, in wezen is dat nog steeds datgene wat je ziet als je in de zaal zit. Het ‘theater’, het ‘interactieve’, vindt plaats tussen acteurs die reëel aanwezig zijn en de operators die achter de coulissen real-time camera’s en beeldverwerkende computers sturen.

The Adding Machine
Reaney’s uitvoering van Elmer Rice’s The adding machine is meer een natuurlijk vervolg op het gebruik van virtuele decors, dan het gevolg van de wens om binnen toneel virtual reality te gebruiken als onderdeel van zowel spel als decor1,2. Reaney is ooit begonnen met het visualiseren van door hem bedachte decors door ze als driedimensionale tekeningen in de computer in te voeren. Met behulp van Nintendo data gloves en head mounted displays kon hij real-time door de decors bewegen: zo kon hij bijzonder goed met anderen een voorstelling ontwerpen. De gebruikte animaties en virtuele decors bleken zo goed te werken bij het communiceren, dat hij zich op een gegeven moment afvroeg of hij nog wel een echt decor moest bouwen.

Reaney gebruikte in The Adding Machine slechts een handvol acteurs, die zich zowel op als achter het toneel konden begeven, een aantal poppen in een chroma-key opstelling om extra personages te creëren, een camera in de zaal, een aantal camera’s achter de coulissen, en een aantal vooraf gerenderde videoanimaties.

Met deze elementen werden de originele beelden gecreëerd, die vervolgens in een studio-opstelling bewerkt werden (misschien moet je bij VR in het algemeen, en bij deze set zeker, wel van transformeren spreken). Hierbij werd gebruik gemaakt van beeldmixers, een videorecorder, een (Power)Macintosh-netwerkje waarachter de operators voor het licht, het geluid, de titels en de animaties zaten en – misschien wel het belangrijkste element een PowerMac waarmee real-time animaties gerenderd werden van bewegingen door een virtueel decor. Het bijzondere daarbij was dat het decor gerenderd werd in het softwarepakket Walk Through Pro: een van de Virtus Corporation geleende bètaversie (testversie) van een nieuwe generatie van dit pakket kon die rendering stereografisch uitvoeren. Deze stereografische animatie werd door twee gekoppelde beeldmixers samengevoegd met andere beelden (van de camera’s bijvoorbeeld) en naar twee LCD-projectoren gestuurd.

LCD-projectoren geven gepolariseerd licht af. Gepolariseerde beelden worden onzichtbaar als ze bekeken worden door een polaroidlens die een richting heeft die haaks staat op die van het licht. Hiervan werd gebruik gemaakt om driedimensionale beelden te creëren: die polarisatie van de projector die het beeld projecteerde dat bestemd was voor het linker oog werd door middel van een halve golflengtefilter 90° gedraaid ten opzichte van het beeld dat bestemd was voor het rechter oog. De beelden werden daarna samengevoegd op een (doorzicht)scherm. Het publiek droeg een brilletje met twee verschillend georiënteerde polaroidglazen, zodat het de animaties in drie dimensies kon zien. De beelden die niet stereografisch gecreëerd waren, leken iets op het doorzichtscherm te drijven. Naast dit videoprojectiescherm werden drie dimensionele dia’s geprojecteerd; dit was vooral bedoeld om het gevoel ín beeld te zitten, te vergroten.

Wat het publiek te zien kreeg was dus een mix van reële beelden van spelende acteurs, wat niet te verbergen delen van de techniek, en transformaties van deze en andere reële beelden. Hiermee werd een virtuele omgeving, een virtual reality gevormd.

Verschillende lagen
Judith van Wessel liep een week lang met de voorstelling mee. Zij studeert Theaterwetenschappen in Amsterdam en is goed op de hoogte van wat er op dit moment gaande is binnen de virtual reality en het gebruik daarvan in theater. Wat daar het meest opviel is dat effecten die banaal kunnen zijn binnen conventioneel theater (of op televisie) zeer verrassend kunnen zijn in een dergelijke virtual reality set. Dit komt doordat er veel lagen techniek gebruikt worden: het beeld waar naar gekeken wordt, komt daardoor in bepaalde mate synthetisch over. Conventionele (spel- en toneel-) elementen die in de eerste laag toegevoegd worden, veranderen nauwelijks en vormen daardoor een groot contrast met de rest van het (synthetische) beeld.

Judith vond de driedimensionale beelden niet echt sterk driedimensionaal. Dit was onder andere te wijten aan het feit dat de LCD-projectoren te dicht bij het scherm stonden: hierdoor was een duidelijke lichte vlek in het midden van het scherm te zien, wat perceptie van de 3D-projectie niet ten goede kwam. Bovendien was de PowerMac waar het 3D-decor op gerenderd werd niet krachtig genoeg. In eerste instantie had Reaney prachtige decors in de computer geconstrueerd. Het maken van real-time bewegingendoor dit decor leverde (‘mono’ gerenderd en weergegeven op een beeldscherm) veel gelikter uitziende animaties op. Op het moment dat de beelden stereografische weergegeven worden, bleek de snelheid van de computer onvoldoende, en moest, vanwege de noodzaak van real-time bewegingen in deze interactieve performance, het detail gereduceerd worden. Ook liep de snelheid van de animaties terug naar minder dan 25 beeldjes per seconde, waardoor het beeld schokkerig werd.

Judith van Wessel gaf mij een (mono) demonstratie van het pakket op een wat ouder Macje (natuurlijk was dit in het geheel niet real-time, maar het gaf een vrij goede impressie van wat een toeschouwer tijdens die voorstelling aan beeldmateriaal voorgeschoteld kreeg). De software had onder andere geen clipping ingebouwd: hierdoor is het pakket onnodig traag. (Clipping houdt in dat wat buiten het beeld van ‘de camera’ valt, niet gerenderd wordt.) Ook krijg je niet meer detail te zien als je dichter naar een object beweegt: de computer vergroot slechts zijn beeldelementen, waardoor er bij inzoomen een beeld met slechts een handvol pixels overblijft. Het lijkt een beetje op het spelletje Doom. Wellicht is de detaillering in te stellen, en is het wél in de rendering mee te nemen op een snelle PowerMac, maar vooralsnog zag het er slechter uit dan wat ik bij collega-Amigagebruikers zo’n vijf jaar geleden zag. De vraag is ook of Walk Through Pro al native op de PowerMac draait, of het inderdaad op de Risc-processor draait, en niet op een door de Risc geëmuleerde 68040-architectuur.

Experiment
De vraag is natuurlijk of er wat over de kwaliteit van Reaney’s productie te zeggen valt. Aangezien ik het stuk niet zelf heb gezien, en ik maar al te goed weet wat een dergelijke experimentele performance qua techniek en productie inhoudt, wil ik mij tot het bovenstaande (technische) oordeel beperken. Verder denk ik dat Reaney’s ervaringen met The adding machine ook de ervaringen zullen zijn van ieder ander die een eerste experiment met virtueel theater aangaat.

In zijn experiment waren de werkomstandigheden niet ideaal: het stuk werd toneel op toneel gespeeld, waardoor er nauwelijks ruimte was om flink met de opstelling van de apparatuur te experimenteren, een gedeelte van de apparatuur kwam slechts een maand vooraf beschikbaar, in de zaal werden nog colleges gegeven et cetera. Er ont stond zo een zowel voor het spel als de techniek zeer experimentele situatie, waarin compleet op de inventiviteit en het doorzettingsvermogen van de technici, de acteurs en de productiemedewerkers vertrouwd moest worden. Wanneer de ontwerpers en de regisseur het idee kregen om ook maar het kleinste beetje virtual reality in te zetten in het toneelstuk of het decor, moest dat onmiddellijk bij de VR-operators neergelegd worden: om te implementeren, om te testen en om te laten keuren. Conventionele decors geven vaak al problemen genoeg: en hout dat staal is gewoon in standaardmaten verkrijgbaar. Reaney begon met mooie gelikte computerdecors, met veel detail. Maar toen alle computers eenmaal aan elkaar geknoopt zaten en er acteurs gingen meespelen werden de animaties te traag en moest de beeldkwaliteit sterk gereduceerd worden.

De beeldkwaliteit van het virtuele decor hoeft op zich niet perfect te zijn, suggestie blijft een belangrijk element binnen theater. De kracht van een VR-experiment is de koppeling van interactiviteit, virtueel decor en de andere elementen.

In een volgend artikel ga ik in op andere vormen van virtual reality en andere, reeds uitgevoerde virtuele decors.

Reacties kunt u sturen naar Roy Schilderman via email fimage@xs4all.nl, of naar Judith van Wessel via email: judith.van.wessel@let.uva.nl.

Schriftelijke reacties of reacties per fax kunnen naar de redactie van Zichtlijnen gestuurd worden.

Woordenlijst
Enige verklaring van een aantal gebruikte woorden lijkt op zijn plaats. Daarnaast som ik hier een aantal elementen op die binnen virtual reality – en in sommige huiskamers – al vrij gewoon zijn.

Renderen: de transformatie maken van een in de computer gedefinieerde omgeving naar een visualisatie daarvan. Je kunt bijvoorbeeld een gebouw definiëren door het op te bouwen uit een aantal vlakken die je weer definieert als van steen, of van glas. Je ziet dan meestal een plaatje dat uit allemaal zwarte lijnen bestaat, die de contouren van al die objecten weergeven. De objecten worden niet ‘ingevuld’ met een structuur van bijvoorbeeld bakstenen of gladgelakt hout omdat dat tijdens het ontwerpen of invoeren van zo’n omgeving de computer veel te traag zou maken. Onze hersens zijn echter slecht in staat om dergelijke omgevingen te beoordelen op bijvoorbeeld zichtlijnen, kleurcombinaties, lichtval, noem maar op. Als hulpmiddel berekent de computer dan een aanzicht van deze omgeving vanuit een door de gebruiker gekozen camerastandpunt. Deze rekenoperatie wordt rendering genoemd. Bij animaties kun je bijvoorbeeld een camerabeweging invoeren en vervolgens voor ieder nieuw camerastandpunt de omgeving laten renderen. Wanneer alle gerenderde plaatjes na elkaar afgespeeld worden ontstaat en ‘filmpje’, een animatie.

Motion tracking: systemen die registreren welke beweging op welke plaats, bijvoorbeeld door een menselijk lichaam, gemaakt wordt. Deze bewegingsgegevens kunnen gekoppeld worden aan in de computer gedefinieerde 3D-structuren zoals een stripfiguur, of een 3D-scan van een heel ander persoon. Als de computer krachtig genoeg is kan dit real-time verwerkt worden tot een animatie.

Virtual reality begint natuurlijk bij Nintendo, Sega en al die andere computerspelletjes die momenteel op de markt zijn. Bewegingen zijn op deze apparaten tegenwoordig redelijk real-time: het beeld verandert vrijwel direct met de beweging van de speler (de vertraging is slechts enkele frames, tienden van een seconde) en veel beelden worden gegenereerd met 25 frames per seconde, zoals gewone televisiebeelden er uitzien.

Data gloves: een soort poolwanten vol met sensoren, die de computer informeren over de bewegingen die een speler maakt. Zijn bewegingen sturen de computer, die een beeld van een scène genereert.

3D-muizen: eigenlijk net als gewone muizen, maar dan met een extra vrijheidsgraad om ook in de diepte van een 3D-decor te kunnen bewegen.

Head mounted displays (HMD’s): dit zijn een soort fietshelmpjes met voor ieder oog een LCD-monitor. Ieder oog krijgt een apart beeld te zien, zodat stereografische projectie mogelijk wordt. Wellicht is deze vorm van VR het best bekend. In het theater heeft dit wellicht als nadeel dat je in je eigen helmpje naar tv zit te kijken, in plaats van met een zaal vol mensen naar een toneel. Een oplossing voor dit probleem wordt misschien geboden door gebruik te maken van halfdoorlatende displays, zodat je zowel de video als de reële omgeving ziet.

Polaroidbrillen: Polaroidglazen hebben net als LCD-projectoren de eigenschap het licht wat er doorheen golft te polariseren. Zo kun je met behulp van twee verschillende videobronnen, twee LCD-projectoren, een halve golflengte filter dat de polarisatierichting van één van de lichtbundels 90° verdraait en twee polaroidfilters die ook 90° gedraaid zijn ten opzichte van elkaar, het ene oog het ene videobeeld aanbieden en het andere oog het andere.

Shutter brillen: de werking van deze bril is gebaseerd op het feit dat een videobeeld bestaat uit een serie frames (bij ons in Nederland zijn dat er 25 per seconde), die op hun beurt weer opgebouwd zijn uit twee fields, die in tijd na elkaar weergegeven worden. Het eerste field bevat de oneven beeldlijnen, en het tweede field bevat de even beeldlijnen. Door gebruik te maken van fieldrendering (de twee fields van een frame worden dan steeds apart behandeld) en het ene oog het ene field aan te bieden en het andere oog het andere field, kun je ook stereografische projecties realiseren. Om er voor te zorgen dat inderdaad het juiste oog het juiste field ziet, wordt gebruik gemaakt van LCD-schermpjes, waarbij een link tussen shutterbril en computer ervoor zorgt dat steeds maar een van de LCD’s doorlatend is. Met de huidige 100 Hz technieken levert dit een behoorlijk stabiel beeld op. Deze techniek is ook zeer goed toepasbaar om een 3D-still met een computermonitor weer te geven.

Roy Schilderman is een freelance technicus, gespecialiseerd in videotechniek en rigging equipment.

1 Mark Reaney: ‘Theatre of virtual reality’ Theater Design & Technology, winter 1996, vol. 32, United States Institute for Theatre Technology, Inc.
2 Judith van Wessel: ‘Virtual reality en drama’ Theater & Educatie, tijdschrift voor drama, augustus 1995, Beroepsvereniging dramadocenten.

Terug