Brug din hånd i virtual reality

I virtual reality er du et hoved uden krop, men snart kommer dine hænder med i billedet helt uden handsker

Jamie Shotton viser, hvordan en computer kan genkende en hånd (Foto: Henrik Føhns)

Mange børn danser “Just Dance” foran deres XBox 360 hjemme i stuen.

Via spillekonsollens infrarøde Kinnect kamea kan computeren oversætte børnenes bevægelser til information, som den kan forstå og putte ind i spillet som dansetrin.

Teknologien bag denne forunderlige funktion er lavet af den britiske forsker Jamie Shotton, der er ekspert i maskinlæring og har lavet den software, som gør det muligt for spillekonsollen, at identificere genstande, der bevæger sig foran et kamera.

Maskinlæringsprogrammet lærer kroppens bevægelser at kende, så spillekonsollen kan følge kroppens bevægelser i realtid og fange de rigtige bevægelser.

Fra "Just Dance" til virtual reality

Den samme teknologi vil Jamie Shotton bruge til virtual reality, så vi kan se og bruge vores hænder i det virtuelle univers uden at bære særlige handsker eller controllere med knapper.

- Vi troede, at vi kunne bruge Kinnectens principper til at genkende håndbevægelser, så maskinen kunne forstå dem, men hænder er meget sværere at følge end en hel krop, fortæller Jamie Shotton, der er forsker hos Microsoft Research i Cambridge. Hænder er mindre end en hel krop, så man ser færre punkter i billedet, der også indeholder mere visuel støj. Og så roterer hænder frit omkring deres tre akser i modsætning til en krop, der generelt kun kan stå eller rotere enten til højre eller venstre. Hænder skifter deres udtryk meget radikalt, fordi de roterer mere.

Maskinen lærer hånden at kende

Jamie Shotton og hans kollegaer har lavet en detaljeret model af den menneskelige hånd og kombineret den med algoritmer, som kan bruges til maskinlæring, der giver et detaljeret billede af håndens form og dens måder at bevæge sig på. Maskinen lærer simpelthen at genkende en hånd.

- Vi tager ting med vores hånd i den virkelige verden, og det skal vi også kunne gøre med vores hænder i den virtuelle verden. Vi skal kunne række ud efter ting med hånden, tage dem med vores fingre, røre ved dem, klemme dem, flytte dem. Hvis man kan det, så vil det blive en killer app til virtual reality og augmented reality, vurderer Jamie Shotton.

Computer skal lære at læse vores følelser

Jamie Shotton og hans team er startet med hånden, fordi den er sværest at aflæse.

- Nu er vi næsten i mål. Det næste bliver ansigtet, som også er svært, siger han.

Jamie Shotton er sikker på, at hans håndmodel også virker for ansigtet, selvom han ikke har prøvet det endnu. Det handler ikke kun om at kunne afkode ansigtets bevægelser, men også om at kunne fortolke de forskellige ansigtsudtryk som følelser, uden at vi havner i et felt, hvor man kan fornemme, at det er en maskine, der prøver at ligne et menneske, hvilket oftest er ret uhyggeligt. - Vi er tæt på, at computerne kan forstå vores følelser gennem at aflæse bevægelser i vores ansigt, siger han, der dog ikke vil sætte en dato på, hvornår det bliver en feature i de VR-briller, som allerede nu kommer på markedet.