Vi kender det allesammen, at vi har brug for hjælp og ringer til en tekniker for at få hjælp over telefonen men dybest set har brug for, at han står ved siden af og hjælper til.
Den udfordring vil virksomheden ShowMe løse. De står bag en app, der gør det muligt at filme ned i motorrummet samtidig med, at man på sin smartphone kan se, hvilken skrue en tekniker “i den anden ende af røret” peger på. På den måde kan man hjælpe hinanden på afstand.
Teknikken bag er ikke helt triviel, da den både udnytter kunstig intelligens til at kende forskel på mønstre og Mixed Reality (MR) til at komponere billeder.
Det er netop situationerne inden for field service, der er et marked på flere hundrede milliarder kr. på verdensplan, som folkene bag ønsker at ramme, forklarer Steen Svendstorp Iversen, der er en af parterne i ShowMe. Det kan være boreplatforme, vindmøller, skibe eller kritisk infrastruktur.
”Det minder om den betjening, hvor teknikeren fra it-afdelingen logger på og overtager styringen af din computer. Med vores app kan en person, der står på en boreplatform i Nordsøen, få virtuel hjælp af en ekspert på en boreplatform i Texas. Det kan både effektivisere selve field service-arbejdet, og det kan også reducere den kritiske nedetid, der er en kæmpe faktor i mange brancher,” forklarer Steen Svendstorp Iversen.
Idé opstod under hektisk situation
Ideen til appen opstod netop under en lignende situation på Planetariet for nogle år siden, hvor Steen Svendstorp Iversen, der har en baggrund som vicedirektør på Planetariet, brugte Skype på sin mobiltelefon til at få fjernhjælp fra en ekspert i Belgien.
“Det viste sig at være ret bøvlet, fordi man med Skype kigger på hinanden face-to-face. Men det førte til ideen, at det kunne være fantastisk, hvis teknikeren kunne have stukket hånden ind i billedet af den defekte projektor, som om de stod ’side-by-side. Det ville have sparet kritisk tid,” forklarer Steen Svendstorp Iversen.
Steen tog kontakt til Thomas Rued, der har en baggrund som softwareudvikler hos bl.a. Cisco, og drøftede de tekniske og forretningsmæssige muligheder. Sammen stiftede de ShowMe Telepresence ApS og tog patent på ‘side-by-side’-princippet. Derefter brugte de et par år på at udvikle en algoritme, der kan separere ekspertens hånd fra den tilstedeværende baggrund og placere den foran det objekt, der skal serviceres.
”Det er ikke en helt triviel proces billedmæssigt, da det kræver, at teknikerens hånd bliver fritskåret. Vi troede, at vi kunne løse det med en traditionel algoritme, hvor vi kodede, hvordan den skulle gøre. Det fungerede dog ikke i praksis, da det kræver, at folk holdt telefonen stille og indstillede den til den aktuelle belysning og baggrund,” forklarer Thomas Rued.
Kunstig intelligens kan genkende mønstre
De stod på et punkt i virksomheden, hvor de kunne se, at der er et kæmpe potentiale i teknologien, og at kunderne var interesserede, men at betjeningen var for tung, og at brugerne ikke kunne finde ud af den. De havde ingen anelse om, at der var dukket en helt ny teknologi op, der kunne tilføre lige præcis den brugervenlighed, de var på jagt efter, da de kom i kontakt med Alexandra Instituttets eksperter inden for kunstig intelligens.
Instituttet har nu udviklet et proof-of-concept på kunstig intelligens til appen, der gør, at den fuldautomatisk kan fritskære en hånd. Det betyder, at man nemt og ubesværet og på få sekunder kan stå ’side-by-side’ med den rigtige ekspert, uanset, hvor man befinder sig i verden.
Mads Thoudahl, Machine Learning Specialist i Data Science and Engineering Lab på Alexandra Instituttet, forklarer:
“Problemet med den traditionelle teknologi er, at den blandt andet kun virker under bestemte lysforhold. Det løser vi ved at skifte teknologien ud med et kunstigt neuralt netværk, der kan hoppe uden om lyssætningsfælderne. Teknikken er udviklet igennem de seneste par år og giver mulighed for at kende forskel på mønstre i billeder og videoer ved hjælp af kunstige neurale netværk og lidt computerkraft,” siger han og uddyber:
“Det kan som i tilfældet med ShowMe være at kende forskel på hænder og baggrund i billeder, men det kunne også være at se forskel på – at klassificere – om det er en bold eller en fodboldspiller, der vises i billedet under en sportsudsendelse. Det er en teknik, der bl.a. også kan hjælpe med at give et kvalificeret bud på værdisætning af forskellige emner. Det kunne f.eks. være, om man ser et billigt eller dyrt hus på et billede,” forklarer han.
En afgørende faktor for, at man kunne udvikle et neuralt netværk, der kan genkende hænder, er, at ShowMe med deres traditionelle algoritme har produceret en stor mængde træningsdata i form af fritskårne billeder af pegende hænder.