Möt företaget göra haptics som låter dig uppleva känslan av att skära kött
NyheterHaptisk återkoppling hjälper dig att veta när du har knackat på en nyckel på telefonen med en lugnande liten puls. Det ger dig känslan av att skjuta en runda i Call of Duty med en kort, skarp skott ... och nu låter du uppleva vikten och trycket på att lyfta och skära magsäcken.
Vi är enorma fans av applikationer av haptisk återkoppling som ger en taktil sensorisk dimension till virtuella verklighetsupplevelser, så när vi hörde att det fanns en kirurgisk VR-upplevelse vid Global Education and Skills Forum (GESF) som vi deltog i Dubai, så var det var med en känsla av påtaglig spänning som vi ledde till den grundläggande VR-koncessionen.
Med sitt kirurgiska träningsverktyg Fundamental Surgery har Fundamental VR lyckats skapa den mest viscerala haptiska återkopplingen vi någonsin har upplevt. När du är fastspänd i ett VR-headset har du överlämnat kontrollwands som korrelerar med mekaniska armar som visas framför dig på skärmen.
För den erfarenhet som vi försökte wands kontrollerade en uppsättning av pincers och ett cauterizing verktyg, men de kan användas för att manipulera en skalpell, en benstjärna, en spruta - nästan alla verktyg som en kirurg kommer att behöva använda under en operation.
Erfarenheten är enhets-agnostic (vi använde ett Windows Mixed Reality Headset), men Fundamental hade en Oculus Rift och HTC Vive också och var glad att byta ut till vilken enhet vi ville försöka.
Erfarenheten är en mycket kort, enkel simulering. Du sätts i en kirurgs skor, står över en plana täckt virtuell patient, med en skärm över en utsatt köttig mage med verktyg som sticker ut ur det.
Skärmen visar matningen från kameran in i torso, som är en vy av insidan av en mänsklig kropp, bara på utsidan av magen.
Förbered dig
Du har till uppgift att ta tag i och lyfta magefodern och sedan skära bort ett tunt skikt med hjälp av cauterizing-verktyget genom att glida det i ett litet hål och använda värme för att separera delen av magen.
Det tog oss några sekunder att skaffa den djupuppfattning som behövdes för att ta tag i foderet med våra pincers, men när vi gjorde det hände det märkliga saken ... vi kände viktens vikt. Det kändes riktigt. Det kände inte tycka om det var riktigt, det kändes riktigt.
Vi hade aldrig upplevt något som det, och vi var halvvägs mellan förskräckta och förskräckta. Vi var tvungna att lyfta fodret upp till en punkt där den låses i position, och för att vi inte har en käverskötts skön touch, vi bunglade det. Den fysiska "popen" av fodret glider från våra pincers gjorde oss verkligen gag.
Så småningom fick vi foderet på rätt ställe, och ett hål öppnade för att vi skulle kunna glida in det cauterizing verktyget. Japp. Det hände. Kämpar tillbaka en ganska intensiv illamående, vi skar fodret med värmen i cauterizingverktyget, och sessionen (tack och lov) slutade.
Pratar med tillverkaren
Efter att ha tagit en stund att komponera oss, pratade vi med Fundamental VRs medgrundare och VD Richard Vincent, och frågade hur det gjorde sådana effektiva haptics, och vad det planerar att göra med tekniken.
“Kirurgi handlar om beröring, och det handlar om syn. med bara en av dem är det ett spel,” Vincent sa. “Att bygga den haptiska intelligensen som gör att vi kan kartlägga alla verktyg och vävnader och alla möjliga kollisioner mellan dem tog oss ungefär ett år och vi är nu på en punkt där vi på ett tillförlitligt sätt kan distribuera ganska mycket vävnadserfarenhet.”
Och att komma till den punkten tog mycket försök och fel. “Det är en process att få kirurger i,” Vincent fortsatte. ”Vi har ett kalibreringsverktyg som gör det möjligt för oss att gå 'Det här är den punkt där du sätter in detta in i den där plats, kände det sig rätt? och då har vi ungefär sju olika variabler för att justera som hur svårt det är, hur mycket du måste trycka på den innan den äntligen ger plats eller tränger in.”
Hjälpsamt var det en verklig läkare till hands - Dimitri Amiras, en radiolog från konsulten från den brittiska baserade Imperial College NHS Trust. Vi tog chansen att fråga honom huruvida "operationen" av operationen skulle minska den känslomässiga risken i samband med en verklig operation.
“Gamifieringen kommer att ta kirurgen ett steg tillbaka från det han faktiskt gör, och låter dem faktiskt fokusera på själva operationen,“ Amiras berättade för oss. “Om kirurgen tänker på personens barn som väntar hemma, finns det inget sätt att de kan göra operationen. Du kan ha empati efteråt, men då måste du fokusera på proceduren.”
För en upplevelse av en hjärnoperation i verkligheten i 360-graders video, kolla in den här videon gjord av Fundamental:
Medan simuleringsupplevelsen vi försökte kände sig väldigt riktig så såg den fortfarande väldigt viltliknande ut, och vi undrade hur många av Vincents lag som kom från spelbranschen.
“Laget består av många människor från spelbakgrunden, för det är där färdigheterna i VR-prestanda verkligen har raffinerats under de senaste två åren,” han sa det till oss. ”Det bästa stället att hitta Unity eller Unreal programmerare med riktigt bra erfarenhet är spel.”
För närvarande används grundläggande kirurgi för att utbilda vore kirurger, men vi kan se uppenbara tillämpningar i konsument VR, och vi är inte de enda - Vincent sa att han har kontaktats av siffror från ett antal olika branscher för hans algoritm . Men för tillfället håller han fokusen rent kirurgiskt.
- Vill du läsa några VR-nyheter nästa? Checka ut: Oculus Go fristående VR-headset kan starta i början av maj