Dichte mist geen probleem voor camera die veranderingen registreert

Minder kijken om meer te zien. Dat is in feite het principe achter een nieuwe beeldtechniek van Brown University. De gebruikte camera laat vrijwel alle onveranderlijke beeldinformatie links liggen en registreert alleen waar iets verandert. Juist daardoor kan het systeem bewegingen onderscheiden op plekken waar verstrooid licht een gewone camera vrijwel ‘blind’ maakt.

Een zogeheten eventcamera werkt anders dan een regulier model. Iedere pixel reageert afzonderlijk en geeft alleen een signaal wanneer de gemeten lichtsterkte voldoende verandert. Dat lijkt enigszins op de manier waarop het menselijke oog werkt. Ook ons visuele systeem is sterk gericht op veranderingen, zoals bewegingen en randen, in plaats van steeds een volledig nieuw beeld naar de hersenen te sturen.

Die manier van waarnemen blijkt nuttig in mistige omgevingen. Licht dat van een voorwerp afkomstig is, wordt door waterdruppeltjes in allerlei richtingen verstrooid. Daardoor krijgt een gewone camera uiteindelijk te weinig bruikbare informatie binnen om het object goed te onderscheiden. Een eventcamera kan bewegende objecten toch detecteren, omdat de verstrooiing door de mist relatief langzaam verandert. Het bewegende voorwerp veroorzaakt juist snelle veranderingen in de lichtintensiteit. De sensor reageert vooral daarop en negeert een groot deel van de achtergrond.

De ruwe gegevens uit de camera lijken echter nog niet op een herkenbare foto. Om daar weer een beeld van te maken, ontwikkelden de onderzoekers een spiking neural network. Ook dat is geïnspireerd op ons eigen zenuwstelsel. In plaats van voortdurend alle informatie te verwerken, voert het netwerk alleen berekeningen uit wanneer zo’n verandering (spike) binnenkomt. Het neurale netwerk reconstrueert daaruit de contouren van het verborgen object en bepaalt tegelijkertijd waar het zich bevindt.

Tot 96 procent overeenkomst

De onderzoekers testten het systeem met bewegende letters, cijfers en silhouetten van vogels. De beelden werden door een kamer met bewegende mist en door een bak met troebel water gestuurd. Objecten die voor een conventionele camera en het menselijke oog niet meer herkenbaar waren, konden met de nieuwe methode wel worden gereconstrueerd. De gereconstrueerde beelden bereikten volgens de onderzoekers een structurele overeenkomst met het oorspronkelijke beeld van tot wel 96 procent. Tegelijkertijd kon het systeem de positie van het bewegende object volgen.

Zuinig

Een bijkomend voordeel is het lage energiegebruik. Omdat de eventcamera alleen veranderingen registreert, hoeft veel minder informatie te worden verwerkt dan bij een gewone videocamera. De sensor zelf gebruikt slechts enkele tientallen milliwatts.

De methode heeft nog duidelijke beperkingen. De onderzoekers werken daarom aan lichtversterking voor donkere omstandigheden en aan methoden om ook diepte te bepalen. Een mogelijkheid is om simpelweg twee eventcamera’s naast elkaar te gebruiken, vergelijkbaar met twee ogen. Daarmee zou het systeem uiteindelijk niet alleen kunnen bepalen wat zich achter mist bevindt, maar ook hoe ver het object van de camera verwijderd is.