Wel of geen voetganger? RisingattacK manipuleert wat visionsystemen zien

Ingenieurs hebben een nieuwe manier onderzocht om AI-systemen voor computer vision aan te vallen. Ze geloven dat de methode hen kan helpen te bepalen wat de AI ‘ziet’. RisingAttacK zou effectief zijn in het manipuleren van alle meestgebruikte AI-systemen voor computer vision.

“We wilden een effectieve manier vinden om AI-systemen te hacken, omdat deze systemen vaak worden gebruikt in contexten die de menselijke gezondheid en veiligheid kunnen beïnvloeden – van autonome voertuigen tot gezondheidstechnologieën en beveiligingstoepassingen”, zegt Tianfu Wu, co-auteur van een paper over het onderzoek en universitair hoofddocent elektrotechniek en computertechnologie aan de North Carolina State University. “Dat betekent dat het erg belangrijk is dat deze AI-systemen veilig zijn. Het identificeren van kwetsbaarheden is een belangrijke stap in het beveiligen van deze systemen, aangezien je een kwetsbaarheid moet identificeren om je ertegen te kunnen verdedigen.”

Van verkeerslicht tot röntgenapparatuur

Onderzoekers wezen erop dat het hier gaat om zogenaamde ‘adversarial attacks’, waarbij iemand de data die in een AI-systeem wordt ingevoerd, manipuleert om te bepalen wat het systeem wel of niet ziet in een afbeelding.

Iemand zou het vermogen van een AI om verkeerslichten, voetgangers of andere auto’s te detecteren kunnen manipuleren. Of een hacker zou code op een röntgenapparaat kunnen installeren waardoor een AI-systeem onnauwkeurige diagnoses stelt, aldus de onderzoekers.

De mens ziet het wel, maar AI niet

Ze benadrukten dat RisingAttacK bestaat uit een reeks bewerkingen, met als doel zo min mogelijk wijzigingen aan een afbeelding aan te brengen, zodat gebruikers kunnen manipuleren wat de AI ‘ziet’.

Ten eerste identificeert RisingAttacK alle visuele kenmerken in de afbeelding. Het programma voert ook een bewerking uit om te bepalen welke van die kenmerken het belangrijkst zijn om het doel van de aanval te bereiken.

“Als het doel van de aanval bijvoorbeeld is om te voorkomen dat de AI een auto identificeert, welke kenmerken in de afbeelding zijn dan het belangrijkst voor de AI om een ​​auto in de afbeelding te kunnen identificeren? Dit vereist enige rekenkracht, maar stelt ons in staat om zeer kleine, gerichte wijzigingen aan te brengen in de belangrijkste kenmerken die de aanval succesvol maken,” aldus Wu.

Het eindresultaat is dat twee afbeeldingen er voor het menselijk oog identiek uit kunnen zien, en dat mensen op beide afbeeldingen duidelijk een auto kunnen zien. Dankzij RisingAttacK ziet de AI echter een auto op de eerste afbeelding, maar geen auto op de tweede.

Methode getest met vier meestgebruikte AI-programma’s voor visuele waarneming

De methode werd getest met de vier meestgebruikte AI-programma’s voor visuele waarneming: ResNet-50, DenseNet-121, ViTB en DEiT-B. De techniek bleek effectief in het manipuleren van alle vier de programma’s. Onderzoekers bepalen nu hoe effectief de techniek is in het aanvallen van andere AI-systemen, zoals grote taalmodellen. “Het doel is om in de toekomst technieken te ontwikkelen die zich succesvol kunnen verdedigen tegen dergelijke aanvallen.”

Uitdagingen

In hun artikel onthulden onderzoekers dat white-box-gerichte aanvallen kernkwetsbaarheden in diepe neurale netwerken (DNN’s) blootleggen. Er blijven echter twee uitdagingen bestaan: hoeveel doelwitklassen kunnen tegelijkertijd in een bepaalde volgorde worden aangevallen, bekend als het geordende top-K-aanvalsprobleem, en hoe kunnen de bijbehorende vijandige verstoringen voor een gegeven goedaardige afbeelding direct in de beeldruimte worden berekend?

Onderzoekers pakten beide uitdagingen aan door aan te tonen dat geordende top-K-verstoringen kunnen worden geleerd door lineaire combinaties van de juiste singuliere vectoren van de vijandige Jacobiaan iteratief te optimaliseren.

Deze vectoren bestrijken een orthogonale, informatieve deelruimte in het beelddomein. We introduceren RisingAttacK, een nieuwe op sequentiële kwadratische programmering (SQP) gebaseerde methode die gebruikmaakt van deze structuur.

“We stellen een holistische ‘figure-of-merits’ (FoM)-metriek voor die aanvalssuccespercentages (ASR’s) en ℓp-normen (p = 1, 2, ∞) combineert. Uitgebreide experimenten met ImageNet-1k in zes geordende top-K-niveaus (K = 1, 5, 10, 15, 20, 25, 30) en vier modellen (ResNet-50, DenseNet-121, ViTB, DEiT-B) tonen aan dat RisingAttacK de state-of-the-art QuadAttacK consistent overtreft”, aldus de onderzoekers in de studie.

Open op Github

Het onderzoeksteam heeft RisingAttacK openbaar gemaakt, zodat de onderzoeksgemeenschap het kan gebruiken om neurale netwerken te testen op kwetsbaarheden. Het programma is hier te vinden: https://github.com/ivmcl/ordered-topk-attack.