Betrouwbaarheid is cruciale KPI in edge-AI

Kijk voor het vergelijken van AI-hardware voor edge-AI verder dan TOPS, FLOPS en FPS. Daar gelden namelijk niet de gecontroleerde laboratoriumomstandigheden waarin deze parameters worden gemeten. In edge-omgevingen komt het er vooral op aan dat de AI-hardware betrouwbaar blijft functioneren.

Door: Michaël Uyttersprot, Market Segment Manager Artificial Intelligence en Vision bij Avnet Silica.

Trillion operations per second (TOPS), floating-point operations per second (FLOPS), frames per second (FPS) en benchmarkscores zijn veelgebruikte referentiepunten voor het vergelijken van AI-hardware. Die geven echter niet het volledige plaatje, zeker wat betreft AI-systemen aan de edge. Daar werken ze namelijk niet onder de gecontroleerde laboratoriumomstandigheden waarin deze parameters worden gemeten.

Ze worden geïnstalleerd in bijvoorbeeld fabrieken, magazijnen, smart city-infrastructuur, bewakingssystemen, autonome mobiele robots (AMR’s), kiosken en embedded industriële apparaten. Daar kunnen ze te maken krijgen met stof, trillingen, wisselende temperaturen, onstabiele connectiviteit, beperkte stroomvoorziening en starre onderhoudsintervallen.

In deze omgevingen is piekperformance alleen een zinvolle vergelijkingsbasis als deze ook daadwerkelijk kan worden volgehouden. Van veel edge-AI-systemen wordt verwacht dat ze continu draaien, vaak 24/7, zonder dat de prestaties verminderen, het systeem oververhit raakt, de nauwkeurigheid afneemt of regelmatig onderhoud moet worden gepleegd.

Voor ingenieurs die ontwerpen voor de edge is een belangrijkere vraag of de toepassing nauwkeurige inference (het uitvoeren van een getraind AI-model op nieuwe data) met lage latency kan leveren binnen de beperkingen van de toepassing op het gebied van stroomverbruik, warmteafvoer, kosten en onderhoud van de implementatie.

De edge heeft geen onbeperkte speelruimte

In een datacenter kunnen stroomvoorziening en koeling worden afgestemd op de rekeninfrastructuur. Aan de edge moet de rekenarchitectuur zich aanpassen aan de omgeving.

Bijvoorbeeld, een slimme camera kan worden beperkt door Power over Ethernet (PoE). Een mobiele robot kan worden beperkt door de batterijcapaciteit. Een fabriekscontroller moet mogelijk in een afgesloten kast worden geplaatst. Een smart city edge-box, die aan een lantaarnpaal is gemonteerd, moet functioneren onder wisselende weersomstandigheden, netwerkinstabiliteit en beperkte fysieke toegang.

Dit zorgt voor een krappe operationele marge. Bij veel edge-AI-implementaties moet de latency op of onder de 100 ms blijven om realtime waarneming, inspectie of besturing te ondersteunen. De verwachtingen ten aanzien van de uptime bij kritieke infrastructuur en hoogwaardige toepassingen kunnen oplopen tot 99,999%. Het stroomverbruik is vaak beperkt tot 5-20 W, met name in PoE-gevoede, batterijgevoede of ventilatorloze systemen. Thermische limieten zijn ook belangrijk. De junctietemperatuur moet doorgaans onder de 85 °C blijven om throttling, vroegtijdige veroudering of uitval te voorkomen.

Een processor die goed presteert in benchmarks, maar 40 W aan vermogen, actieve koeling of frequent onderhoud vereist, is wellicht ongeschikt voor een afgesloten industriële behuizing of een compact robotplatform. Evenzo kan afhankelijkheid van de cloud weliswaar werken in een demonstratie, maar falen in een gebouw, lift, magazijn of fabriekshal waar de netwerkomstandigheden wisselend zijn. Of een model dat snel draait maar aan nauwkeurigheid inboet na agressieve optimalisatie, is wellicht niet betrouwbaar genoeg voor inspectie of veiligheidskritische taken. Dergelijke beperkingen bepalen soms of een AI-systeem überhaupt kan worden ingezet.

Waarom piekcijfers misleidend kunnen zijn

TOPS en FPS zijn nuttige indicatoren voor theoretisch haalbare prestaties, maar ze zeggen weinig over de fysieke bedrijfsomstandigheden die nodig zijn om deze te bereiken. Een hoog piekcijfer is vaak afhankelijk van extra vermogensruimte, actieve koeling en externe bandbreedte die in gesloten of afgelegen edge-systemen simpelweg niet beschikbaar zijn.

Om deze kloof te dichten is een architecturale verschuiving nodig, waarbij de nadruk wordt gelegd op langdurige deterministische prestaties in plaats van onbeperkt piekvermogen. Deze ontwerpfilosofie staat centraal bij de DEEPX DX-M1 chip (gedistribueerd door Avnet Silica), een architectuur voor neurale verwerkingseenheden (NPU) die is ontworpen om realtime inference te leveren, strikt binnen de fysieke grenzen van edge-implementaties.

Warmte is een probleem voor betrouwbaarheid

In edge-systemen met beperkte ruimte is de impact van warmte groot. Naarmate de temperatuur stijgt, kunnen processoren gaan throttlen, waardoor inference minder voorspelbaar wordt en de belasting op soldeerverbindingen, DRAM en andere componenten toeneemt. In afgesloten of stofdichte industriële omgevingen is het afvoeren van overtollige warmte bijzonder uitdagend, vooral wanneer de omgevingstemperatuur gemakkelijk 55 °C kan bereiken. De kloof tussen piekprestaties en langdurige deterministische prestaties is hier duidelijk zichtbaar.

De DX-M1 levert 25 TOPS bij slechts 2–5 W. Hiermee is hij 20 keer zo efficiënt (FPS/W) als conventionele general purpose GPU’s (GPGPU’s), terwijl hij een gelijkwaardige AI-nauwkeurigheid behoudt.

Uit benchmarkgegevens van DEEPX blijkt dat de DX-M1 tijdens een YOLOv7v33 FPS workload (een van de objectdetectiemodellen die vaak wordt gebruikt om realtime beeldverwerkingsprestaties te testen) op een temperatuur van 61,9 °C bleef, terwijl een concurrerende chip onder dezelfde omstandigheden met 113,5 °C veel warmer werd.

In een vergelijking bij maximale belasting met YOLOv9C (een nieuwere en veeleisendere objectdetectietest) werkte de DX-M1 bij 75,4 °C en leverde daarbij 59 FPS, terwijl de concurrerende component 114,3 °C bereikte bij slechts 32 FPS. Al met al een prestatievoordeel van 84% terwijl de chip 38,9 °C koeler bleef.

Met een minder warmteproducerende chip is het gemakkelijker om binnen kritische drempelwaarden te blijven, wat zorgt voor voorspelbare prestaties, verminderen of zelfs achterwege laten van actieve koeling en maakt compactere en het realiseren van robuustere ontwerpen. Voor edge-AI verhogen ventilatoren, ventilatieopeningen en grotere thermische oplossingen de kosten, de complexiteit en het risico op storingen.

Nauwkeurigheid heeft impact op betrouwbaarheid

Om betrouwbare fysieke AI-interacties te garanderen, moet een AI-model zijn inferencenauwkeurigheid behouden onder realistische optimalisatieomstandigheden. Dit is vooral belangrijk in autonome of onbemande systemen. Edge-systemen hebben een lager stroomverbruik en een lagere latency nodig, maar kunnen dit niet bereiken door te veel van de mogelijkheden van het model weg te laten. In veel gevallen is de uitdaging om bruikbare AI-prestaties te behouden en tegelijkertijd binnen de beperkingen van de hardware te blijven.

DEEPX pakt dit aan met zijn IQ8-kwantisatietechnologie, die 32-bits floating point (FP32)-modellen omzet naar 8-bits integer (INT8)-modellen met bij een grote reeks veelgebruikte modellen minder dan 1% nauwkeurigheidsverlies. Uit benchmarktests bleek dat de IQ8-kwantisatie van DEEPX bij meerdere modeltypen een vrijwel gelijkwaardige nauwkeurigheid behield. Hierdoor kunnen energiezuinige edge-NPU’s deterministische efficiëntie leveren zonder in te boeten aan taaknauwkeurigheid. De prestaties in verschillende computervision-modellen:

• YOLOv5N_640 (‘lichtgewicht’ objectdetectie die is geoptimaliseerd voor weinig rekenkracht, minder RAM en minder energie ): 28,26% mAP op DEEPX IQ8 versus 28,08% mAP op een referentie-GPGPU.
• YOLOv8L_640 (objectdetectie met hoge capaciteit): 52,77% mAP op DEEPX IQ8 versus 52,75% mAP op een referentie-GPGPU.
• BiseNetV2_1024x2048 (realtime semantische segmentatie): 75,00% mAP op DEEPX IQ8 versus 74,95% mAP op een referentie-GPGPU.

Hardwarebetrouwbaarheid inbouwen in het datapad

Betrouwbare edge-AI wordt ook bepaald door hoe efficiënt gegevens door het systeem bewegen. Geheugenontwerp, datatransport, kwantisatie en post-processing zijn allemaal van invloed op de vraag of een edge-AI-platform in de praktijk inference met lage latency kan volhouden.

In de DX-M1-architectuur gebruikt DEEPX 6,75 MB compact on-chip SRAM verdeeld over drie NPU-kernen, naast lokaal LPDDR5-DRAM (Low-Power Double Data Rate 5) dat dicht bij de NPU is geplaatst. Dit maakt het mogelijk om grotere AI-modellen lokaal uit te voeren zonder de chipafmetingen onnodig te vergroten of inefficiënte gegevensoverdrachten te forceren.

Dat heeft op twee manieren een positief effect op de betrouwbaarheid. Ten eerste helpt een kleinere SRAM-footprint het chipoppervlak, de lekstroom en de warmteontwikkeling te verminderen, wat een stabielere werking op lange termijn ondersteunt. Ten tweede helpt lokaal DRAM om grotere modellen dicht bij de processor beschikbaar te houden. Uit tests van DEEPX is gebleken dat modellen zoals YOLOv7 (~36 MB) in het lokale geheugen kunnen blijven, waardoor de DX-M1 meer dan 100 FPS kan behouden, terwijl NPU-ontwerpen zonder DRAM onder de 25 FPS dalen wanneer een model de on-chip SRAM-capaciteit overschrijdt, waardoor externe weight swapping noodzakelijk wordt.

Ook post-processing is hierin van belang. Door hardwareversnelde post-processing op de chip uit te voeren, waarbij output-tensoren worden gefilterd en gereduceerd van 8 MB tot een payload van 128 KB, elimineert de DX-M1 onnodig busverkeer, waardoor latency jitter en thermische belasting bij langdurige werkbelasting verminderen.

Hier komen hardwarebetrouwbaarheid en realtimeprestaties samen. Als het datapad inefficiënt is, wordt de latency moeilijker te beheersen, stijgt de warmteontwikkeling en wordt het moeilijker om een langdurig hoog prestatieniveau te garanderen.

Prestaties per watt

Als operationele betrouwbaarheid afhangt van AI-systemen die binnen vaste grenzen langdurig moeten functioneren, wordt de factor prestaties per watt belangrijker dan pure piekrekenkracht.

De YOLOv7-benchmarkgegevens van DEEPX illustreren dit punt. In tests haalde de DX-M1 40 FPS/W, vergeleken met 20 FPS/W voor één concurrent, 23 FPS/W voor een andere en 2 FPS/W voor een traditionele, op GPGPU gebaseerde aanpak. Uit dezelfde vergelijking blijkt dat de DX-M1 gemiddeld op 2-3 W werkt, terwijl het op GPGPU gebaseerde systeem op ongeveer 40 W werkt.

Dit verschil is cruciaal binnen veel edge-toepassingen. Een processor van 40 W is misschien acceptabel in een werkstation- of datacenteromgeving, maar is moeilijker te rechtvaardigen in een slimme camera, een compacte industriële pc, een robot of een edge-box. Een hoger stroomverbruik kan PoE-budgetten overschrijden, de levensduur van de batterij verkorten, grotere voedingen vereisen en warmte genereren die vervolgens mechanisch moet worden afgevoerd

Uit de analyse van DEEPX blijkt dat de DX-M1, in vergelijking met traditionele, op GPGPU gebaseerde systemen, de elektriciteits- en koelingskosten over een periode van vijf jaar met ongeveer 94% kan verlagen. Het bedrijf stelt dat zelfs als concurrerende GPGPU-hardware gratis zou zijn, de exploitatiekosten van de DX-M1 de architectuur met lager stroomverbruik op de lange termijn nog steeds voordeliger zouden maken.

De KPI die ertoe doet, is duurzame intelligentie

DEEPX-technologie wordt toegepast door bedrijven zoals POSCO DX, het Robotics Lab van Hyundai-Kia Motor Company en LG U+ in slimme fabrieksbesturing, robotica, bewaking en smart city systemen, waar AI dicht bij het apparaat moet werken, binnen strikte grenzen op het gebied van stroomverbruik, warmteontwikkeling, latency en betrouwbaarheid.

Naarmate edge-AI de overstap maakt van experimentele fase naar daadwerkelijke implementatie, moeten de maatstaven voor het beoordelen van hardware verder worden verfijnd. TOPS en FPS blijven nuttig, maar ze geven geen indicatie of een systeem onder druk blijft functioneren. In de praktijk toegepaste AI-systemen moeten inference met lage latency volhouden, de nauwkeurigheid behouden, binnen thermische limieten blijven, het met de beschikbare stroombudget doen, onnodige afhankelijkheid van de cloud vermijden en op de lange termijn economisch blijven in het gebruik. Daarom wordt betrouwbaarheid de bepalende KPI voor edge-AI.

Dossiers

• 
  (Not) Safe for Designers?
• 
  PCB-ontwerp en productie
• 
  Wim van der Hoek Award