Het volledige potentieel van computer vision dicht bij de bron

In het snel evoluerende veld van kunstmatige intelligentie onderscheidt Computer Vision zich als een transformatieve technologie met het potentieel om een revolutie teweeg te brengen in verschillende industrieën. Dit artikel verduidelijkt verschillende aspecten van het potentieel van Computer Vision, waarbij de nadruk ligt op de voordelen en uitdagingen van het verwerken van gegevens dicht bij de bron. Om diepere inzichten te krijgen, deelt Torsten Reidt, AI Engineer van het Cactai-team, zijn expertise over dit onderwerp.

Een van de belangrijkste trends in de ontwikkeling van kunstmatige intelligentie (AI) van de afgelopen jaren kan worden samengevat als “hoe groter, hoe beter”. Modellen namen in omvang toe (aantal parameters) vanwege de beschikbaarheid van enorme hoeveelheden gegevens, de ontwikkeling van gespecialiseerde hardware zoals GPU’s en TPU’s en de beschikbaarheid van computerbronnen. Onlangs hebben we een andere, zeer interessante trend waargenomen: kleinere modellen die minder rekenkracht vereisen, maken gevolgtrekkingen ‘aan de rand’ mogelijk.

In deze blog wordt uitgelegd wat dit betekent als het wordt toegepast op computer vision. Ook geven we kort de verschillen weer tussen AI in de cloud en AI aan de edge. Om ons geheugen op te frissen: computer vision is een subgebied van machinaal leren (ML) dat zich richt op het interpreteren en begrijpen van informatie uit beeldgegevens, zoals het detecteren van een auto in een beeld dat is gemaakt door een verkeersbewakingscamera.

Training of gevolgtrekking

Opleiding en gevolgtrekking zijn twee kritieke fasen in de levenscyclus van een AI-model. De keuze waar deze fasen moeten worden uitgevoerd (in de cloud of aan de rand) hangt af van verschillende factoren, zoals computervereisten, gegevensprivacy, latentiebehoeften en infrastructuurkosten. Terwijl Opleiding(het invoeren van grote hoeveelheden gegevens in een machine learning-model en het aanpassen van de modelparameters om de nauwkeurigheid ervan te verbeteren) is rekenintensief en vereist aanzienlijke verwerkingskracht, geheugen en opslag. Daarom gebeurt het vaak in de cloud.

Gevolgtrekking is de fase waarin het getrainde model voorspellingen of beslissingen doet op basis van nieuwe gegevens. Deze fase vergt minder middelen dan training, maar vereist nog steeds een efficiënte verwerking. In dit geval is Edge AI een plausibele optie om een groot aantal applicaties mogelijk te maken.

AI aan de rand versus AI aan de cloud

In algemene termen verwijzen ‘cloud’ en ‘at the edge’ of ‘Edge AI’ naar waar de AI-modellen worden ingezet en uitgevoerd. Een voorbeeld van een edge-apparaat is een industriële inspectiecamera. Deze camera’s detecteren doorgaans specifieke kenmerken in producten en verwerken de visuele gegevens in realtime om snelle besluitvorming in een productieomgeving mogelijk te maken.

Edge AI heeft vaak de voorkeur voor toepassingen die onmiddellijke reacties vereisen, terwijl cloud AI geschikt is voor minder tijdgevoelige taken. Bovendien is Edge AI voordelig bij het verwerken van gevoelige gegevens, omdat gegevens lokaal blijven.

Nu we de term “aan de rand” hebben verduidelijkt, vergelijken we AI aan de rand met AI in de cloud voor enkele kenmerken om het idee van “aan de rand” nog verder te destilleren:

Kenmerken	Aan de rand	Cloud-implementatie
Verwerking	Realtime verwerking op lokale apparaten	Gecentraliseerde verwerking in clouddatacenters
Latentie	Milliseconden tot seconden	Seconden tot minuten (afhankelijk van netwerkconnectiviteit)
Bandbreedte	Minimale gegevensoverdracht vereist	Grote hoeveelheden gegevens die naar de cloud worden verzonden
Stroomverbruik	Geoptimaliseerd voor een laag stroomverbruik	Hoog stroomverbruik in clouddatacenters
Beveiliging / Privacy	Gegevens worden lokaal verwerkt, waardoor het risico op datalekken wordt verminderd	Gegevens die naar de cloud worden verzonden, vergroten het risico op datalekken
Onderhoud	Onderhoud en updates op apparaatniveau vereist	Gecentraliseerd onderhoud en updates in de cloud
Offline mogelijkheden	Kan offline of met intermitterende connectiviteit werken	Vereist een constante internetverbinding

AI aan de edge met AI in de cloudvergelijking

Voor- en nadelen van AI aan de rand

Wat zijn de redenen om een vision AI systeem aan de edge in te zetten en welke beperkingen of uitdagingen kun je daarbij tegenkomen? We hebben de verschillen tussen AI aan de rand en AI in de cloud al gezien. Laten we enkele voordelen van AI aan de rand benadrukken:

Realtime verwerking: Door de beeldgegevens dichter bij de ziel te verwerkenHierdoor worden de datatransmissietijden verkort, waardoor de algehele latentie afneemt.
Verhoogde autonomie: Apparaten met AI systemen kunnen onafhankelijk werken, zelfs als er geen netwerkverbinding is, waardoor ze geschikt zijn voor externe of offline toepassingen.

Het doen van gevolgtrekkingen aan de rand brengt aan de andere kant bepaalde uitdagingen met zich mee:

Beperkte computerbronnen: Edge-apparaten hebben doorgaans beperkte computerbronnen, wat de modelselectie beperkt.
Onderhoud en updates: Edge-apparaten kunnen moeilijk te onderhouden en te updaten zijn, vooral als ze op afgelegen of moeilijk bereikbare locaties worden ingezet.

Beschikbare modellen en raamwerken voor vision-AI-systemen aan de rand

Realtime verwerking: Door de beeldgegevens dichter bij de bron te verwerken, worden de gegevensoverdrachttijden verkort, waardoor de algehele latentie afneemt.
Verhoogde autonomie: Apparaten met AI systemen kunnen onafhankelijk werken, zelfs als er geen netwerkverbinding is, waardoor ze geschikt zijn voor externe of offline toepassingen.

Het doen van gevolgtrekkingen aan de rand brengt aan de andere kant bepaalde uitdagingen met zich mee:

Beperkte computerbronnen: Edge-apparaten hebben doorgaans beperkte computerbronnen, wat de modelselectie beperkt.
Onderhoud en updates: Edge-apparaten kunnen moeilijk te onderhouden en te updaten zijn, vooral als ze op afgelegen of moeilijk bereikbare locaties worden ingezet.

Beschikbare modellen en raamwerken voor vision-AI-systemen aan de rand

Voordat we kijken naar de beschikbare hardware, willen we ons concentreren op enkele softwareopties. De belangrijkste focus ligt hier op het gebruik van software of AI-modellen die zijn geoptimaliseerd voor minder rekenkracht, minder energieverbruik of verminderde geheugenbeschikbaarheid. Wat de modellen betreft, willen we enkele populaire keuzes noemen:

YOLO (Je kijkt maar één keer) is verkrijgbaar in verschillende maten. Hierdoor kunt u eenvoudig het model kiezen dat is afgestemd op de beschikbare hardware
MobielNet, afgestemd op gebruik op hardware met beperkte computerbronnen.
ShuffleNet, ontworpen voor mobiele apparaten.
KnijpNet, gestroomlijnd model en zeer licht van gewicht.

Kaders:

PyTorch Mobiel, training en implementatie voor mobiele apparaten iOS en Android.
TensorFlowLite, een lichtgewicht versie van TensorFlow, is geoptimaliseerd voor edge-apparaten.
OpenVino, voor optimalisatie en implementatie van deep learning-modellen op verschillende hardware.
OpenCV, Een veelgebruikte computervisiebibliotheek die veel functionaliteiten biedt voor beeld- en videoverwerking.

Beschikbare hardware voor vision-AI-systemen aan de rand

Met hardware bedoelen we componenten die nodig zijn voor de inzet en het gebruik van de AI-modellen. Andere noodzakelijke apparaten, zoals gegevensopslag of connectiviteitsmodellen, worden in het volgende apparaatoverzicht buiten beschouwing gelaten.

NVIDIA Jetson-modules. Een reeks modules die hoge prestaties en een laag stroomverbruik bieden.
ASUS Tinker Edge T welke gebruikt Google Koraal modules.
Fundamentele ontwikkelaarskits van Intel
Framboos PI, waarschijnlijk een van de populairste apparaten voor geavanceerde toepassingen

Naast de bovengenoemde hardware maakt de toenemende rekencapaciteit van moderne smartphones het mogelijk om AI-modellen rechtstreeks op deze apparaten te implementeren. Smartphones die AI op apparaten kunnen gebruiken, zijn onder meer de iPhone 15 Pro of de iPad Pro. De meeste topsmartphones van grote fabrikanten kunnen AI-modellen op het apparaat implementeren. Bekijk ons gerelateerde artikel over AI op mobiele apparaten!

Andere belangrijke componenten

Technologieën zoals CMOS-camera’s hebben maakte Computer Vision aan de rand mogelijk in verschillende toepassingen. CMOS-camera’s (Complementary Metal-Oxide-Semiconductor) zijn een veel voorkomend type digitale beeldtechnologie, die veel wordt gebruikt in apparaten variërend van smartphones tot industriële machine vision-systemen. Het kernonderdeel van deze camera’s is de CMOS-sensor, die licht omzet in elektrische signalen om digitale beelden te creëren. Deze camera’s bieden:

Laag stroomverbruik: CMOS-sensoren gebruiken minder stroom vergelekengekoppeld aan andere sensoren, waardoor ze geschikt zijn voor apparaten op batterijen.
Kosteneffectief: De productie van CMOS-sensoren is goedkoper vanwege de integratie van extra circuits op dezelfde chip (bijvoorbeeld versterkers, analoog-naar-digitaal-converters), waardoor de totale productiekosten worden verlaagd.
Snelle werking: Deze sensoren kunnen gegevens met hoge snelheden uitlezen, wat gunstig is voor toepassingen die een snelle beeldopname en -verwerking vereisen.
Dynamisch bereik en gevoeligheid: Vooruitgang in de CMOS-technologie heeft hun dynamisch bereik en gevoeligheid verbeterd, waardoor ze geschikt zijn voor een breder scala aan lichtomstandigheden.

Conclusie

Computervisie en AI aan de rand bieden meerdere voordelen en worden een belangrijk kenmerk voor verschillende toepassingen. De verminderde latentie bij het nemen van beslissingen, verbeterde privacy door het vermijden van informatie-uitwisseling via meerdere netwerken en de lagere vereiste bandbreedte zijn belangrijke kenmerken voor verschillende toepassingen:

Autonome voertuigen: Edge computing maakt real-time verwerking van visuele gegevens van camera’s en sensoren in autonome auto’s mogelijk, waardoor snellere besluitvorming mogelijk wordt en de veiligheid wordt verbeterd.
Slimme bewaking: Edge-gebaseerde computervisiesystemen kunnen videofeeds lokaal analyseren, verdachte activiteiten detecteren en autoriteiten waarschuwen zonder dat er voortdurend gegevens naar een centrale server moeten worden gestreamd.
Industriële automatisering: In de productie kunnen edge-apparaten die zijn uitgerust met computervisie producten inspecteren, defecten identificeren en kwaliteitscontrole in realtime garanderen, waardoor de efficiëntie wordt verbeterd en de uitvaltijd wordt verminderd.
Detailhandelanalyse: Edge computing kan in winkelomgevingen worden gebruikt om het gedrag van klanten te monitoren, de voorraad te beheren en de winkelindeling te optimaliseren door gegevens van camera’s en sensoren in de winkel te verwerken.
Landbouw: In de precisielandbouw kunnen edge-apparaten beelden van drones of op de grond gebaseerde sensoren analyseren om de gezondheid van gewassen te monitoren, ongedierte te detecteren en het gebruik van hulpbronnen te optimaliseren.
Slimme gebouwen: Edge computing kan gebouwbeheersystemen verbeteren door gegevens van camera’s en sensoren in realtime te verwerken om de bezetting te monitoren, het energieverbruik te optimaliseren, de beveiliging te verbeteren en HVAC-systemen (verwarming, ventilatie, airconditioning) efficiënt te beheren. Edge-apparaten kunnen bijvoorbeeld onbezette kamers detecteren en de verlichtings- en temperatuurinstellingen aanpassen om energie te besparen.

Benieuwd naar de laatste AI trends? Volg dit koppeling om meer fascinerende artikelen op onze blog te ontdekken. Bij Cactus blinken we uit in al deze mogelijkheden en staan we klaar om aan uw behoeften te voldoen!

Door Torsten Reidt, AI Ingenieur van het Cactai-team! 🌵