MI beágyazott rendszerekben: Miért változtat meg mindent?

A mesterséges intelligencia régen nagy szervereken és felhőalapú GPU-kon működött. Most zsugorodik és közvetlenül az érzékelők mellé csúszik. A beágyazott rendszerekben használt mesterséges intelligencia nem egy távoli ígéret – már zümmög hűtőszekrényekben, drónokban, viselhető eszközökben... még olyan eszközökben is, amelyek egyáltalán nem tűnnek „okosnak”.

Íme, miért fontos ez a váltás, mi teszi nehézzé, és mely lehetőségek érik meg az idődet.

Cikkek, amiket esetleg ezután érdemes elolvasnod:

🔗 A legjobb mesterséges intelligencia irányítási eszközök, amelyek biztosítják az etikus és átlátható mesterséges intelligencia rendszereket
Útmutató az etikus, megfelelő és átlátható mesterséges intelligencia fenntartását segítő eszközökhöz.

🔗 Objektumtárolás mesterséges intelligenciához: választási lehetőségek, választási lehetőségek, választási lehetőségek
Az AI-alapú számítási feladatokhoz igazított objektumtárolási lehetőségek összehasonlítása.

🔗 Adattárolási követelmények a mesterséges intelligenciához: amit igazán tudnia kell
A mesterséges intelligencia adattárolásának tervezésekor figyelembe veendő főbb tényezők.

Mesterséges intelligencia beágyazott rendszerekhez🌱

A beágyazott eszközök aprók, gyakran akkumulátorral működnek és erőforrás-korlátosak. A mesterséges intelligencia mégis nagy előnyöket kínál:

• Valós idejű döntések felhőalapú adatforgalom nélkül.

• Beépített adatvédelem – a nyers adatok az eszközön maradhatnak.

• Alacsonyabb késleltetés , amikor az ezredmásodpercek számítanak.

• Energiatudatos következtetés gondos modell- és hardverválasztáson keresztül.

Ezek nem kézenfekvő előnyök: a számítási folyamatok peremhálózatra helyezése csökkenti a hálózati függőséget és számos felhasználási esetben erősíti az adatvédelmet [1].

A trükk nem a nyers erőben rejlik, hanem abban, hogy okosan bánjunk a korlátozott erőforrásokkal. Képzeljünk el egy maratont egy hátizsákkal... és a mérnökök csak eltávolítják a téglákat.

Beágyazott rendszerek mesterséges intelligenciájának gyors összehasonlító táblázata 📝

(Igen, egyenetlen. Ahogy a valóság is.)

Miért fontos a mesterséges intelligencia a beágyazott eszközökön az ipar számára 🏭

Nem csak felhajtás: a gyártósorokon a kompakt modellek hibákat észlelnek; a mezőgazdaságban az alacsony fogyasztású csomópontok elemzik a talajt a szántóföldön; a járművekben a biztonsági funkciók nem tudnak „hazatelefonálni” fékezés előtt. Amikor a késleltetés és az adatvédelem nem képezheti vita tárgyát , a számítástechnika peremhálózatra helyezése stratégiai eszköz [1].

TinyML: A beágyazott mesterséges intelligencia csendes hőse 🐜

A TinyML mikrokontrollereken futtat modelleket, kilobájttól néhány megabájt RAM-ig - mégis képes kulcsszófelismerésre, gesztusfelismerésre, anomáliaészlelésre és egyebekre. Olyan, mintha egy egér felemelne egy téglát. Furcsa módon kielégítő.

Egy gyors mentális modell:

• Adatlábnyomok : kicsi, folyamatos érzékelőbemenetek.

• Modellek : kompakt CNN-ek/RNN-ek, klasszikus gépi tanulás (ML), vagy ritka/kvantált hálózatok.

• Költségvetés : milliwatt, nem watt; KB–MB, nem GB.

Hardverválasztás: Költség vs. Teljesítmény ⚔️

A hardver kiválasztása az, ahol sok projekt megbénul:

• Raspberry Pi osztály : felhasználóbarát, általános célú CPU; prototípusokhoz megbízható.

• NVIDIA Jetson : célzottan épített peremhálózati mesterséges intelligencia modulok (pl. Orin), amelyek több tíz vagy akár több száz TOPS-t is sűrű látás vagy többmodelles rendszerek számára – nagyszerűek, de drágábbak és nagyobb teljesítményt igényelnek [4].

• Google Coral (Edge TPU) : egy ASIC gyorsító, amely ~4 TOPS-ot biztosít körülbelül 2 W teljesítménnyel (~2 TOPS/W) kvantált modellek esetén - fantasztikus perf/W, ha a modell illeszkedik a korlátozásokhoz [3].

• Okostelefon SoC-k (Snapdragon) : NPU-kkal és SDK-kkal kerülnek forgalomba a modellek hatékony eszközön történő futtatásához.

Ökölszabály: egyensúlyozd a költségeket, a hőmérsékleteket és a számítási teljesítményt. Az „elég jó, mindenhol” gyakran jobb, mint az „élvonalbeli, sehol”.

Gyakori kihívások a beágyazott rendszerek mesterséges intelligenciájában 🤯

A mérnökök rendszeresen küzdenek a következőkkel:

• Szűkös memória : az apró eszközök nem tudnak óriási modelleket tárolni.

• Akkumulátorköltségek : minden milliamper számít.

• Modelloptimalizálás:

  • Kvantálás → kisebb, gyorsabb int8/float16 súlyozás/aktiválás.

  • Metszés → jelentéktelen súlyok eltávolítása a ritkosság érdekében.

  • Klaszterezés/súlymegosztás → további tömörítés.
    Ezek az eszközön belüli hatékonyság növelésének standard technikái [2].

• Felskálázás : egy tantermi Arduino bemutató ≠ egy autóipari gyártórendszer biztonsági, védelmi és életciklus-korlátokkal.

Hibakeresés? Képzelj el egy könyvet, amit kulcslyukon keresztül olvasol... kesztyűben.

Gyakorlati alkalmazások, amelyekről hamarosan többet is látni fog 🚀

• Okos viselhető eszközök, amelyek egészségügyi információkat nyújtanak az eszközökön.

• Az IoT-kamerák nyers felvételek streamelése nélkül jelzik az eseményeket.

• Offline hangasszisztensek a kézhasználat nélküli vezérléshez - nincs felhőfüggőség.

• Autonóm drónok ellenőrzéshez, kézbesítéshez és precíziós mezőgazdasághoz.

Röviden: a mesterséges intelligencia szó szerint egyre közelebb kerül – a csuklónkra, a konyháinkba és az infrastruktúránkra.

Hogyan kezdhetnek hozzá a fejlesztők 🛠️

1. Szélesebb körű eszközhasználat és MCU→mobil lefedettség érdekében kezdjünk a TensorFlow Lite-tal

2. Fedezd fel az ExecuTorch-ot , ha PyTorch környezetben élsz, és egy hatékony, eszközön futó futtatókörnyezetre van szükséged mobil és beágyazott rendszereken keresztül [5].

3. Próbáld ki az Arduino + TinyML készleteket a gyors és élvezetes prototípuskészítéshez.

4. Inkább a vizuális folyamatokat részesíti előnyben? Az Edge Impulse csökkenti a korlátokat az adatgyűjtés, a betanítás és a telepítés terén.

5. Első osztályú hardverként kezeld – prototípust készíts CPU-kon, majd validáld a célgyorsítódon (Edge TPU, Jetson, NPU) a késleltetés, a hőmérséklet és a pontossági delták megerősítéséhez.

Mini-vignettálás: Egy csapat egy gombelemes érzékelőn elhelyezett rezgésanomália-detektort szállít. A float32 modell nem éri el az energiaköltségvetést; az int8 kvantálás csökkenti az egy következtetésre jutó energiát, a metszés csökkenti a memóriát, és az MCU kitöltési ciklusa befejezi a munkát - nincs szükség hálózatra [2,3].

A mesterséges intelligencia csendes forradalma a beágyazott rendszerekben 🌍

A kicsi, olcsó processzorok megtanulják érzékelni → gondolkodni → cselekedni – lokálisan. Az akkumulátor-üzemidő kérdése mindig is kísérteni fog minket, de a cél egyértelmű: pontosabb modellek, jobb fordítóprogramok, intelligensebb gyorsítók. Az eredmény? Olyan technológia, amely személyesebbnek és érzékenyebbnek érződik, mert nem csak csatlakoztatva van – hanem figyel is.

Referenciák

[1] ETSI (Többszörös hozzáférésű peremhálózati számítástechnika) - Késleltetési/adatvédelmi előnyök és iparági kontextus.
ETSI MEC: Új tanulmány áttekintése

[2] Google TensorFlow Model Optimization Toolkit - Kvantálás, metszés, klaszterezés az eszközön belüli hatékonyság érdekében.
TensorFlow Model Optimization Guide

[3] Google Coral Edge TPU - Teljesítmény/Gyorsulás referenciaértékek élgyorsításhoz.
Edge TPU Benchmarkok

[4] NVIDIA Jetson Orin (hivatalos) - Edge AI modulok és teljesítmény-burokfejtések.
A Jetson Orin modulok áttekintése

[5] PyTorch ExecuTorch (Hivatalos dokumentáció) - Eszközön belüli PyTorch futtatókörnyezet mobil és peremhálózati eszközökhöz.
ExecuTorch áttekintése

Találd meg a legújabb mesterséges intelligenciát a hivatalos AI Assistant áruházban

Rólunk