Hardver-szintű mesterséges látás: Így taníts meg egy 10 dolláros mikrokontrollert valós idejű tárgyfelismerésre az otthoni okosotthonod automatizálásához

Sokszor gondolkodtam már azon, hogy miért kellene egy drága, felhőalapú okoskamerára költenem a havi fizetésem egy részét, ha csak annyit szeretnék elérni, hogy az otthoni redőnyök leereszkedjenek, amikor meglátják a közeledő autóm. A Hardver-szintű mesterséges látás: Így taníts meg egy 10 dolláros mikrokontrollert valós idejű tárgyfelismerésre az otthoni okosotthonod automatizálásához című projekt éppen ezt a problémát oldja meg úgy, hogy közben nem kell bonyolult szervereket vagy előfizetéseket menedzselned. Egy apró, pár dolláros lapka és némi kódolás az egész, ami teljesen megváltoztatja a viszonyodat az okoseszközeiddel.

Miért a hardveres megközelítés a jövő?

A legtöbb okoskamera ma a felhőbe küldi a képet, ott elemzi valami távoli szerver, majd visszaküldi az utasítást, hogy kapcsolja fel a villanyt. Ez lassú, ráadásul adatvédelmi szempontból is aggályos. Amikor a mikrokontrollereden futtatod a mesterséges látást, minden információ helyben marad.

A mikrokontrollerek, mint például az ESP32-S3 vagy a hasonló, AI-gyorsítóval ellátott olcsó chipek, elképesztő teljesítményre képesek. Nem egy szupergépet építünk, hanem egy dedikált eszközt, ami csak egyetlen dolgot csinál, de azt nagyon jól. Egy adott tárgyat felismerni, vagy egy mozgástípust azonosítani, töredék másodperc alatt képes.

A hardveres alapcsomag

Nem kell drága laboratóriumi felszerelés. Néhány dolgot viszont be kell szerezned, hogy elindulhass. Ezek az alkatrészek ma már könnyen elérhetőek bármelyik hobbi elektronikai boltban.

• Egy ESP32-S3 alapú fejlesztőkártya, ami beépített AI utasításkészlettel rendelkezik.
• Egy kis felbontású OV2640 kamera modul, ami tökéletes tanulási célokra.
• Egy stabil, 5V-os tápegység vagy egy egyszerű USB power bank.
• Néhány jumper kábel a csatlakoztatáshoz.
• Egy számítógép, amire feltelepíted a fejlesztői környezetet.

A képzés folyamata és a szoftveres trükkök

Az egész varázslat a "modellképzésen" múlik. Nem kell mélytanulási szakértőnek lenned, mivel ma már léteznek olyan keretrendszerek, amelyek a böngésződben lehetővé teszik a saját tárgyaid felvételét.

A folyamat lényege az adatgyűjtés. Lefotózod az általad felismerni kívánt tárgyat több szögből, különböző fényviszonyok között. Ezeket a képeket feltöltöd egy adatbázisba, majd a rendszer elkészíti belőle a súlyozott modellt. Ezt a fájlt aztán rátöltöd a mikrokontrollerre, ami onnantól kezdve a beépített memóriájából dolgozik.

Néhány dolog, amire érdemes figyelni a gyakorlatban:

• A megfelelő fényviszonyok a legfontosabbak a megbízható felismeréshez.
• A háttér egyszerűsítése segít a modellnek a lényegre fókuszálni.
• A modell méretét úgy válaszd meg, hogy elférjen a mikrokontroller szűkös RAM-jában.
• Kerüld a túl sok kategória egyidejű felismerését, mert az lassíthatja az eszközt.

Integráció az okosotthonnal

Ha a mikrokontrollered már felismeri a tárgyakat, jöhet a szórakoztató rész. A vezérlőn futó kódnak csak egy egyszerű jelet kell küldenie a hálózaton keresztül. Ezt leggyakrabban MQTT protokollon keresztül szoktuk megoldani.

Az okosotthon központod (legyen az Home Assistant vagy egy saját fejlesztésű megoldás) figyeli az MQTT üzeneteket. Amikor az ESP32 elküldi, hogy "autó_érkezett", a központ végrehajtja a parancsot: kinyitja a garázst, felkapcsolja a kerti lámpákat, vagy csak küld egy értesítést a telefonodra.

Az ilyen jellegű automatizációban a legszebb az, hogy nincs késleltetés. Amikor a kamera észleli a tárgyat, a válasz szinte azonnali. Nem kell várnod a válaszra a felhőből.

Gyakori buktatók, amiket elkerülhetsz

Sok kezdő belefut abba a hibába, hogy túl bonyolult modellel próbálkozik. A 10 dolláros hardverek nem arra valók, hogy felismerjék, ki áll az ajtó előtt arcfelismeréssel. Arra viszont kiválóak, hogy különbséget tegyenek egy ember és egy macska között, vagy észleljék, ha a kávéfőző bekapcsolva maradt.

A fejlesztés során gyakran előforduló nehézségek:

• A nem megfelelő tápellátás miatt fellépő véletlenszerű újraindulások.
• A túl nagy felbontású képek, amik felemésztik a mikrokontroller erőforrásait.
• A nem eléggé változatos tanító adatkészlet, ami hamis felismerésekhez vezet.
• Az antenna rossz pozicionálása, ami gyenge Wi-Fi kapcsolatot eredményez.

Személyes tapasztalatok a mindennapokban

Én magam egy régi asztali lámpát alakítottam át ezzel a módszerrel. A mikrokontroller felismeri, ha leülök az asztalhoz egy könyvvel, és automatikusan bekapcsolja a megfelelő fényerőt. Ha felállok, magától lekapcsolja.

Nincs szükség extra érzékelőkre, mozgáskapcsolókra vagy távirányítókra. A rendszer egyszerűen látja, hogy éppen mit csinálok, és ehhez igazodik. Az ilyen apró, de jól működő fejlesztések adják meg azt az igazi, kényelmes érzést, amit egy jól beállított okosotthon nyújthat.

Ha belevágsz, ne ijedj meg, ha az első próbálkozások nem hozzák a várt eredményt. A mesterséges látásnál a siker kulcsa a folyamatos finomhangolás. Egy kis türelemmel és kísérletezéssel pillanatok alatt olyan szintű automatizációt érhetsz el, amiért mások vagyonokat fizetnek a nagy gyártóknak. Az elégedettség, amit akkor érzel, amikor az első saját kódodra történik meg az akció, pedig igazán megfizethetetlen.