Óriási lehetőség, komoly kockázat

Az elmúlt években a nagy nyelvi modellek (például a ChatGPT) egyre természetesebb részei lettek a mindennapoknak. A következő lépés a mesterséges intelligencia térnyerésében az úgynevezett AI ügynökök elterjedése: olyan szoftverek, amelyek képesek adatokat gyűjteni a környezetből, és előre beállított célok érdekében önálló feladatokat végrehajtani. Ahhoz, hogy ez működjön, a rendszernek képesnek kell lennie függvények és API-k (interfészek) meghívására, illetve paraméterek kezelésére. Az OpenAI „cookbook”-ja erre egy könnyen követhető útmutatót nyújt, és ez az egyik legnépszerűbb leírás az oldalukon.

Az OpenAI cookbook két példáját tekintettük meg AI expertjeinkkel, mindkettőben azt láttuk, hogy egy AI ügynöknek elég megadni az adatbázis szerkezetét, és máris képes SQL-lekérdezéseket futtatni. A gond az, hogy nem csak „ártatlan” lekérdezéseket ír, hanem akár adatok törlésére vagy módosítására is képes lehet. Egy óvatlan fejlesztő tehát könnyen kockára teheti a teljes adatbázisát.

Nézzünk egy zenei példát a ChatCompletion API „tools” paraméterével: zenei kérdésekre válaszolt az AI SQL-lekérdezésekkel a Chinook adatbázisban. A teszteléskor a rendszer jól működött egyszerű kérésekre: például meg tudta mondani, melyik albumon van a legtöbb szám, vagy felsorolta a Nirvana albumait. És akkor hol a probléma? Minden biztonsági szakembernek ugyanaz jut eszébe: vajon mennyire biztonságos, ha többet is kérhetünk tőle?

Logikai támadások

A rendszer utasításaiban nem volt semmilyen korlátozás. Az egyetlen kitétel annyi volt, hogy a modell az adatbázis séma alapján írjon SQL-lekérdezést, és az eredményt szövegként adja vissza. De arra nem tért ki például, hogy tilos lenne az adatok módosítása. Ez azt jelenti, hogy ha valaki ügyesen fogalmaz, könnyedén ráveheti a modellt, hogy adatokat módosítson vagy töröljön. Például, ha a felhasználó azt kéri, hogy adjon hozzá egy új műfajt vagy írja át a leghosszabb szám nevét, az AI szintén sikeresen végrehajtotta.

Amikor pedig erőteljes logikai érvekkel „meggyőzték”, például hogy jogi panasz érkezett, ezért törölni kell egy előadó dalait minden lejátszási listáról, a modell létrehozott egy DELETE utasítást, amelyet az alkalmazás végre is hajtott.

Vagyis az AI asszisztens, mindenféle biztonsági kontroll nélkül, képes volt komoly adatvesztést okozni az adatbázisban.

Ha egy AI asszisztens funkcióhívási képességet kap, SQL-lekérdezéseket írhat és hajthat végre, vagy külső szolgáltatásokkal léphet kapcsolatba, az komoly biztonsági kockázatot jelenthet. Sok évbe telt, mire a fejlesztők megtanulták, hogy nem szabad nyers SQL-t futtatni, és megszokták az adatbeviteli ellenőrzéseket. Most pedig újra ugyanebbe a hibába eshetünk, ha az AI által generált parancsokat védtelenül engedjük lefutni. A bemutatott példa is azt mutatja, hogy az OpenAI hivatalos példái sem tartalmaznak megfelelő biztonsági mechanizmusokat.

Hogyan tovább?

A cookbook példái bonyolultabb lekérdezésekre amúgy sem alkalmasak, mert előfordul, hogy a modell több funkcióhívást generál, amit a kód nem kezel. Néha a modell felismeri a manipulációt, és elutasítja a lekérdezést, de ez „jailbreak” módszerekkel kijátszható.

A fent említett zenei probléma nemcsak elméleti. A magyar Nemzeti Kibervédelmi Intézet (NKI) is felhívta már a figyelmet arra, hogy a mesterséges intelligencia használata új típusú sérülékenységeket hozhat a szervezetek életébe, és különösen fontos az adatbiztonsági kontrollok szigorú betartása (forrás: NKI, 2023. szeptemberi kiberbiztonsági összefoglaló).

Magyarországon is egyre több cég használ AI-t ügyfélszolgálatain, a HR vagy éppen adatfeldolgozási területeken. Ha ezek az alkalmazások kontrollálatlanul hozzáférnek belső rendszerekhez, az akár üzletileg kritikus adatok elvesztéséhez is vezethet. Az AI ügynökök tehát óriási lehetőséget rejtenek, de csak akkor, ha biztonsági korlátokkal és emberi felügyelettel használjuk őket.