Kým verejná debata sa často sústreďuje na rast produktivity, automatizáciu a inovácie, organizácie by si mali klásť aj oveľa zásadnejšiu otázku: čo sa stane, ak začneme AI systémom dôverovať rýchlejšie, než im dokážeme porozumieť?
Roky počúvame, že generatívnu umelú inteligenciu máme vnímať ako neúnavného juniorného kolegu. Je vždy k dispozícii, nikdy jej nedochádza trpezlivosť, neustále sa zlepšuje a časom sa stane ešte spoľahlivejšou, keď sa s ňou naučíme efektívne pracovať.
Je to príťažlivá predstava, zároveň však nebezpečne mylná.
Okolo generatívnych AI asistentov sa postupne vytvára nový mýtus: čím viac ich používame, tým lepšie fungujú. Čím viac pokynov im dávame, tým sú spoľahlivejšie. A čím hlbšie ich začleníme do našej práce, tým viac im môžeme dôverovať. Znie to presvedčivo. Problém je, že pravda je oveľa zložitejšia.
Pri ľudskom asistentovi sa dôvera spravidla buduje skúsenosťou. Postupne spoznávate spôsob jeho uvažovania, jeho silné stránky, oblasti, v ktorých potrebuje viac usmernenia, či situácie, v ktorých môže zlyhať. Vzniká spoločný kontext. On sa učí vaše štandardy a očakávania, vy sa učíte odhadovať jeho úsudok. Spoľahlivosť sa stáva výsledkom dlhodobo overenej skúsenosti.
Pri generatívnej AI sa však môže diať presný opak.
Prvý dojem býva často výborný. Odpovede sú plynulé, texty dobre štruktúrované a tón sebavedomý. Výsledok pôsobí komplexne, vyvážene a pripravený na okamžité použitie. Práve v tom však tkvie problém.
Generatívna AI je mimoriadne dobrá v vytváraní dojmu kompetentnosti. Lenže dojem nie je dôkaz. Plynulosť neznamená presnosť. Sebavedomie nie je prejavom úsudku. A kvalitný výstup dnes ešte nie je zárukou kvalitného výstupu zajtra.
Autor článku
Alexander Zagnetko
KPMG Global AI Initiative Coordinator
Asistent, ktorý sa zmení, kým spíte
Ľudský asistent sa môže rozvíjať, učiť a prispôsobovať. Len málokedy sa však stane, že v pondelok ráno príde do práce s úplne novým spôsobom fungovania, novými pravidlami, odlišnými prioritami a iným výkladom vašich predchádzajúcich pokynov. Pri generatívnych AI nástrojoch je to však možné.
Populárny firemný naratív hovorí, že AI asistenti sa budú vyvíjať podobne ako kolegovia. Stačí ich trénovať, zdokonaľovať zadania, začleniť ich do procesov a časom sa z nich stanú spoľahliví digitálni spolupracovníci. Pri bližšom pohľade sa však toto prirovnanie rozpadáva.
Modely sa aktualizujú. Menia sa systémové inštrukcie. Upravujú sa vrstvy modelu, mechanizmy vyhľadávania aj spôsob spracovania dát. Nové datasety sa analyzujú, filtrujú, komprimujú a vážia spôsobmi, ktoré používateľ nedokáže reálne skontrolovať. Menia sa podnikové konfigurácie. Dodávatelia vydávajú nové verzie. Vývojári optimalizujú modely na výkon, rýchlosť, bezpečnosť, náklady alebo požiadavky regulátorov, často bez toho, aby používateľ presne vedel, aké dôsledky to bude mať.
Používateľ pritom stále vidí to isté okno chatu. Nástroj za ním však už nemusí byť ten istý. A práve tu vzniká vážny problém z pohľadu riadenia a správy AI.
Firmy dnes budujú knižnice promptov, AI workflowy, interných agentov, „vibe-coded“ ekosystémy či poloautomatizované procesy na základe toho, ako sa dnes model dnes. Ak sa však model zajtra zmení, starostlivo vyladený proces môže začať produkovať menej presné výsledky, byť príliš opatrný, nedostatočne podložený alebo jednoducho nesprávny.
V tradičnom softvéri existuje disciplína nazývaná regresné testovanie. Pri generatívnej AI môže zmena verzie pripomínať situáciu, keď sa váš dôveryhodný asistent „vráti po víkende“ s novou osobnosťou, odlišnými inštinktmi a bez akejkoľvek povinnosti vysvetliť, čo sa zmenilo.
Ide pritom o jedno z najmenej diskutovaných rizík nasadzovania AI v podnikoch.
Organizácia môže v apríli úspešne otestovať nový prípad použitia, v júni ho rozšíriť do praxe a v septembri zistiť, že tie isté prompty už vedú k odlišným predpokladom, definíciám, odporúčaniam či klasifikácii rizík. Nie preto, že sa zmenila firma. Nie preto, že sa zmenil používateľ. Ale preto, že sa zmenil model. Čierna skrinka sa nepokazila – vyvíjala sa.
Čierna skrinka, ktorá sa na vás usmieva
Problém nespočíva len v tom, že generatívna AI funguje na pravdepodobnostných princípoch. Nie je ani len otázkou toho, že tieto systémy do určitej miery pripomínajú známy myšlienkový experiment „Čínska izba“ – teda schopnosť produkovať presvedčivý jazyk bez porozumenia jeho významu. Skutočný problém je však praktický.
Postupne si vytvárame profesionálnu závislosť od systémov, ktorých vnútorné uvažovanie nedokážeme spoľahlivo preskúmať, ktorých správanie sa môže časom meniť a ktorých odpovede môžu pôsobiť presvedčivo aj vtedy, keď sú nesprávne.
To je dôležité preto, že väčšina zlyhaní v znalostnej práci prichádza potichu.
- chybný predpoklad v analýze trhu,
- prehliadnutý právny detail v zhrnutí pravidiel,
- vymyslený zdroj v analytickom podklade,
- nenápadné skreslenie v hodnotení rizík,
- sebavedomé, no zastarané vysvetlenie regulácie,
- „rozumné“ odporúčanie vychádzajúce z neúplného kontextu.
Takéto chyby často nevyzerajú ako chyby, ale ako dobre odvedená práca. A práve preto nie je generatívna AI len nástrojom na zvyšovanie produktivity. Stáva sa strojom na vytváranie dôveryhodnosti. Produkuje obsah s tónom, štruktúrou a uhladenosťou autority, bez ohľadu na to, či si takúto autoritu skutočne zaslúži.
Otázka spoľahlivosti je však len časťou príbehu. Rovnako dôležité je zamyslieť sa nad tým, čo sa stane, keď sa tieto systémy stanú čoraz osobnejšími, presvedčivejšími a hlbšie zakorenenými v spôsobe, akým si vytvárame názory, prijímame rozhodnutia a spracúvame informácie. V druhom článku tejto série sa pozrieme na to, ako môže AI meniť nielen kvalitu odpovedí, ktoré dostávame, ale aj spôsob, akým premýšľame, hodnotíme realitu a vytvárame si vlastný úsudok.
Kontaktujte našich odborníkov
Ak si želáte viac informácií o tom, ako môžeme pomôcť vášmu podniku, prípadne ak si chcete dohodnúť stretnutie, kontaktujte nás.
