Aizliegtās MI sistēmas. Emociju izsecināšana

Raksta līdzautore: Katrīna Kļava, Jurista palīdze, KPMG Law Latvijā

Mākslīgā intelekta akts nosaka, ka ir aizliegta tādu mākslīgā intelekta sistēmu laišana tirgū, nodošana ekspluatācijā vai lietošana, kas veic fizisku personu emociju izsecināšanu darbavietā vai izglītības iestādē. Ko šādas sistēmas ietver?

Mākslīgā intelekta akta (MI akts) jeb regulas 2024/1689, ar ko nosaka saskaņotas normas mākslīgā intelekta (MI) jomā, 5.pantā noteikts, ka ir aizliegta MI sistēmu laišana tirgū, nodošana ekspluatācijā šim konkrētajam mērķim vai lietošana fiziskas personas emociju izsecināšanai darbavietā vai izglītības iestādēs. Izņēmums pieļaujams gadījumos, kad MI sistēmas paredzēts ieviest vai laist tirgū medicīnisku vai drošības iemeslu dēļ.

Emociju atpazīšanas sistēmas nav jaunums. 2019.gadā uzņēmums “Amazon” veica sava pakalpojuma “Amazon Rekognition” uzlabojumus, kas ļāva analizēt fotoattēlus un video, lai identificētu astoņas emocijas. Savukārt Ķīnas uzņēmums “Taigusys” 2021.gadā izstrādāja īpašu emociju atpazīšanas sistēmu, kas var noteikt personu sejas izteiksmes un izveidot ziņojumus par katru personu. Šo sistēmu plānoja izmantot arī Ķīnas ieslodzījuma vietās un īslaicīgās aizturēšanas vietās. Tātad, lai gan šādi tehniskie risinājumi pastāv un tiek attīstīti vairākās jurisdikcijās, tomēr tieši MI akts pirmo reizi Eiropas Savienībā skaidri nosaka aizliegumu laist tirgū un lietot konkrēta veida tehnoloģiju.

Emociju izsecināšana var būtiski ietekmēt personas autonomiju un privātumu. Proti, emociju izsecināšanas sistēmu izmantošana nozīmē iejaukšanos personas privātajā emocionālajā pasaulē.

Kad piemēro aizliegumu?

Lai aizliegums tiktu piemērots, jāizpildās vairākiem kritērijiem. Piemēram, MI akta 5.panta 1.daļas f) punktā paredzētais aizliegums neattiecas uz visām emociju atpazīšanas sistēmām, bet gan tikai uz MI sistēmām, kas izsecina fizisku personu emocijas.

Lai noskaidrotu, vai attiecīgajā gadījumā tiktu piemērots aizliegums, jāizpildās šādiem nosacījumiem:

• sistēma tiek laista tirgū, nodota ekspluatācijā vai tiek lietota;
• sistēma izsecina fizisku personu emocijas;
• emociju izsecināšana notiek darbavietā vai izglītības iestādē;
• sistēma nav paredzēta medicīnas vai drošības nolūkiem.

Pirmais no minētajiem priekšnoteikumiem nosaka MI akta vispārējo piemērojamību, proti, regulējums attiecas uz MI sistēmu nodrošinātājiem un produktu ražotājiem, kas laiž tirgū vai nodod ekspluatācijā MI sistēmas.

Šis kritērijs attiecas uz visām aizliegtajām MI sistēmām, ne tikai uz fizisku personu emociju izsecināšanas sistēmām. Tāpēc šajā publikācijā tas netiks detalizēti apskatīts  – uzmanība tiks pievērsta tieši specifiskajiem kritērijiem, kas attiecas uz emociju izsecināšanu darbavietā un izglītības iestādēs.

Emociju izsecināšana

Emociju izsecināšanas sistēmu darbība balstās uz trim posmiem:

• datu ieguve no avota (teksta, audio, video vai biometriskiem datiem);
• būtisko pazīmju identificēšana, piemēram, uzacu stāvoklis vai balss tembrs;
• šo pazīmju salīdzināšana ar datiem, kuros līdzīgas pazīmes jau iepriekš sasaistītas ar konkrētām emocijām.

Rezultātā sistēma, izmantojot atpazīšanas algoritmus, ģenerē secinājumu par personas iespējamo emocionālo stāvokli.

Emociju izsecināšana ir spēja precīzi secināt personas emocijas no vairākiem avotiem, piemēram, anketām, fiziskiem vai fizioloģiskiem signāliem. Tas attiecas uz sistēmām, kas no personas biometrijas datiem secina personas emocijas vai nodomus. Tātad vienkārši nosakot personas sejas izteiksmes (piemēram, vai persona smaida vai ir saraukusi pieri), kā arī žestus un balss īpašības, aizlieguma otrais kritērijs netiek izpildīts. Savukārt, ja sistēma no šīm pazīmēm secina, ka persona ir, piemēram, dusmīga vai kļūst vardarbīga, tas tiek uzskatīts par emociju izsecināšanu un izpilda aizlieguma otro kritēriju. Turklāt MI akta 18.apsvērums precizē, ka emociju uztveršana attiecas uz tādām emocijām vai nodomiem kā laime, skumjas, dusmas, pārsteigums, nepatika, apmulsums, satraukums, kauns, nicinājums, gandarījums un bauda.

Biometriskie dati var būt:

• fizioloģiski – sejas kontūra, pirkstu nospiedumi, vēnu ģeometrija rokās;
• uzvedības – kustības, balss, tastatūras lietojuma paradumi, acu kustības.

Tieši sistēmas, kas balstās uz biometrijas datiem, ietilpst aizlieguma tvērumā.

Dati, kurus izmanto emociju atpazīšanai, var būt ļoti dažādi, tostarp sejas un balss ieraksti, sirdsdarbības ātrums vai paplašinātas acu zīlītes. Tomēr neatkarīgi no datu ieguves avota šīs sistēmas balstās uz pieņēmumiem par emociju izpausmēm, kas var izrādīties nepareizi. Kultūras un katras personas individuālās atšķirības ietekmē personas reakciju noteiktās situācijās, kas noved pie nepareizu emociju izsecināšanas.

Darbavieta un izglītības iestāde

Izvērtējot ieguvumus, var secināt, ka emociju izsecināšanas sistēmas var tikt izmantotas vairākās nozarēs:

• mārketingā, lai analizētu pircēju emocijas un personalizētu reklāmas vai iepirkšanās pieredzi;
• izglītībā, lai pielāgotu mācību metodes, prognozētu skolēnu sniegumu un uzlabotu labklājību;
• veselības nozarē, izmantojot valkājamās ierīces stresa un emocionālo stāvokļu novērtēšanai;
• darba vidē, lai uzraudzītu darbinieku noskaņojumu;
• klientu apkalpošanā, lai uzlabotu pakalpojumu kvalitāti un sniegtu atbalstu darbiniekiem;
• publiskās drošības jomā un valsts iestādēs, piemēram, lidostās un robežkontrolē, lai identificētu aizdomīgu uzvedību.

Tomēr MI akts nosaka aizliegumu šādas sistēmas izmantot divās konkrētās vietās – darbavietā un izglītības iestādēs.

Jēdziens “darbavieta” jāinterpretē plaši, iekļaujot visa veida telpas un vidi, kurā fiziska persona veic pienākumus, ko noteicis darba devējs vai organizācija. Šis jēdziens nav atkarīgs no personas statusa – darbinieks, darbuzņēmējs, praktikants vai brīvprātīgais – un tas attiecas arī uz kandidātiem atlases un pieņemšanas procesā. Tāpat arī jēdziens “izglītības iestādes” ir jāinterpretē plaši, un tas attiecas uz visiem skolēniem un studentiem jebkurā izglītības iestādē, proti, gan publiskās, gan privātās. Aizliegums attiecas arī uz uzņemšanas procesu izglītības iestādē.

Var minēt šādus lietojuma gadījumus nodarbinātības jomā, kur emociju izsecināšanas sistēmas var tikt izmantotas, piemēram, neieinteresētu kandidātu identificēšana darba intervijās, darbinieka noskaņojuma secināšana. Savukārt izglītības jomā emociju izsecināšanas sistēmu var izmantot, lai:

• uzraudzītu studentu koncentrēšanos un iesaisti;
• noteiktu emocionālās reakcijas uz izglītības programmu un pielāgotu mācību saturu, tempu vai apguves secību;
• izstrādātu efektīvas apmācības sistēmas;
• ^·novērtētu iesaistīšanos tiešsaistes mācībās;
• ^·novērstu negodīgus pārbaudījumu pildīšanas mēģinājumus.

Aizliegums, mūsuprāt, ir samērīgs un pamatots, jo darbavietā un izglītības iestādē personas atrodas situācijās, kurās tās faktiski nespēj brīvi atteikties no MI sistēmu izmantošanas. Tas var pastiprināt jau esošo nevienlīdzību starp darba devēju un darba ņēmēju, kā arī starp izglītības iestādi un studentu vai skolēnu. Turklāt, pat ja šādu sistēmu izmantošanas mērķis varētu šķist vērtīgs, piemēram, mācību procesa efektivitātes paaugstināšana vai darbinieku noskaņojuma uzraudzība, būtiska problēma ir to nesamērīgā ietekme uz privātumu. Pastāv risks, ka personas tiek pakļautas nepārtrauktai novērošanai, kas būtiski ietekmē viņu tiesības uz privāto dzīvi un rada pastāvīgas kontroles sajūtu.

Emociju izsecināšanas sistēmu riski

Emociju izsecināšanas sistēmas rada būtiskus problēmjautājumus saistībā ar tehniskajiem un ētiskajiem aspektiem. MI akta 44.apsvērumā norādīts, ka emociju izsecināšanas sistēmu zinātniskais pamatojums ir ierobežots, jo emociju izpausmes var ievērojami atšķirties starp kultūrām un dažādām situācijām. Tādēļ sistēmu galvenais trūkums ir to ierobežotā uzticamība – var rasties diskriminējoši rezultāti un aizskārums personām, īpaši darba un izglītības kontekstā, kur jau pastāv nevienlīdzīga situācija.

Lai gan emociju atpazīšanas sistēmas ir aizliegtas, to potenciālo risku izpēte ir svarīga. Pastāv iespēja, ka tās tiks izmantotas neatkarīgi no aizlieguma. Turklāt šādas sistēmas ir atļautas citās jomās, piemēram, medicīnā vai drošības nozarē. Izpēte ļauj saprast iespējamos riskus nākotnē, ja notiek izmaiņas.

Būtiskākie riski:

• datu aizsardzības pārkāpumi;

Emociju izsecināšanas sistēmas apstrādā īpašās kategorijas personas datus, piemēram, sejas izteiksmes, balss ierakstus un fizioloģiskos signālus, kas var atklāt personas emocionālo stāvokli. Šādu datu apstrāde rada riskus saistībā ar datu aizsardzību. Piemēram, neatļauta piekļuve vai datu ļaunprātīga izmantošana var novest pie identitātes zādzības un citiem ļaunprātīgiem izmantošanas veidiem. Ņemot vērā, ka tiek apstrādāti īpašās kategorijas personas dati, rodas jautājums, vai Vispārējās datu aizsardzības regulas (regula 2016/679 par fizisku personu aizsardzību attiecībā uz personas datu apstrādi un šādu datu brīvu apriti) noteikumi nodrošina pietiekamu šo datu aizsardzību.

• stress un psiholoģiska slodze;

Ilgstoša personu novērošana var radīt psiholoģisku slodzi. To varētu raksturot arī kā “tehnostresu”, kas ir jebkura negatīva ietekme uz personas attieksmi, domām, uzvedību vai ķermeņa fizioloģiju, ko tieši vai netieši rada tehnoloģiju izmantošana. Tehnostress var ietekmēt darbinieku psihofizisko veselību un darba dzīvi; tā sekas īstermiņā un ilgtermiņā var izpausties somatiskā, kognitīvi emocionālā un uzvedības līmenī. Tas uzskatāmi parāda, ka ilgstoša novērošana, piemēram, visu darba laiku, rada pastāvīgu psiholoģisku spiedienu, kas būtiski ietekmē gan pašsajūtu, gan rīcības brīvību.

• neobjektivitāte.

Emociju izsecināšanas sistēmās iespējama gan apmācības datu, gan algoritmiskā neobjektivitāte. Pirmajā gadījumā var būt sistēmas, kas var neprecīzi atpazīt emocijas citu grupu indivīdos, ja apmācītas ar datiem par konkrētu etnisko grupu. Turklāt cilvēku sejas izteiksmes var atšķirties, kas var radīt nepareizu iespaidu par personas emocionālo stāvokli vai nodomu.

Savukārt otrajā gadījumā var rasties neobjektivitāte, ko nav iespējams ne atklāt, ne labot. MI “melnās kastes” princips bieži vien liedz izprast, kāpēc pieņemts konkrēts lēmums.

Mūsuprāt, šādu sistēmu zinātniskās uzticamības trūkums pats par sevi ir pietiekams arguments to aizliegumam, jo, tehnoloģija, kas balstās uz vispārinājumiem un pieņēmumiem par emociju izpausmēm, nevar nodrošināt objektīvus un nediskriminējošus rezultātus.

Ārpus aizlieguma

Lai gan MI akts stingri ierobežo emociju izsecināšanas sistēmu izmantošanu darbavietās un izglītības iestādēs, regulā paredzēti būtiski izņēmumi, kas saglabā līdzsvaru starp inovāciju un personu pamattiesību aizsardzību. Saskaņā ar MI akta 18.apsvērumu aizliegums neattiecas uz:

• fizisko stāvokļu, piemēram, sāpju vai noguruma, noteikšanu;
• vienkāršu izpausmju, žestu vai kustību atpazīšanu, ja tie netiek izmantoti emociju identificēšanai vai izsecināšanai;
• sistēmām, kas neizmanto biometriskos datus, lai secinātu emocionālos stāvokļus;
• tehnoloģijām, kas tiek izmantotas medicīnas jomā.

Piemēram, aprūpes roboti, izmantotās pacientu novērtēšanas sistēmas medicīnas speciālistu darbā vai balss monitori ārkārtas dienestos nav aizliegti, jo to primārais mērķis nav kontrolēt personu emocionālo stāvokli, bet gan nodrošināt drošību un efektīvu reaģēšanu. Šādi izņēmumi parāda, ka MI akts ir veidots ne tikai aizsardzības nodrošināšanai, bet arī saprātīgiem lietošanas gadījumiem un inovāciju veicināšanai.

Tomēr tās sistēmas, kas neietilpst aizliegumā, tik un tā uzskatāmas par augsta riska MI sistēmām (3.pielikuma 1.punkta c) apakšpunkts). Tām ir noteiktas konkrētas prasības, piemēram, MI akta 50.pantā noteiktā caurskatāmības prasība. Šāds regulējums nodrošina tehnoloģiju attīstību, vienlaikus aizsargājot privātpersonu pamattiesības.

Ieguvumi neatsver riskus

Mūsuprāt, lai arī emociju izsecināšanas sistēmas var sniegt noteiktu ieguvumu, piemēram, mācību personalizācijas vai darba efektivitātes uzlabošanā, šie ieguvumi nespēj atsvērt riskus, ko šādas sistēmas varētu radīt personas privātajai dzīvei. Privātuma un cilvēka cieņas aizsardzība ir vērtējama prioritāri pār iespējamo ieguvumu.

Tāpat būtu nepieciešams izvērtēt, vai pašreizējais aizlieguma tvērums, kas nosaka fizisku personu emociju izsecināšanu tieši darbavietās vai izglītības iestādēs, nav pārlieku šaurs. Pastāv pamats diskusijai par aizlieguma paplašināšanu arī uz citām vidēm, kurās pastāv būtiski riski indivīda pamattiesību aizskārumam, piemēram, mārketinga un pircēju uzvedības izpētes jomā.

Raksts pārpublicēts no interneta žurnāla iBizness.lv.

Šajā dokumentā apkopotā informācija ir vispārīga un nav paredzēta kādas konkrētas fiziskas vai juridiskas personas situācijas apskatam. Lai arī mūsu mērķis ir sniegt precīzu un savlaicīgu informāciju, nav iespējams garantēt, ka informācijas saņemšanas brīdī tā vēl arvien būs precīza vai ka tā būs precīza nākotnē. Nevienam savā rīcībā nevajadzētu paļauties uz šo informāciju bez atbilstošas profesionālas konsultācijas, rūpīgi izpētot konkrēto situāciju.