Zachytiť signál, nevydávať verdikt
Plánovaná prvá vrstva má pomáhať všimnúť si možnú naliehavosť a odporučiť živú podporu. Nemá potvrdiť, že človek je „bez rizika“, prideľovať mu spoľahlivé klinické skóre alebo rozhodovať o jeho nároku na pomoc.
NICE pri sebapoškodzovaní neodporúča používať rizikové škály ani kategórie nízkeho, stredného a vysokého rizika na predikciu či určovanie prístupu k liečbe. Túto hranicu nemožno obísť označením algoritmu za inteligentnú triáž. NICE NG225
Pred pilotom potrebujeme s odborníkmi určiť, ktoré signály majú viesť k odporúčaniu okamžitej pomoci, ako riešiť neistotu a ako merať prehliadnuté prípady. Bezprostredná potreba ľudskej pomoci nesmie čakať na dlhý rozhovor s AI.
Chrániť kapacitu bez odmietania ľudí v ťažkostiach
Jedným zo zámerov je obmedziť zjavnú automatizovanú záťaž a opakované technické útoky. Prevádzková ochrana pred spamom sa však musí odlišovať od posudzovania psychickej situácie.
Nezvyčajné vyjadrovanie, mlčanie, opakovaný kontakt alebo tvrdenie „iba žartujem“ nestačia na označenie človeka za zneužívajúceho. Návrh musí mať postup pri neistote, možnosť ľudskej kontroly a dostupnú cestu k pomoci mimo AI. Odmietnutie nesmie byť iba nepreskúmateľným rozhodnutím modelu.
Presmerovanie je aj prevádzková dohoda
V návrhu počítame s verejnými kontaktmi pomoci a telefonátom, ktorý vždy potvrdí používateľ. Samotné otvorenie telefónu nie je potvrdeným prevzatím prípadu operátorom. Spôsob prípadného odovzdania údajov musíme ešte pripraviť a dohodnúť.
Priame odovzdanie vyžaduje dohodnutého partnera, overenie kapacity, súhlas s rozsahom údajov, potvrdenie prevzatia a postup pri neúspechu. Kým takáto dohoda nevznikne, nesľubujeme prioritný vstup do žiadnej existujúcej linky.
Deti vyžadujú osobitné posúdenie
Zamýšľaná podpora detí a tínedžerov potrebuje vývinovo primeraný jazyk, vekové podmienky a ochranu údajov. Bezpečnosť nemožno odvodzovať z výsledkov u dospelých.
AI nesmie predstierať odborníka, výlučné priateľstvo alebo závislosť od používateľa. Pri hľadaní dospelej opory musí zohľadniť, že nie každý dospelý v okolí je bezpečný. Pre konkrétne scenáre potrebujeme odbornú revíziu. UNICEF: AI a deti
Čo má hodnotenie sledovať
- Včasnosť odporúčania ľudskej pomoci a chyby pri naliehavých situáciách.
- Nevhodné uisťovanie, vymyslené informácie a škodlivé odporúčania.
- Chybné označenie zneužívania a bariéry prístupu k človeku.
- Zrozumiteľnosť identity AI a rozdiel medzi prvou oporou a odbornou pomocou.
- Ochranu údajov a spoľahlivosť celého odovzdania, nielen správnosť jednej odpovede.
Technické testy a konverzačné pravidlá sú len časť prípravy. HELPka zatiaľ nemá uzavreté klinické overenie ani spustený verejný detský pilot.