OpenAI začína riešiť jednu z čoraz dôležitejších otázok okolo generatívnej umelej inteligencie. Ako spoľahlivo zistiť, či text vytvorila AI a zároveň zachovať jeho kvalitu? Spoločnosť teraz predstavila svoj prístup k textovému vodoznaku, ktorý súvisí s požiadavkami európskej legislatívy. V Európskej únii plánuje v najbližších týždňoch postupne pridať neviditeľný vodoznak do vybraných textových výstupov ChatGPT a Codexu.
Nejde pritom o žiadny viditeľný symbol ani poznámku pod článkom ale vodoznak, ktorý má byť ukrytý priamo v spôsobe, akým model vyberá slová. OpenAI zároveň upozorňuje, že technológia má svoje limity a nebude fungovať ako neomylný detektor textu vytvoreného umelou inteligenciou.
Vodoznak bude ukrytý priamo vo výbere slov
Technológia, ktorú OpenAI označuje ako textGrain, pridáva do textu neviditeľný štatistický signál. Ten vzniká pri výbere slov modelom a následne ho má špecializovaný detektor analyzovať.
Podľa OpenAI dosahuje systém v testoch dobré výsledky, no veľký rozdiel môže robiť dĺžka a typ textu. Pri 200 slovách dokázal detektor pri stanovenom limite falošne pozitívnych výsledkov identifikovať vodoznak približne v 80 percentách testovaných textov, zatiaľ čo pri 400 slovách to bolo približne 95 percent pri textoch z oblasti psychológie.
Horšie výsledky sa objavovali pri matematických textoch, kde má autor alebo model menšiu voľnosť pri výbere slov. Práve preto OpenAI upozorňuje, že výsledok detekcie nemožno automaticky považovať za definitívny dôkaz pôvodu textu.
Stačí text upraviť a vodoznak môže zoslabnúť
Jedným z najväčších problémov je úprava textu po jeho vygenerovaní pretože vodoznak nie je nezničiteľný. OpenAI vo svojich testoch skúmala, čo sa stane, keď sa v texte nahradia niektoré slová synonymami.
Pri 400-tokenových textoch klesla úspešnosť detekcie približne z 92 percent na 66 percent, ak bolo zmenených 10 percent slov. Pri nahradení 25 percent slov už detektor zachytil vodoznak iba približne v 17 percentách prípadov.
To je dôležité najmä pri bežnej práci s textom. Článok môže prejsť redakciou, človek môže meniť formulácie, skracovať vety alebo text preložiť do iného jazyka, pričom každý takýto zásah môže signál oslabiť.
OpenAI zároveň zdôrazňuje, že textový vodoznak treba chápať iba ako signál o možnom použití jej systémov, nie ako dôkaz autorstva. Ak detektor vodoznak nájde, neznamená to, že vie povedať, kto konkrétne text vytvoril. Nebude identifikovať používateľa, účet, prompt ani konkrétnu konverzáciu. Rovnako nepovie, akú časť textu napísala AI a koľko práce na ňom odviedol človek.
Do ChatGPT príde vodoznak postupne
OpenAI plánuje v najbližších týždňoch zaviesť textový vodoznak pre oprávnené výstupy ChatGPT a Codexu v EÚ a to naprieč dostupnými plánmi. Mimo Európskej únie zatiaľ nejde o globálne predvolené nasadenie.
Zaujímavé je aj to, že zákazníci API si budú môcť pri vybraných modeloch vodoznak aktivovať dobrovoľne. Samotný detektor však OpenAI zatiaľ nechce sprístupniť verejnosti. Prístup majú dostať schválení výskumníci a odborné organizácie, ktoré môžu pomôcť overovať jeho presnosť a hľadať ďalšie slabiny.
