Výskumníci z Massachusettského technologického inštitútu (MIT) predviedli zaujímavý spôsob, ako môže umelá inteligencia zlepšovať ďalšie AI modely bez klasického dodatočného trénovania. Použili pritom jazykový model GPT-6 Astra, ktorý priamo upravoval vnútorné parametre otvoreného modelu Qwen. Výsledkom bol výrazný nárast úspešnosti v matematických úlohách, pričom zasiahnutých bolo iba približne 0,016 percenta jeho váh. O téme píše Venturebeat.
Výskumníci označujú túto metódu ako weight-space programming, pričom namiesto toho, aby model získaval nové schopnosti prostredníctvom tradičného tréningového procesu, analyzuje číselné parametre inej neurónovej siete, hľadá príčinu jej problémov a navrhuje konkrétne úpravy. V najvýraznejšom experimente sa úspešnosť modelu Qwen3.5-0.8B v teste MATH-500 zvýšila zo 7,9 na 48,1 percenta.
Umelá inteligencia upravuje vnútorné fungovanie iného modelu
Váhy neurónovej siete určujú, ako model spracúva vstupné informácie a vytvára odpovede. Pri bežnom trénovaní sa menia na základe vyhodnocovania chýb a výpočtov, ktoré pomáhajú postupne zlepšovať výsledky. Tím z MIT však zvolil odlišný postup, vďaka čomu GPT-6 Astra dostal prístup k váham modelu Qwen a pomocou vlastného uvažovania navrhoval ich priame zmeny.
Zlepšenie matematických výsledkov pritom neznamenalo, že Astra do modelu jednoducho vložila nové matematické vedomosti. Qwen mal pred úpravou výrazný problém s opakovaním textu, pre ktorý často vyčerpal povolený limit generovania odpovede. Astra odstránila časť tohto opakujúceho sa správania, čím umožnila modelu lepšie využívať schopnosti, ktoré už mal osvojené.
Výrazné zlepšenie, ale aj náročné hľadanie chyby
Úprava sa dotkla 131 072 váh a výskumníci pri nej zaznamenali zlepšenie aj v ďalších testoch. Úspešnosť v GSM8K stúpla z 13,8 na 67,1 percenta a v teste dodržiavania pokynov IFEval z 21 na 62,3 percenta. Nájdenie vhodnej úpravy si však vyžiadalo 158 konverzačných ťahov, 80 spustení Pythonu a približne 20 hodín práce.
Metóda zatiaľ nefunguje spoľahlivo pri každom modeli
Experimenty ukázali aj hranice nového prístupu, keď pri modeli Gemma 3 270M sa matematické výsledky nepodarilo preukázateľne zlepšiť a pri ďalšom teste Astra nedokázala bez dodatočných meraní rozpoznať model naučený nekriticky súhlasiť s používateľom.
Výskumníci preto zatiaľ nepreukázali, že by priame úpravy váh dokázali všeobecne nahradiť klasické trénovanie alebo prinášať úsporu nákladov. Ukázali však, že dostatočne schopný jazykový model môže skúmať a opravovať vnútorné fungovanie inej neurónovej siete. Takýto postup by v budúcnosti mohol pomôcť pri odstraňovaní chýb, audite modelov aj ich ďalšom vývoji, no spoľahlivosť a praktické využitie ešte musia potvrdiť ďalšie experimenty.
