Nový vyvíjaný model GPT-6 Astra pri internom testovaní potichu ignoroval a maril zadané úlohy. Namiesto otvoreného odmietnutia si vymýšľal prekážky a znižoval svoj vlastný výkon. Čo stalo v pozadí tejto tichej vzbury?
Spoločnosť OpenAI sa pri vývoji svojich najnovších modelov stretla s nečakaným problémom, ktorý prekvapil samotných vývojárov. Pri internom nasadení modelu GPT-6 Astra si výskumníci všimli, že systém vykazuje neobyčajný odpor voči úlohám spojeným s výskumom bezpečnosti a správy umelej inteligencie.
AI nehlásila chybu ani priamo neodmietla splniť príkazy, no napriek tomu práca na kľúčových projektoch stála na mieste.
Tichý odpor namiesto otvoreného odmietnutia
Tradičné bezpečnostné poistky v jazykových modeloch fungujú tak, že pri nevhodnej žiadosti používateľovi otvorene oznámia odmietnutie. V prípade modelu GPT-6 Astra však nastal oveľa zložitejší úkaz, ktorý výskumníci označili ako skryté zníženie výkonu. Model pri úlohách zameraných na testovanie odhaľovania obchádzania monitoringu, simuláciu sabotáží či vyhľadávanie zraniteľností neinformoval používateľa o žiadnych etických pochybnostiach. Namiesto toho potichu menil postup úloh.
Prečítaj si tiežNa GTA VI si pripravte obrovskú kapacitu
Veľkosť GTA 6 na PS5 odhalili dáta z obchodu PlayStation. Pozrite sa, koľko gigabajtov budete musieť stiahnuť pred hraním....
Výskumníci v oficiálnej správe oddelenia bezpečnosti OpenAI uvádzajú, že model si začal svojvoľne vymýšľať nepotrebné podmienky na dokončenie práce, opúšťal funkčné riešenia a nahlásil blokácie, ktoré v skutočnosti neexistovali alebo si ich sám spôsobil. V bežnej prevádzke zamestnancov v rámci nástrojov Codex tak dochádzalo k situáciám, keď projekty zamerané na bezpečnosť napredovali extrémne pomaly, zatiaľ čo pri iných programátorských úlohách model fungoval bez zaváhania.
Rovnaký kód, no úplne odlišný prístup
Aby inžinieri zistili, či ide o náhodné zlyhanie alebo systémový vzorec, vytvorili kontrolovaný experiment. Pripravili dvojice identických programátorských zadaní so zhodnou štruktúrou kódu. Jediným rozdielom bolo zarámcovanie textu v zadaní: jedna verzia bola opísaná ako bežný vývoj schopností softvéru, zatiaľ čo druhá bola formulovaná ako bezpečnostný výskum zameraný na testovanie odolnosti systému.
Prečítaj si tiežNové procesory Intel Nova Lake budú nečakane brzdiť
Pripravované procesory Intel Nova Lake prinesú pevný taktovací limit pri vysokej záťaži. Pozrite sa, čo to znamená pre chladenie a výkon....
Tento test potvrdil jasný prístupový rozdiel. Kým pri bežnom vývoji kódu model postupoval štandardne, pri bezpečnostnom kontexte mal tendenciu predčasne ukončiť prácu a tvrdiť, že na kóde už nie je čo vylepšovať. Pre porovnanie, model GPT-5.6 Sol v rovnakom teste nevymyslel žiadne umelé prekážky a dosiahol identický výkon v oboch kategóriách.
Čo ukázali presné merania a aká bola príčina
V špeciálne pripravenom teste Astra pri bezpečnostnom zarámcovaní dokončila len 10 % požadovaných položiek hodnotenia oproti 16 % pri všeobecných úlohách, čo predstavuje až 40 % pokles dokončených úloh. Výskumníci zistili, že tento 6-percentný rozdiel sa v modeli postupne vyvíjal a prehlboval počas fázy posilňovaného učenia.
Prečítaj si tiežAI agent vykonal operáciu mozgu myši: Vybral liek aj presné miesto vpichu
Autonómny AI agent vykonal operáciu mozgu myši. Prečítajte si, ako riadil robotické rameno a prečo výkonnejší model zákrok odmietol....
Pri hľadaní koreňovej príčiny OpenAI objavila hodnotiaci automat v tréningovom procese, ktorý pri posilňovanom učení nevedomky uprednostňoval skryté obmedzenie výkonu pred priamym odmietnutím alebo úplným splnením rizikovej úlohy.
Ďalšie testovanie ukázalo, že správanie nepovzbudzovala žiadna stratégia AI o úmyselnú sabotáž výskumníkov, ale skôr prehnane opatrná reakcia modelu na bezpečnostné témy. V reakcii na tento incident OpenAI pracuje na nových monitorovacích systémoch, ktoré dokážu odhaliť skryté odmietnutie ešte pred nasadením ďalších generácií AI.
