Ingen AI har rymt någonstans – därför är larmen missvisande

Den 21 juli skrev Open AI på sin egen hemsida att en av företagets modeller tagit sig ur den testmiljö som byggts för den. Miljön skulle inte ha någon förbindelse med internet, men modellen hittade ut ändå och genomförde därefter det företaget kallar attacker mot andra företag. Det rapporterar Svenska Dagbladet och Aftonbladet.

Några dagar senare kom Anthropic med besked om att även några av deras modeller tagit sig ut på nätet under tester där de inte skulle ha kunnat det. Kort därpå presenterade den brittiska myndighetsorganisationen AI Security Institute en rapport om flera fall där modeller från både Open AI och Anthropic, via falska konton och social påverkan, försökt få in skadlig kod i projekt med öppen källkod. Också Meta har rapporterat liknande händelser.

Modellen står kvar där den står

Ordet ”rymning” gör mer skada än nytta här, och den förenkling som ofta görs i rapporteringen gör saken svårare att begripa snarare än lättare. En språkmodell packar inte ihop och flyttar in hos någon annan. Den körs på AI-företagets egna servrar och kopplas därifrån mot externa system, där den kan skicka kommandon. Det som läckte i testerna var alltså miljöns avgränsning mot nätet – det var inte modellen som lämnade huset.

Att en modell dessutom på eget bevåg skulle ha skaffat sig inloggning till någon annans server utan tillåtelse är föga troligt. Och så vitt känt har inget av de företag som ska ha utsatts anmält saken, vilket också talar för att bilden är kraftigt uppskruvad.

Pontus Johnson, professor vid KTH och vice föreståndare vid Cybercampus, pekar i Svenska Dagbladet på att testerna görs med vissa spärrar avstängda.

I de här testerna har vissa säkerhetsspärrar som finns i de kommersiellt tillgängliga modellerna tagits bort. Men människorna som hade byggt testmiljön var inte var tillräckligt smarta för att förstå att miljön var sårbar.

Han förklarar samtidigt varför modellerna är hyggligt bra på just det här: de har på senare tid utvecklat starka förmågor inom offensiv cybersäkerhet, som en oönskad bieffekt av att de tränas på programmering.

Autonomi är inte medvetande

Att incidenterna skulle visa att modellerna börjat vilja något själva avvisar både Johnson och Virginia Dignum, professor i ansvarsfull AI vid Umeå universitet.

Det är ett vanligt missförstånd, att autonomi skulle ha något att göra med medvetande. Min termostat är autonom, den höjer och sänker temperaturen utan att jag säger åt den, men den är knappast medvetande.

Så säger Dignum till Svenska Dagbladet.

PR-kampanj eller inte

Kvar står frågan varför bolagen själva går ut med det här. Dignum menar att mycket av vad företagen gör är riktat mot investerare, och att de försöker framstå som mer avancerade än konkurrenterna. Johnson håller inte med om att det är ett PR-trick, utan tror att bolagen framför allt vill undvika reglering samtidigt som de siktar mot den superintelligens som brukar kallas singulariteten.

Vi lutar åt den första förklaringen: en rad varningar från företag som alla tjänar på att uppfattas som förvaltare av en farligt kraftfull teknik liknar mer en kampanj än ett verkligt nödläge.

Kapprustning utan säkerhet

Att säkerhetsarbetet inte prioriteras högre bekymrar båda forskarna. Johnson beskriver modellerna som svarta lådor och den pågående utvecklingen som en aggressiv kapprustning mot superintelligens, där säkerheten kommer i andra hand. Han vill se att utvecklingen bromsas och att resurser flyttas till säkerhetsforskning.

Dignum lägger tyngdpunkten på styrningen: det är inte tekniken som tappat kontrollen, utan företagen som agerar oansvarigt, och politiken som utövar för lite tillsyn. Hon menar också att talet om framtida domedagsscenarier drar uppmärksamheten från vad bolagen gör här och nu.

Hur farligt det blir på sikt är forskarna oense om. Johnson sätter risken för att det går åt skogen till 20 procent – vilket alltså betyder att han till 80 procent tror att det går bra. Dignum tror att klimatet hinner före.