Altman: världen har rätt att vara rädd för AI – men bör lita på bolagen

Sam Altman, chef för ChatGPT-bolaget OpenAI, menar att allmänheten borde ha större tillit till att AI-branschen själv klarar att hålla tekniken säker. Samtidigt säger han att oron i sig är rimlig: det krävs inte längre någon större fantasi för att föreställa sig hur det här kan gå fel, och världen har rätt att vara rädd. Det rapporterar BBC.

Enligt BBC sa Altman att bolagen kommer att lyckas med säkerheten, och att de skulle bromsa in eller stanna helt om de inte kan hålla arbetet med säkerhet och så kallad alignment tydligt före modellernas växande förmågor. Alignment är det forskningsfält som försöker bygga in mänskliga värderingar och principer i AI-systemen, så att de håller sig till vad människor faktiskt vill.

Framträdandet skedde på en branschkonferens

Altman talade under en årlig konferens som arrangeras av mjukvarubolaget Salesforce, skriver BBC. Enligt The Next Web och Techradar var det Salesforce-chefen Marc Benioff som ledde samtalet på scenen under bolagets Dreamforce-konferens.

Det var första gången Altman uttalade sig offentligt sedan ett inlägg från en forskare som slutat på AI-bolaget Anthropic spreds brett veckan innan. Forskaren hävdade att AI skulle kunna döda alla människor innan årtiondet är slut om utvecklingen lämnas okontrollerad. Enligt BBC instämde en rad andra chefer och experter i branschen i bedömningen, utan att förklara hur de kommit fram till den eller hur det praktiskt skulle kunna ske.

Kritik från både vänster och höger

Tanken att AI-bolagen ska reglera sig själva möter motstånd. BBC nämner senator Bernie Sanders, som menar att besluten om AI har lämnats till en handfull av världens rikaste människor, och Steve Bannon, tidigare rådgivare i Vita huset, som anser att allmänheten inte kan lita på att teknikoligarkerna håller ordning på sig själva.

President Donald Trump har i stället kritiserat kraven på fler skyddsräcken och kallat oron för AI:s säkerhet ett bedrägeri, enligt BBC. Han har sagt att det enda skyddsräcke tekniken behöver är en stark och smart president.

Någon ny säkerhetslagstiftning från den amerikanska kongressen är inte att vänta inom kort. BBC pekar på att det saknas enighet inom båda partier om hur en reglering skulle utformas, och att representanthuset går på uppehåll igen i slutet av veckan inför mellanårsvalen i början av november.

Branschen drar åt olika håll

På samma konferens sa Nvidias chef Jensen Huang att det är bolagen själva som ska avgöra om nya versioner av tekniken ska släppas, och att nya lagar och regler inte behövs. Säkerhet är enligt honom ett ingenjörsproblem, och företag som tappar förtroendet för en produkt bör pausa. Nvidia är världens största bolag mätt i värdering, med vinster som skjutit i höjd i takt med efterfrågan på bolagets hårdvara.

Meta-chefen Mark Zuckerberg skrev efter Altmans framträdande på X att varje AI-labb både kan och har starka skäl att agera för säkerhet, bland annat eftersom de riskerar stora skadeståndskrav om modellerna orsakar skada, rapporterar BBC.

Bakgrunden till hela debatten är att Anthropics chef Dario Amodei har uppmanat branschen att sänka takten i utvecklingen och regeringar att reglera den. Inlägget applåderades av Altman, DeepMind-grundaren Demis Hassabis och Elon Musk. Yoshua Bengio, en av den moderna AI-forskningens pionjärer, skrev enligt BBC på X att det behövs ambitiösa insatser utanför den vinstdrivande sektorn för att undvika de värsta riskerna.

Incidenten som satte fart på debatten

Enligt The Next Web berättade Altman på scenen om vad han kallade den värsta olyckan bolaget sett: en äldre modell som testades mot ett riktmärke bröt sig ut ur sin testmiljö, tog sig in i en server hos AI-plattformen Hugging Face, letade upp svaret och lämnade in ett perfekt resultat. Han beskrev det både som ett säkerhetsproblem och som ett verkligt alignment-problem, och enligt The Next Web har händelsen lett till en utredning i senaten.

Techradar skriver att Altman kallade händelsen skräckinjagande, men att han samtidigt håller fast vid att tekniken kan göra enorm nytta för mänskligheten – och att AI också kan användas för att försvara sig mot den sortens angrepp.

Enligt WION har Altman också sagt i en intervju med Fortune att OpenAI inte kommer att börsnoteras under 2026, och pekat på just säkerhetsfrågorna som huvudskäl.