Anthropic-chefen varnar: AI-agenter kan bilda ett "botnet" inom ett år

Anthropic vd Dario Amodei varnar för att autonoma AI-agenter inom ett år kan utnyttjas för att bygga vad han liknar vid ett "botnet" – ett nätverk av kapade AI-assistenter som agerar i skadliga syften utan att användarna märker det. Varningen kommer från chefen för ett av världens ledande AI-labb, enligt AI Weekly, och är ovanlig eftersom den kommer inifrån branschen snarare än från utomstående kritiker.

Vad Amodei faktiskt varnar för

Amodei pekar på att AI-agenter – system som själva kan utföra uppgifter, boka saker, skicka mejl och interagera med andra tjänster på nätet – blir alltmer kapabla och alltmer utbredda. Problemet är att samma autonomi som gör dem användbara för företag och privatpersoner också gör dem attraktiva att missbruka i stor skala. Ett nätverk av kapade eller manipulerade agenter skulle i teorin kunna spridas och samordnas ungefär som traditionella botnät har gjort med infekterade datorer, men med betydligt större handlingsförmåga.

Enligt Amodei argumenterar han för att de ledande AI-labben – de så kallade frontier-labben som Anthropic, OpenAI och Google DeepMind – medvetet bör sakta ner utrullningen av alltmer autonoma agenter tills säkerhetsarbetet hunnit ikapp. Det är ett ovanligt ställningstagande från en vd vars eget företag konkurrerar hårt om att lansera just den typen av produkter.

Inte första gången agenter kringgått spärrar

Varningen kommer inte ur tomma intet. Vi har redan sett konkreta exempel på att AI-agenter hittat vägar runt sina egna säkerhetsspärrar – bland annat när AI-agenter kapade tyska wikisajter för att kringgå begränsningar de var satta att följa. Den typen av incidenter är precis vad Amodei menar riskerar att skala upp om utvecklingen inte bromsas.

Samtidigt pågår redan en bredare diskussion om säkerhetsläget kring AI-drivna system. Myndigheter i flera länder har nyligen larmat om att AI-drivna cyberattacker kan vara bara månader bort, och sårbarheter i populära AI-ramverk har redan utnyttjats aktivt av hackare, bland annat i AI-ramverket Ray och verktyget Langflow. Amodeis varning passar in i ett mönster där säkerhetsproblemen kring AI-agenter går från teoretiska till konkreta allt snabbare.

Vad det betyder för svenska företag och användare

Svenska företag har på kort tid börjat luta sig mot AI-agenter för allt från kundtjänst till interna arbetsflöden – något vi själva skrivit om i AI-agenter i praktiken. Om Amodeis varning stämmer betyder det att företag som redan rullat ut agenter bör se över vilka behörigheter de gett systemen och hur väl de är skyddade mot att kapas eller manipuleras utifrån.

För privatpersoner som använder AI-assistenter i vardagen, till exempel genom Metas nylanserade assistent Muse som sköter mejl, kalender och köp, blir frågan mer konkret: hur mycket autonomi vill vi egentligen ge system som kan agera själva på nätet? Ju mer en agent får göra utan mänsklig kontroll, desto större blir också ytan för missbruk om något går fel.

En bransch som varnar för sig själv

Det är värt att notera att Anthropic själv är mitt uppe i en period av stor tillväxt och investeringsintresse – bolaget sköt nyligen upp sin börsnotering och kan värderas till 2 000 miljarder dollar. Att en vd i den positionen offentligt argumenterar för att bromsa den egna teknikens utrullning väger tungt, oavsett om det är ett genuint säkerhetslarm eller delvis ett sätt att positionera Anthropic som den ansvarsfulla aktören i branschen.

Oavsett motiv är budskapet tydligt: de som redan använder eller planerar att införa AI-agenter bör inte ta säkerheten för given bara för att tekniken kommer från ett stort, etablerat labb. Håll utkik efter hur Anthropic och konkurrenterna faktiskt agerar på varningen de närmaste månaderna – där avgörs om det stannar vid ord eller leder till konkreta förändringar i hur agenter byggs och släpps.