Anthropic acredita que seu próprio sucesso é a chave para uma IA segura

A Anthropic passou os últimos cinco anos alertando o mundo sobre como a inteligência artificial avançada poderia permitir destruição em massa, desestabilizar a sociedade e causar uma série de outros danos graves. Mas, simultaneamente, tornou-se uma das forças mais poderosas impulsionando as capacidades da IA.

A empresa está agora entre as principais desenvolvedoras e distribuidoras de modelos de IA de ponta e atende clientes como as forças armadas dos EUA. Foi recentemente avaliada em quase US$ 1 trilhão.

À primeira vista, as mensagens alarmantes da Anthropic e suas ações parecem fundamentalmente contraditórias. Mas, dentro da empresa, muitas pessoas não veem contradição.

A estratégia do "bom moço"

Para entender essa visão, é preciso compreender que a Anthropic opera com base em duas crenças centrais. A primeira é que a inteligência artificial é a tecnologia mais transformadora da história humana e sua chegada é inevitável. A única questão real é se ela levará à catástrofe ou à prosperidade extraordinária.

A segunda é que a Anthropic acredita que o mundo estará melhor se ela permanecer na fronteira da corrida da IA. Internamente, líderes e funcionários costumam se referir a si mesmos como os "good guys" (os mocinhos) — os administradores responsáveis da tecnologia de IA.

Helen Toner, diretora executiva do Center for Security and Emerging Technology da Universidade de Georgetown e ex-membro do conselho da OpenAI, usa uma analogia para descrever a visão de mundo da Anthropic. Ela compara a IA poderosa a uma floresta cheia de tesouros mágicos e monstros perigosos. Todos os aldeões estão correndo para entrar, atraídos pelo tesouro. A Anthropic quer se aventurar mais fundo na floresta do que qualquer um, enquanto investe pesadamente em domar os monstros — ou seja, capturar os benefícios da IA enquanto contém seus riscos catastróficos.

"O que diferencia a Anthropic é que eles pensam: 'As pessoas vão entrar na floresta de qualquer jeito, nós temos que ir primeiro'", explica Toner. "Esta é muito explicitamente a estratégia deles: construir IA de ponta para ser um player sério na mesa, que pode falar sobre como são os sistemas de IA de ponta, quais riscos eles representam e pressionar por salvaguardas razoáveis."

O CEO Dario Amodei resumiu essa abordagem de forma direta: "Você tem que encontrar uma maneira de realmente ser competitivo, de realmente liderar a indústria em alguns casos, e ainda assim conseguir fazer as coisas com segurança. Se você conseguir fazer isso, a atração gravitacional que você exerce é muito grande."

Fundação e cultura interna

A Anthropic foi fundada em 2021 por um grupo de ex-funcionários da OpenAI que saíram após perder a fé na capacidade da liderança da empresa — particularmente do CEO Sam Altman — de trazer uma IA transformacional ao mundo com segurança.

Ex-funcionários dizem que, em discussões internas, executivos da Anthropic frequentemente descrevem Altman e a OpenAI — e, em menor grau, Meta e xAI de Elon Musk — como exemplos de advertência que ajudam a definir o próprio senso de responsabilidade da Anthropic.

A empresa se apresenta como uma "organização de alta confiança e baixo ego", sem muita política interna. Ex-funcionários geralmente confirmam essa caracterização, mas apontam que a falta de diversidade de pensamento pode ser um problema.

Shazeda Ahmed, pesquisadora de pós-doutorado na UCLA que estudou as origens ideológicas do movimento de segurança da IA, alerta: "Você não está sendo desafiado nessas ideias quando se cerca de outras pessoas que acreditam nelas. E quando suas métricas de sucesso são 'até que ponto eu agi de acordo com essas crenças ideológicas?', eles não estão realmente pensando em como isso pode dar errado se eles não forem as pessoas certas para ter tanto poder."

Controvérsias: Palantir, uso militar e Claude Fable 5

Uma das maiores controvérsias internas da Anthropic aconteceu no outono de 2024, quando se tornou o primeiro laboratório de IA a fazer parceria com a Palantir para fornecer serviços de IA às agências de inteligência e defesa dos EUA.

Menos de dois anos depois, o Pentágono supostamente começou a usar o Claude para tarefas como identificar alvos de ataque na guerra Israel-Irã. Questionado se os modelos da Anthropic foram usados em um ataque a uma escola primária iraniana que matou mais de 120 pessoas, Amodei disse que não sabia, mas que teria sido um uso aprovado da tecnologia da empresa, desde que um humano tomasse a decisão final.

Mais recentemente, a Anthropic lançou o Claude Fable 5 com uma salvaguarda polêmica: se pesquisadores tentassem usá-lo para desenvolvimento de IA de fronteira — violando os termos de serviço — a Anthropic saberia efetivamente seu trabalho secretamente. A medida foi imediatamente criticada por pesquisadores de toda a indústria, e a Anthropic recuou dias depois.

Concentração de poder

O próprio Amodei reconheceu publicamente os perigos de permitir que muito poder sobre a IA se concentre nas mãos de poucos laboratórios, incluindo o seu. "É um pouco estranho dizer isso como CEO de uma empresa de IA, mas acho que o próximo nível de risco são as próprias empresas de IA", escreveu ele em um ensaio este ano.

Mas os remédios que ele sugere — que as empresas de IA "sejam cuidadosamente observadas" e talvez façam compromissos públicos de "não tomar certas ações" — fariam pouco para redistribuir fundamentalmente esse poder.

A crítica comum à posição da Anthropic é que a empresa acredita saber "a verdade sobre a situação em que a humanidade se encontra" melhor do que os outros. Ela vê a IA como extraordinariamente poderosa, mas fundamentalmente governável, desde que as pessoas certas liderem seu desenvolvimento. Mas a verdade é que ninguém sabe exatamente como a IA mudará o mundo — algumas pessoas simplesmente têm mais voz nisso do que outras.

---

Este artigo é uma adaptação da reportagem de Maxwell Zeff publicada na Wired.

Fonte: Wired