Modelos de IA de código aberto vulneráveis a uso indevido criminoso, alertam investigadores

Hackers e outros criminosos podem facilmente assumir o controlo de computadores que operam modelos de linguagem de grande escala de código aberto fora das proteções e restrições das principais plataformas de inteligência artificial, criando riscos de segurança e vulnerabilidades, disseram investigadores na quinta-feira, 29 de janeiro.

Os hackers podem visar os computadores que executam os LLMs e direcioná-los para realizar operações de spam, criação de conteúdo de phishing ou campanhas de desinformação, evitando os protocolos de segurança da plataforma, disseram os investigadores.

A investigação, realizada em conjunto pelas empresas de cibersegurança SentinelOne e Censys ao longo de 293 dias e partilhada exclusivamente com a Reuters, oferece uma nova perspetiva sobre a escala de casos de uso potencialmente ilícitos para milhares de implementações de LLM de código aberto. Estes incluem hacking, discurso de ódio e assédio, conteúdo violento ou sangrento, roubo de dados pessoais, golpes online ou fraude e, em alguns casos, material de abuso sexual infantil, disseram os investigadores.

Embora existam milhares de variantes de LLM de código aberto, uma parte significativa dos LLMs nos servidores acessíveis pela internet são variantes do Llama da Meta, Gemma do Google DeepMind e outros, de acordo com os investigadores. Embora alguns dos modelos de código aberto incluam proteções, os investigadores identificaram centenas de casos em que as proteções foram explicitamente removidas.

As conversas da indústria de IA sobre controlos de segurança estão a "ignorar este tipo de capacidade excedentária que está claramente a ser utilizada para todo o tipo de coisas diferentes, algumas legítimas, outras obviamente criminosas", disse Juan Andres Guerrero-Saade, diretor executivo de investigação de inteligência e segurança da SentinelOne. Guerrero-Saade comparou a situação a um "iceberg" que não está a ser devidamente contabilizado em toda a indústria e comunidade de código aberto.

Estudo examina instruções do sistema

A investigação analisou implementações publicamente acessíveis de LLMs de código aberto implementados através do Ollama, uma ferramenta que permite que pessoas e organizações executem as suas próprias versões de vários modelos de linguagem de grande escala.

Os investigadores conseguiram ver as instruções do sistema, que são as instruções que ditam como o modelo se comporta, em aproximadamente um quarto dos LLMs que observaram. Desses, determinaram que 7,5% poderiam potencialmente permitir atividades prejudiciais.

Cerca de 30% dos servidores observados pelos investigadores estão a operar a partir da China e cerca de 20% nos EUA.

Rachel Adams, CEO e fundadora do Global Center on AI Governance, disse num e-mail que, uma vez lançados os modelos abertos, a responsabilidade pelo que acontece a seguir torna-se partilhada em todo o ecossistema, incluindo os laboratórios de origem.

"Os laboratórios não são responsáveis por cada uso indevido subsequente (que é difícil de antecipar), mas mantêm um importante dever de cuidado para antecipar danos previsíveis, documentar riscos e fornecer ferramentas de mitigação e orientação, particularmente dada a capacidade de aplicação global desigual", disse Adams.

Um porta-voz da Meta recusou-se a responder a perguntas sobre as responsabilidades dos desenvolvedores em abordar preocupações em torno do abuso subsequente de modelos de código aberto e como as preocupações podem ser relatadas, mas observou as ferramentas Llama Protection da empresa para desenvolvedores Llama e o Meta Llama Responsible Use Guide da empresa.

Ram Shankar Siva Kumar, líder da Microsoft AI Red Team, disse num e-mail que a Microsoft acredita que os modelos de código aberto "desempenham um papel importante" em diversas áreas, mas, "ao mesmo tempo, temos consciência clara de que os modelos abertos, como todas as tecnologias transformadoras, podem ser mal utilizados por adversários se forem lançados sem as salvaguardas apropriadas."

A Microsoft realiza avaliações de pré-lançamento, incluindo processos para avaliar "riscos para cenários expostos à internet, auto-hospedados e de chamada de ferramentas, onde o uso indevido pode ser elevado", disse ele. A empresa também monitoriza ameaças emergentes e padrões de uso indevido. "Em última análise, a inovação aberta responsável requer compromisso partilhado entre criadores, implementadores, investigadores e equipas de segurança."

A Ollama não respondeu a um pedido de comentário. A Google da Alphabet e a Anthropic não responderam às perguntas. – Rappler.com