Les modèles d'IA open-source vulnérables à un usage criminel, avertissent des chercheurs

Les hackers et autres criminels peuvent facilement prendre le contrôle d'ordinateurs exploitant des modèles de langage de grande taille open-source en dehors des garde-fous et des contraintes des principales plateformes d'intelligence artificielle, créant ainsi des risques et des vulnérabilités de sécurité, ont déclaré des chercheurs jeudi 29 janvier.

Les hackers pourraient cibler les ordinateurs exécutant les LLMs et les diriger pour mener des opérations de spam, la création de contenu de phishing ou des campagnes de désinformation, en contournant les protocoles de sécurité de la plateforme, ont déclaré les chercheurs.

La recherche, menée conjointement par les entreprises de cybersécurité SentinelOne et Censys sur une période de 293 jours et partagée exclusivement avec Reuters, offre une nouvelle perspective sur l'ampleur des cas d'utilisation potentiellement illicites pour des milliers de déploiements de LLM open-source. Ceux-ci incluent le hacking, les discours de haine et le harcèlement, le contenu violent ou gore, le vol de données personnelles, les escroqueries en ligne ou la fraude, et dans certains cas du matériel d'abus sexuel sur enfants, ont déclaré les chercheurs.

Bien que des milliers de variantes de LLM open-source existent, une partie importante des LLMs sur les hôtes accessibles par internet sont des variantes du Llama de Meta, du Gemma de Google DeepMind, et d'autres, selon les chercheurs. Bien que certains des modèles open-source incluent des garde-fous, les chercheurs ont identifié des centaines de cas où les garde-fous ont été explicitement supprimés.

Les conversations de l'industrie de l'IA sur les contrôles de sécurité « ignorent ce type de capacité excédentaire qui est clairement utilisée pour toutes sortes de choses différentes, certaines légitimes, d'autres manifestement criminelles », a déclaré Juan Andres Guerrero-Saade, directeur exécutif de la recherche en renseignement et sécurité chez SentinelOne. Guerrero-Saade a comparé la situation à un « iceberg » qui n'est pas correctement pris en compte dans l'ensemble de l'industrie et de la communauté open-source.

L'étude examine les invites système

La recherche a analysé les déploiements publiquement accessibles de LLMs open-source déployés via Ollama, un outil qui permet aux personnes et aux organisations d'exécuter leurs propres versions de divers modèles de langage de grande taille.

Les chercheurs ont pu voir les invites système, qui sont les instructions qui dictent le comportement du modèle, dans environ un quart des LLMs qu'ils ont observés. Parmi ceux-ci, ils ont déterminé que 7,5% pourraient potentiellement permettre une activité nuisible.

Environ 30% des hôtes observés par les chercheurs opèrent depuis la Chine, et environ 20% aux États-Unis.

Rachel Adams, PDG et fondatrice du Global Center on AI Governance, a déclaré dans un e-mail qu'une fois les modèles ouverts publiés, la responsabilité de ce qui se passe ensuite devient partagée dans l'ensemble de l'écosystème, y compris les laboratoires d'origine.

« Les laboratoires ne sont pas responsables de chaque mauvaise utilisation en aval (qui est difficile à anticiper), mais ils conservent un devoir de diligence important pour anticiper les préjudices prévisibles, documenter les risques et fournir des outils et des conseils d'atténuation, en particulier compte tenu de la capacité d'application mondiale inégale », a déclaré Adams.

Un porte-parole de Meta a refusé de répondre aux questions sur les responsabilités des développeurs pour traiter les préoccupations concernant l'abus en aval des modèles open-source et comment les préoccupations pourraient être signalées, mais a noté les outils Llama Protection de l'entreprise pour les développeurs Llama, et le Meta Llama Responsible Use Guide de l'entreprise.

Ram Shankar Siva Kumar, responsable de l'équipe AI Red Team de Microsoft, a déclaré dans un e-mail que Microsoft estime que les modèles open-source « jouent un rôle important » dans divers domaines, mais « en même temps, nous sommes lucides sur le fait que les modèles ouverts, comme toutes les technologies transformatrices, peuvent être détournés par des adversaires s'ils sont publiés sans garde-fous appropriés ».

Microsoft effectue des évaluations avant publication, y compris des processus pour évaluer « les risques pour les scénarios exposés sur internet, auto-hébergés et d'appel d'outils, où la mauvaise utilisation peut être élevée », a-t-il déclaré. L'entreprise surveille également les menaces émergentes et les modèles de mauvaise utilisation. « En fin de compte, l'innovation ouverte responsable nécessite un engagement partagé entre les créateurs, les déployeurs, les chercheurs et les équipes de sécurité. »

Ollama n'a pas répondu à une demande de commentaire. Google d'Alphabet et Anthropic n'ont pas répondu aux questions. – Rappler.com