Open-Source-KI-Modelle anfällig für kriminellen Missbrauch, warnen Forscher

Hacker und andere Kriminelle können Computer, die Open-Source-Large-Language-Modelle außerhalb der Leitplanken und Beschränkungen der großen KI-Plattformen betreiben, leicht übernehmen und so Sicherheitsrisiken und Schwachstellen schaffen, sagten Forscher am Donnerstag, den 29. Januar.

Hacker könnten die Computer, auf denen die LLMs laufen, ins Visier nehmen und sie anweisen, Spam-Operationen, die Erstellung von Phishing-Inhalten oder Desinformationskampagnen durchzuführen und dabei Plattform-Sicherheitsprotokolle zu umgehen, sagten die Forscher.

Die Studie, die gemeinsam von den Cybersicherheitsunternehmen SentinelOne und Censys über einen Zeitraum von 293 Tagen durchgeführt und exklusiv mit Reuters geteilt wurde, bietet einen neuen Einblick in das Ausmaß potenziell illegaler Anwendungsfälle für Tausende von Open-Source-LLM-Implementierungen. Dazu gehören Hacking, Hassrede und Belästigung, gewalttätige oder grausame Inhalte, Diebstahl persönlicher Daten, Betrug, und in einigen Fällen Material über sexuellen Missbrauch von Kindern, sagten die Forscher.

Während Tausende von Open-Source-LLM-Varianten existieren, ist ein erheblicher Teil der LLMs auf internetfähigen Hosts Varianten von Metas Llama, Google DeepMinds Gemma und anderen, so die Forscher. Während einige der Open-Source-Modelle Leitplanken enthalten, identifizierten die Forscher Hunderte von Fällen, in denen Leitplanken ausdrücklich entfernt wurden.

Gespräche in der KI-Branche über Sicherheitskontrollen „ignorieren diese Art von Überkapazität, die eindeutig für alle möglichen verschiedenen Dinge genutzt wird, einiges davon legitim, einiges offensichtlich kriminell", sagte Juan Andres Guerrero-Saade, Executive Director für Intelligenz- und Sicherheitsforschung bei SentinelOne. Guerrero-Saade verglich die Situation mit einem „Eisberg", der in der gesamten Branche und der Open-Source-Community nicht ordnungsgemäß berücksichtigt wird.

Studie untersucht Systemaufforderungen

Die Studie analysierte öffentlich zugängliche Implementierungen von Open-Source-LLMs, die über Ollama bereitgestellt wurden, ein Tool, das es Menschen und Organisationen ermöglicht, ihre eigenen Versionen verschiedener Large-Language-Modelle zu betreiben.

Die Forscher konnten Systemaufforderungen, also die Anweisungen, die das Verhalten des Modells bestimmen, in etwa einem Viertel der von ihnen beobachteten LLMs sehen. Von diesen stellten sie fest, dass 7,5% potenziell schädliche Aktivitäten ermöglichen könnten.

Etwa 30% der von den Forschern beobachteten Hosts sind in China ansässig, und etwa 20% in den USA.

Rachel Adams, CEO und Gründerin des Global Center on AI Governance, sagte in einer E-Mail, dass die Verantwortung für das, was als nächstes passiert, sobald offene Modelle veröffentlicht werden, über das gesamte Ökosystem geteilt wird, einschließlich der ursprünglichen Labore.

„Labore sind nicht für jeden nachgelagerten Missbrauch verantwortlich (der schwer vorherzusehen ist), aber sie behalten eine wichtige Sorgfaltspflicht bei, vorhersehbare Schäden zu antizipieren, Risiken zu dokumentieren und Mitigations-Tools und Anleitungen bereitzustellen, insbesondere angesichts der ungleichen globalen Durchsetzungskapazität", sagte Adams.

Ein Sprecher von Meta lehnte es ab, auf Fragen zu den Verantwortlichkeiten der Entwickler bei der Behandlung von Bedenken hinsichtlich des nachgelagerten Missbrauchs von Open-Source-Modellen und wie Bedenken gemeldet werden könnten zu antworten, wies jedoch auf die Llama Protection-Tools des Unternehmens für Llama-Entwickler und den Meta Llama Responsible Use Guide des Unternehmens hin.

Ram Shankar Siva Kumar, Leiter des Microsoft AI Red Teams, sagte in einer E-Mail, dass Microsoft glaubt, dass Open-Source-Modelle „eine wichtige Rolle" in einer Vielzahl von Bereichen spielen, aber „gleichzeitig sind wir uns klar darüber, dass offene Modelle, wie alle transformativen Technologien, von Gegnern missbraucht werden können, wenn sie ohne angemessene Schutzmaßnahmen veröffentlicht werden."

Microsoft führt Bewertungen vor der Veröffentlichung durch, einschließlich Prozessen zur Bewertung von „Risiken für internetexponierte, selbstgehostete und Tool-Calling-Szenarien, bei denen der Missbrauch hoch sein kann", sagte er. Das Unternehmen überwacht auch aufkommende Bedrohungen und Missbrauchsmuster. „Letztendlich erfordert verantwortungsvolle offene Innovation gemeinsames Engagement von Erstellern, Bereitstellern, Forschern und Sicherheitsteams."

Ollama antwortete nicht auf eine Bitte um Stellungnahme. Alphabets Google und Anthropic antworteten nicht auf Fragen. – Rappler.com