Talk auf der heise devsec am 25.09.24
Talk »Risiken für generative KI zum Verstehen und Mitnehmen«
LLM Security | KI Security | OWASP LLM Top 10
Über den Talk
Seit der Veröffentlichung von ChatGPT wird kein Thema so gehypt wie Large Language Models (LLMs) – und in keinem Thema gibt es aktuell mehr Innovationen. Gefühlt ist jedes Unternehmen auf der Suche nach LLM-bezogenen Business Cases, um den sprichwörtlichen Zug nicht zu verpassen. Wie so oft gehen hierbei Features vor Qualität und Security.
In unserem Vortrag teilen wir unsere Erkenntnisse aus internen und externen LLM-Experimenten und sortieren sie ein in den Kontext der OWASP Top 10 for LLMs. Außerdem vergleichen wir die Bedrohungen für LLMs mit denen für "herkömmliche KI" auf Basis von Machine Learning (ML). Schließlich setzen wir die Bedrohungen der OWASP Top 10 for LLMs in Bezug zu den bekannten und KI-unabhängigen Paradigmen für Anwendungssicherheit wie zum Beispiel die Trennung von Daten und Code.
Vorkenntnisse
Die Teilnehmer sollten über Basiswissen zum Thema Anwendungssicherheit verfügen, z.B. zu Injection-Schwachstellen wie XSS und SQL Injection. Fundierte Kenntnisse zu den KI-Themen und der Funktionsweise von Machine Learning und generativer KI sind hilfreich, aber nicht zwingend notwendig. Im Vortrag werden wir die wesentlichen Aspekte kurz erläutern.
Lernziele
Nach dem Vortrag haben die Teilnehmer ein Verständnis der OWASP Top 10 for LLMs.
Sie können im eigenen Arbeitsumfeld die Risiken für den Einsatz von LLMs bewerten und Gegenmaßnahmen vorschlagen.
Sie können Überschneidungen und Unterschiede zu den Risiken für ML-basierte Anwendungen darstellen und Parallelen zu bekannten Sicherheitsparadigmen erläutern.
Der Schutz vor LLMs und deren maliziöser Verwendung ist nicht im Scope.
Zeit und Ort
Köln, Dienstag, 24. September 2024 - 10:30 - 11:15
Bastian Braun ist Geschäftsführer der mgm security partners GmbH. Er berät Unternehmen bei der Einführung bzw. Weiterentwicklung ihrer Secure Software Development Lifecycles (SSDLC), gibt Seminare für Entwickler, Projektleiter und Entscheidungsträger und leitet Projekte im Sicherheitsbereich wie zum Beispiel die Analyseplattform ATLAS. Bastian ist OWASP Germany Chapter Leader.
Speaker
Benjamin Weller arbeitet bei der mgm security partners als Penetration Tester und Berater. Er unterstützt Unternehmen dabei, ihre IT-Sicherheit zu stärken. Als Trainer vermittelt er praxisnahes Security-Wissen und -Verständnis an Entwicklungsteams. Zudem engagiert er sich bei seinem örtlichen CCC-Ableger, um das Bewusstsein für die Chancen und Risiken von KI-Werkzeugen im Alltag zu schärfen.
Application Security und Secure Coding
LAS - Lean Application Security
Ein erprobtes Konzept für inhärent sichere Anwendungen und Systeme durch frühzeitige Einbindung von Sicherheit in den Softwareentwicklungsprozess.
ATLAS - Security Testing Platform
mgm ATLAS ist die effiziente Integration von automatisierten Tests in Entwicklungsprozesse. Es ergänzt unseren Lean Application Security Ansatz optimal um eine schlanke und skalierbare Testplattform.
