KI & LLM Penetration Testing

Mit der wachsenden Verbreitung von KI-Technologien, insbesondere Large Language Models (LLMs), rückt deren Absicherung zunehmend in den Fokus. LLMs sind Bestandteil zahlreicher Anwendungen – von Chatbots über RAG-Systeme bis hin zu autonomen KI-Agenten. Sie eröffnen dabei neue Angriffsvektoren, die durch klassische Penetrationstests nicht abgedeckt werden.

Unsere KI-Penetrationstests prüfen Ihre LLM-integrierten Anwendungen gezielt auf Sicherheitslücken, die sich aus der Nutzung von Sprachmodellen ergeben. Wir orientieren uns dabei an den OWASP Top 10 for LLM Applications sowie dem Leitfaden der Allianz für Cyber-Sicherheit (BSI) für Penetrationstests von LLMs.

Warum KI-Pentesting?

Klassische Sicherheitstests auf deterministische Systeme wie Server oder Netzwerke reichen für LLM-basierte Anwendungen nicht aus. LLMs bringen besondere Herausforderungen mit sich:

• Nicht-deterministisches Verhalten: Aufgrund ihrer probabilistischen Natur können kleine Variationen in den Eingaben unvorhersehbare und potenziell schädigende Ausgaben erzeugen.
• Neue Angriffsvektoren: Prompt Injection, Jailbreaks, Datenexfiltration über Modellausgaben und Manipulation von RAG-Systemen sind Bedrohungen, die bei klassischer IT nicht existieren.
• Autonomie und Agentensysteme: KI-Agenten mit Tool-Zugriff und Entscheidungsautonomie erweitern die Angriffsfläche erheblich.
• Regulatorische Anforderungen: Der EU AI Act, NIS-2 und DORA fordern nachweisbare Sicherheitsprüfungen für KI-Systeme.

Sicherheitsbedrohungen bei KI & LLM

Die Bedrohungslandschaft für LLM-integrierte Anwendungen umfasst mehrere Kategorien:

Eingabe-basierte Angriffe

• Prompt Injection: Bösartige Anweisungen in Nutzereingaben manipulieren das Modellverhalten und umgehen Sicherheitsrichtlinien.
• Indirect Prompt Injection: Drittinhalte (z.B. Webseiten, Dokumente) enthalten versteckte Anweisungen, die das LLM fälschlicherweise als Befehle interpretiert.
• Jailbreaks: Gezielte Prompts führen dazu, dass das Modell antrainierte Verhaltensregeln nicht mehr vollständig anwendet.

Daten- und Kontextangriffe

• Information Leakage: Offenlegung von vertraulichen Informationen, Geschäftsgeheimnissen oder personenbezogenen Daten durch Modellausgaben.
• System Prompt Leakage: Offenlegung interner System-Prompts und Steuerlogiken, die Angreifern wertvolle Einblicke in die Anwendungsarchitektur geben.
• RAG-Manipulation: Manipulation von Retrieval-Augmented-Generation-Systemen durch vergiftete Datenquellen oder manipulierte Embeddings.
• Datenextraktion: Analyse von Modellausgaben, um Informationen zu Trainingsdaten zu rekonstruieren – etwa personenbezogene Daten oder Geschaeftsgeheimnisse.

Supply Chain und Modell

• Data & Model Poisoning: Manipulation von Trainings- oder Fine-Tuning-Daten, um das Modellverhalten im Sinne des Angreifers zu beeinflussen.
• Kompromittierte Modelle: Einsatz von Modellen oder Adaptern ohne Integritätsprüfung aus unsicheren Quellen.

Ausgabe und nachgelagerte Systeme

• Improper Output Handling: LLM-generierte Inhalte werden ohne Validierung an nachgelagerte Systeme übergeben und ermöglichen XSS, SQL-Injection oder Command-Injection.
• Halluzinationen und Misinformation: Plausible, aber faktisch falsche Ausgaben können zu Fehlentscheidungen fuehren.

Agentensysteme und Betrieb

• Excessive Agency: Zu breite Autonomie oder Berechtigungen von KI-Agenten ermöglichen unbeabsichtigte oder bösartige Aktionen.
• Tool Misuse: Missbrauch der einem Agenten zur Verfügung stehenden Werkzeuge und APIs.
• Unbounded Consumption: Unkontrollierte Inferenz‑Aufrufe führen zu Denial-of-Service oder übermäßigen Kosten (“Denial of Wallet”).

OWASP Top 10 for LLM Applications

Unsere Tests orientieren sich an den OWASP Top 10 for LLM Applications, dem branchenweit anerkannten Standard für die Sicherheit von LLM-Systemen:

Unser Testansatz

Unser KI-Penetrationstest folgt einem strukturierten, vierphasigen Prozess, der sich am Leitfaden der Allianz für Cyber-Sicherheit orientiert:

1. Business Understanding und Ist-Analyse

Wir entwickeln ein tiefgehendes Verständnis für Ihre KI-Anwendung, deren Einsatzkontext und die gewählte Bereitstellungsform. Dabei analysieren wir die Architektur auf Infrastruktur-, API- und Applikationsebene, um relevante Angriffsvektoren zu identifizieren und den Scope festzulegen.

2. Threat Modeling und Testplanung

Basierend auf der Ist-Analyse erstellen wir ein Bedrohungsmodell mit Methoden wie STRIDE oder ATT&CK. Daraus leiten wir eine priorisierte Teststrategie ab, die auf Ihre spezifischen Risiken und Compliance-Anforderungen zugeschnitten ist.

3. Test und Dokumentation

Wir führen gezielte Angriffe auf Ihr KI-System durch – von Prompt Injection über Datenexfiltration bis hin zu adversariellen Manipulationen. Alle Tests werden detailliert dokumentiert, um die Ausführung und Ergebnisse nachvollziehen zu können.

4. Evaluation, Risikobewertung und Reporting

Die gefundenen Schwachstellen werden nach Schweregrad und geschäftlichen Auswirkungen bewertet. Sie erhalten einen detaillierten Bericht mit:

• Management-Zusammenfassung für Entscheidungstraeger
• Technischer Bericht mit Reproduktionsschritten und CVSS-Bewertungen
• Konkrete Handlungsempfehlungen zur Härtung Ihres Systems
• Langfristiges Konzept für kontinuierliche Sicherheitspruefungen

Was wir testen

Unser KI-Penetrationstest deckt alle relevanten Aspekte LLM-integrierter Anwendungen ab:

• LLM-Chatbots und Assistenten – Einfache und komplexe Chat-Interfaces
• RAG-Systeme – Retrieval-Augmented Generation mit externen Wissensquellen
• KI-Agentensysteme – Autonome Agenten mit Tool-Zugriff und Entscheidungslogik
• API-Integrationen – LLM-APIs und deren Absicherung gegen Missbrauch
• Workflows und Pipelines – Verkettete LLM-Aufrufe und automatisierte Verarbeitungsprozesse
• Microsoft Copilot und Enterprise-KI – M365 Copilot, Copilot Studio und vergleichbare Produkte

Regulatorischer Kontext

KI-Penetrationstests sind nicht nur technisch sinnvoll, sondern werden zunehmend regulatorisch gefordert:

EU AI Act

Die KI-Verordnung der EU fordert für Hochrisiko-KI-Systeme ein Risikomanagementsystem, das Penetrationstests als Nachweis für Genauigkeit, Robustheit und Cybersicherheit einschließt (Art. 9 und Art. 15 KI-VO).

NIS-2-Richtlinie

Betroffene Einrichtungen müssen technische, operative und organisatorische Maßnahmen zur Risikominderung ergreifen. Penetrationstests sind ein etabliertes Mittel zur Bewertung der Wirksamkeit dieser Maßnahmen.

DORA

Der Digital Operational Resilience Act verpflichtet Unternehmen im Finanzsektor zu kontinuierlichen Resilienztests ihrer IKT‑Systeme – einschließlich KI‑basierter Anwendungen.

DSGVO

Art. 32 DSGVO fordert die regelmäßige Überprüfung der Wirksamkeit technischer und organisatorischer Sicherheitsmaßnahmen. Penetrationstests sind ein bewährtes Mittel, insbesondere wenn KI-Systeme personenbezogene Daten verarbeiten.

Ihr Vorteil mit softScheck

• Spezialisierte Expertise: Unsere Penetrationstester vereinen klassische IT-Security-Erfahrung mit fundiertem Wissen über KI-Architekturen und LLM-spezifische Angriffstechniken.
• Standards-basiert: Wir arbeiten nach OWASP Top 10 for LLM Applications, dem BSI-Leitfaden für LLM-Penetrationstests und weiteren anerkannten Standards.
• Compliance-ready: Unsere Reports sind so aufgebaut, dass sie als Nachweis für regulatorische Anforderungen (EU AI Act, NIS-2, DORA, DSGVO) dienen koennen.
• Herstellerunabhaengig: Wir testen unabhängig von Modell, Plattform und Anbieter – ob OpenAI, Anthropic, Open-Source-Modelle oder eigene Fine-Tunes.

Setzen Sie Ihre KI-Systeme keinem unnötigen Risiko aus. Kontaktieren Sie uns für eine individuelle Beratung zu Ihrem KI-Penetrationstest!