KI & LLM SICHERHEIT
KI & LLM-Sicherheit für
regulierte Medizinprodukte
Probabilistische KI trifft auf deterministische Regulierung. Wir verfolgen die sich entwickelnden Leitlinien von OWASP und SAIF zur KI-Sicherheit, um die präzise technische Evidenz zu liefern, die für IEC 81001-5-1 und ISO 14971 Zertifizierung erforderlich ist.
Der zentrale Konflikt: Probabilistische KI vs. deterministische Regulierungen
Die Integration von generativer KI in ein Medizinprodukt führt zu nicht-deterministischen Angriffsflächen, die Standard-Cybersicherheit nicht erfasst. Ein generischer Penetrationstest erkennt keine subtilen Prompt-Injektionen, die zu klinischen Fehldiagnosen führen, noch befriedigt er eine Benannte Stelle, die fragt, wie Sie probabilistische Ausgaben unter IEC 81001-5-1 verifizieren.
Unser Ansatz:
Wir validieren die Verteidigungsmaßnahmen Ihrer KI gegen Prompt-Injection-Angriffe und Exploits zur Inferenzzeit, um sicherzustellen, dass Ihre Innovation das behördliche Audit übersteht.
Ein neues regulatorisches Feld
Es gibt noch keinen einzigen harmonisierten Standard für medizinische KI-Sicherheit. Wir synthetisieren Leitlinien vom neuesten Stand, um tragfähige, vertretbare Compliance-Strategien aufzubauen.
OWASP LLM Top 10
Definitive Liste kritischer GenAI-Schwachstellen.
Google SAIF
Secure AI Framework für konzeptionelle Verteidigung.
OWASP AI Exchange
Aufstrebender technischer Test-Leitfaden und Taxonomie.
EU AI Act & MDCG
Regulatorische Leitlinien für hochriskante medizinische KI.
Unsere Methodik für medizinische KI-Sicherheit
Adversarische Tests treffen auf regulatorische Governance.
LLM Red Teaming & Stress Testing
Wir nutzen adversarische Denkweisen, um die Ausrichtung und Sicherheitsbarrieren Ihres Modells zu brechen. Wir testen nicht nur auf technische Fehler, sondern auf gefährliche Verhaltensweisen in klinischem Kontext.
- •Prompt Injection & Jailbreaking: Robustheitstests gegen adversarische Eingaben (OWASP LLM01)
- •Data Leakage Probing: Versuche, Trainingsdaten oder PII durch Inferenz-Angriffe zu extrahieren
- •Safety Guardrail Evasion: Umgehung von Inhaltsfiltern, um schädliche oder unautorisierte medizinische Ratschläge auszulösen
KI-Anwendungssicherheit (SAIF-konform)
Ein KI-Modell ist nur so sicher wie die Anwendung, die es umhüllt. Wir bewerten die gesamte Infrastruktur um Ihr Modell herum und richten uns nach Googles Secure AI Framework (SAIF)-Prinzipien.
- •Unsichere Ausgabeverarbeitung: Sicherstellen, dass LLM-Ausgaben bereinigt werden, bevor sie nachgelagerte medizinische Systeme beeinflussen (OWASP LLM02)
- •Supply Chain & Model Theft: Absicherung von Gewichten, Embeddings und Abhängigkeiten von Drittanbietern
- •Inference-Time Monitoring: Bewertung von Mechanismen zur Echtzeit-Erkennung adversarischer Nutzung
MDR & EU AI Act Alignment
Wir übersetzen technische KI-Risiken in die Sprache der Auditoren. Wir helfen, probabilistische Erkenntnisse auf deterministische Risikomanagement-Anforderungen abzubilden.
- •EU AI Act Readiness: Sicherheitsvalidierung für hochriskante KI-Medizinsysteme
- •ISO 14971 Integration: Sicherheitsnachweise für KI-spezifische Bedrohungen
- •IEC 81001-5-1 Evidenz: Sicherheitstestnachweise für sicheres Lifecycle-Management von KI-Komponenten
Ihr Audit wird von Senior-Experten geleitet
Keine Junioren. Keine Generalisten. Spezialisten für Medizinproduktesicherheit.
Dr. rer. nat. Simon Weber
Senior Pentester & MedSec-Forscher
Ich evaluiere Ihr SaMD mit derselben branchenprägenden Sicherheitsexpertise, die ich dem BAK MV für die Überarbeitung des B3S-Standards beigetragen habe.
- Promotion über Krankenhaus-Cybersicherheit
- Kritische Schwachstellen in Krankenhaussystemen gefunden
- Alumni der THB MedSec-Forschungsgruppe
Dipl.-Inf. Volker Schönefeld
Senior Application Security Expert
Als ehemaliger CTO und Entwickler, der zum Pentester wurde, arbeite ich mit Ihrem Team zusammen, um Schwachstellen aufzudecken und Lösungen zu finden, die zu Ihrer Architektur passen.
- 20+ Jahre als CTO, 50+ Mio. App-Downloads
- Architektur und Absicherung großer IoT-Flotten
- Certified Web Exploitation Specialist
Checkliste für medizinische KI/LLM-Sicherheitsbereitschaft
Wichtige Validierungsanforderungen für die Integration probabilistischer Modelle in regulierte Medizinprodukte (MDR Klasse I, IIa & IIb, EU AI Act).
Governance & Risiko (ISO 14971)
- KI-Fehlermodi (Halluzinationen, Bias) in Risikomanagement-Akte abgebildet.
- Definierter klinischer Workflow für Human-in-the-Loop-Überwachung.
- Daten-Governance-Richtlinie für Herkunft, Einwilligung und Bias-Minimierung.
- Strikte Modellversionskontrolle, die Revalidierungsprotokolle auslöst.
Technische Verteidigung (OWASP/SAIF)
- Eingabevalidierungsschichten zur Erkennung von Prompt-Injection-Angriffen (OWASP LLM01).
- Strikte Bereinigung der LLM-Ausgabe vor Weitergabe an klinische Systeme.
- Maßnahmen zur Verhinderung von Data Poisoning während Training/Fine-Tuning (SAIF).
- Supply-Chain-Prüfung für Drittanbieter-Modelle und -Bibliotheken.
Regulatorische Ausrichtung
- Sicherheitsnachweise abgebildet auf MDR Anhang I (GSPR) Anforderungen.
- Einhaltung des IEC 81001-5-1 sicheren Entwicklungslebenszyklus.
- Proaktive Marktüberwachung (PMS) für Model Drift.
- Auditsichere Testergebnisse für EU AI Act "High-Risk" Systeme.
Ressourcen für den Aufbau sicherer medizinischer KI
Praktische Leitfäden für Entwicklungsteams, die unter neuen regulatorischen Anforderungen arbeiten.
OWASP Top 10 für LLM-Anwendungen (2025)
Der definitive Standard zur Identifizierung kritischer Schwachstellen in Generative AI-Anwendungen. Wir testen direkt gegen diese aktualisierte Liste.
Standard lesenGoogles Secure AI Framework (SAIF)
Ein konzeptionelles Framework zur Absicherung von KI-Systemen. Wir nutzen SAIF-Prinzipien, um sicherzustellen, dass Ihre Abwehrmaßnahmen skalieren und sich an neue Bedrohungen anpassen.
SAIF erkundenVom Pentest zur MDR-Zertifizierung
“Wir arbeiten seit mehreren Jahren mit Machine Spirits zusammen und schätzen ihre technische Expertise und unkomplizierte Zusammenarbeit. Ihre praxisnahen Empfehlungen haben maßgeblich dazu beigetragen, den Schutz der uns anvertrauten Patientendaten nachhaltig zu stärken.”
Ist Ihre medizinische KI bereit für die Benannte Stelle?
Lassen Sie KI-Sicherheitsrisiken nicht Ihre MDR- oder AI Act-Zertifizierung gefährden. Erhalten Sie die technische Evidenz, die Sie benötigen, um zu beweisen, dass Ihr System secure by design ist.
Telefon
+49 221 65031192Antwortzeit
Wir antworten in der Regel innerhalb von 24 Stunden an Werktagen auf alle Anfragen.
Durchschnittliche Antwortzeit: 6-12 Stunden