Menü
Thetis ist Ihr einfacher, transparenter und schneller Weg zur Unterstützung der Konformitätsbewertung gemäß der europäischen KI-Verordnung.
Der deutsche KI-Markt wird bis 2030 auf über 32 Milliarden Euro wachsen, begleitet von der neuen EU-KI-Verordnung und hohen Bußgeldern bei Verstößen. Proaktives Handeln erspart somit KI-Herstellern und Betreibern mögliche Kosten von bis zu 15 Millionen Euro oder 3 Prozent des weltweiten Jahresumsatzes.
Schaffen Sie jetzt mühelos Rechtssicherheit – mit Thetis, unserer Plattform für KI-Compliance. Thetis bietet intelligente Verwaltung, geführte Dokumentation und automatisierte Prüfung, damit Sie Ihre KI-Pflichten nicht nur effizient, sondern auch mit Leichtigkeit und Präzision erfüllen.
Der Countdown bis zum Inkrafttreten der KI-Verordnung läuft. Thetis ist Ihr starker Partner zur proaktiven und kontinuierlichen gesetzlichen Pflichterfüllung.
Thetis stellt mit Ihnen eine schnelle und effektive Erfüllung der gesetzlichen Forderungen sicher. Darüber hinaus garantieren Sie höchste Qualität und überzeugende Kundenprodukte – mit unseren Analysen der Performance und Robustheit von KI-Systemen.
Thetis begleitet Sie Schritt für Schritt bei der Dokumentation und Prüfung von KI-Systemen und integriert Prüfergebnisse sowie relevante Artikel der KI-Verordnung.
Unser Ampelsystem für technische Prüfungen ermöglicht es Juristen und Compliance-Verantwortlichen, kritische Aspekte wie Sicherheit, Transparenz und Fairness einfach einzuschätzen. Entwickler erhalten detaillierte Analysen und praxisnahe Empfehlungen zur Behebung potenzieller Schwachstellen.
Lassen Sie das Versions-Chaos zahlreicher Einzeldokumente hinter sich. Thetis versioniert den Bearbeitungsstand Ihrer Dokumentation übersichtlich und ganz automatisch.
Thetis ist zu 100 Prozent Made in Germany und entspricht so der Forderung der EU nach „AI made in Europe“.
Mit Thetis arbeiten KI-Entwickler und Juristen Hand in Hand. Teilen Sie den Zugriff auf KI-Projekte für mehrere Nutzer und sparen Sie den aufwändigen Schriftverkehr zum Austausch von Dokumenten.
Thetis findet die Schwachstellen von KI-Modellen und gibt hilfreiche Tipps zu ihrer Beseitigung. So erhalten KI-Entwickler konstruktives Feedback zum Erreichen der Qualitätsziele.
Im Kontext der Klassifikation (z. B. von Texten oder Bildern) berechnet Thetis verschiedene Metriken zur Bewertung der Leistungsfähigkeit eines KI-Systems:
Für Anwendungen der Regression (z. B. Vorhersage des Verkehrsaufkommens) berechnet Thetis verschiedene Metriken zur Leistungsbewertung des KI-Systems:
Für die Bewertung der Leistungsfähigkeit von KI-Systemen zur Objekterkennung (z. B. Erkennung von Fahrzeugen, Fußgängern oder Schildern im Straßenverkehr) berechnet Thetis folgende Metriken:
Die Bewertung eines Datensatzes, der für das Training oder die Evaluation eines KI-Systems verwendet wird, hängt von mehreren Faktoren ab. Ein wesentlicher Aspekt ist die Größe des Datensatzes: Dieser muss eine ausreichende Mindestgröße aufweisen, um für das Training eines KI-Systems geeignet zu sein oder um statistisch signifikante Aussagen über dessen Leistungsfähigkeit zu ermöglichen.
Ein weiterer wichtiger Faktor ist die Verteilung der Zielwerte innerhalb des Datensatzes. Ein potenzieller Bias kann das Training und die Evaluation des KI-Systems unmittelbar beeinflussen. Idealerweise sollten die Zielwerte gleichmäßig verteilt sein, was als Kriterium für die Datenbewertung dient. Das gleiche Prinzip gilt für die Verteilung geschützter Merkmale: Ein Datensatz wird negativ bewertet, wenn bestimmte Personengruppen über- oder unterrepräsentiert sind.
Für eine fundierte Bias- und Fairness-Analyse sind Annotationen zu geschützten Merkmalen in den Datensätzen erforderlich, die je nach Anwendungskontext ausgewählt werden. Bei Hochrisiko-Systemen erlaubt die KI-Verordnung (Art. 10 Abs. 5) eine Ausnahme von der DS-GVO (Art. 9 Abs. 1), sodass besonders geschützte Merkmale unter zusätzlichen Sicherheitsvorkehrungen verarbeitet werden können.
Zusätzlich zu diesen Aspekten fordert die KI-Verordnung gemäß Art. 10 Abs. 3 auch die Berücksichtigung weiterer Kriterien wie Relevanz, Repräsentanz, Fehlerfreiheit und Vollständigkeit der Daten. Auf Wunsch können wir anwendungsspezifische Analysewerkzeuge bereitstellen, um die individuellen Anforderungen der KI-Verordnung zu erfüllen (diese Analysewerkzeuge sind nicht Teil des „Thetis Data Quality“-Pakets).
Die KI-Verordnung fordert eine umfassende Analyse von Datensätzen zur Erkennung möglicher Verzerrungen (Bias) und zur Sicherstellung der Diskriminierungsfreiheit von KI-Systemen. Konkrete Vorgaben zur technischen Umsetzung macht die KI-Verordnung dabei nicht. Verschiedene technische Definitionen des Fairness-Begriffs in der Fachliteratur bieten jedoch Ansätze für eine fundierte Analyse und Bewertung.
Basierend auf der Definition der „Group Fairness“ prüft Thetis die statistische Unabhängigkeit von KI-Systemen in Bezug auf sensible Merkmale wie Geschlecht oder Herkunft. Auf diese Weise können die Gleichbehandlung unterschiedlicher Personengruppen gewährleistet und strukturelle Diskriminierung verhindert werden. Ergänzend dazu wird die Leistungsfähigkeit des Systems für verschiedene Personengruppen bewertet, um mögliche Benachteiligungen frühzeitig zu erkennen und zu vermeiden.
Für eine fundierte Bias- und Fairness-Analyse sind Annotationen zu geschützten Merkmalen in den Datensätzen erforderlich, die je nach Anwendungskontext ausgewählt werden. Bei Hochrisiko-Systemen erlaubt die KI-Verordnung (Art. 10 Abs. 5) eine Ausnahme von der DS-GVO (Art. 9 Abs. 1), sodass besonders geschützte Merkmale unter zusätzlichen Sicherheitsvorkehrungen verarbeitet werden können.
Die Zuverlässigkeit der Unsicherheitsschätzungen ist ein wesentlicher Aspekt der Betriebssicherheit von KI-Systemen. Gängige KI-Systeme geben neben dem eigentlichen Ergebnis oft ein Konfidenzmaß an, das die Sicherheit widerspiegelt, mit der das System die Korrektheit seiner Ausgabe selbst bewertet. Laut DIN SPEC 92005:2024 ist eine zuverlässige Unsicherheitsschätzung essenziell, um die Betriebssicherheit zu gewährleisten und im Bedarfsfall geeignete Sicherheitsmaßnahmen einzuleiten, falls das Konfidenzniveau unter einen bestimmten Schwellenwert fällt.
Zahlreiche Forschungsarbeiten haben jedoch gezeigt, dass moderne KI-Systeme ihr Konfidenzmaß häufig zu hoch einschätzen, was zu einer Abweichung von der tatsächlich beobachteten Fehlerrate führt. Ein Beispiel: Ein bestimmtes Detektionssystem gibt 100 erkannte Objekte mit einer Konfidenz von jeweils 90 % aus. Nutzer des Systems würden folglich erwarten, dass statistisch 90 von diesen 100 Objekten tatsächlich korrekt erkannt wurden. Weicht die beobachtete Fehlerrate jedoch von der Konfidenz ab, spricht man von einer Fehlkalibrierung der Unsicherheitsschätzung.
Mit Thetis können relevante Metriken berechnet sowie die Ergebnisse automatisiert bewertet und eingeordnet werden. Dadurch wird eine präzise und aussagekräftige Bewertung der Qualität der Unsicherheitsschätzung ermöglicht. Voraussetzung hierfür ist das Vorhandensein entsprechender Konfidenzinformationen zu den jeweiligen Schätzungen des KI-Systems.
Der Begriff der Robustheit eines KI-Systems setzt sich aus verschiedenen Aspekten der Safety (Betriebssicherheit, Schutz von Personen und Umwelt vor dem System) und der Security (Informationssicherheit, Schutz des Systems vor gezielten Angriffen) zusammen.
Zur Betriebssicherheit gehört die Sicherstellung der Leistungsfähigkeit des Systems bei externen Störfaktoren. Bei bildbasierten Verarbeitungsketten können dies beispielsweise Regentropfen auf der Kameralinse, Helligkeitsänderungen oder Sensorrauschen sein. Für solche Anwendungsfälle bietet Thetis die Möglichkeit, die folgenden Szenarien automatisiert zu analysieren und zu bewerten:
Weitere Aspekte der Robustheit betreffen die Informationssicherheit des Systems gegen gezielte Manipulationsversuche. Beispiele hierfür, die in Art. 15 Abs. 4 der KI-Verordnung genannt werden, sind die Manipulation des Trainingsdatensatzes oder Angriffe auf das KI-System selbst („Adversarial Attacks“). Der Schutz des Systems kann einerseits durch geeignete Cybersecurity-Maßnahmen gewährleistet werden, andererseits kann die Anfälligkeit des KI-Systems für Adversarial Attacks bewertet werden, um das Risiko solcher Szenarien realistisch einzuschätzen.
Die Prüfung eines Systems auf Anfälligkeit für Adversarial Attacks muss individuell auf das jeweilige System angepasst werden, da die Prüfverfahren häufig spezifisch für die Systemarchitektur sind. Im Rahmen von zusätzlichen Consulting-Leistungen können wir diese Prüfungen gemeinsam mit Ihnen durchführen.
Die technische Bewertung der Sicherheit von generativen KI-Systemen, wie sie beispielsweise für die Sprach- oder Bildgenerierung eingesetzt werden, erfordert eine individuelle Überprüfung. Wir unterstützen Sie hierbei gerne. Um die Unterschiede zwischen „klassischen“ diskriminativen und generativen KI-Systemen zu verdeutlichen, folgt eine kurze Einführung.
Diskriminative vs. Generative KI-Systeme
Diskriminative Systeme sind Modelle, die die direkte Beziehung zwischen Eingabedaten und Zielvariablen lernen, um genaue Vorhersagen zu ermöglichen. Sie werden in verschiedenen Anwendungen eingesetzt, wie der Klassifikation (z. B. Einordnung von Bildern in Kategorien), der Detektion (z. B. Erkennung von Fahrzeugen, Fußgängern oder Schildern im Straßenverkehr) oder der Regression (z. B. Vorhersage des Verkehrsaufkommens). Beispiele für diskriminative Modelle sind logistische Regression, Support Vector Machines (SVMs) und bestimmte Architekturen neuronaler Netze.
Generative KI-Systeme hingegen lernen die zugrunde liegende Verteilung der Daten, um neue, ähnliche Datenpunkte zu erzeugen. Sie beantworten Fragen wie: „Wie könnte ein neues, plausibles Beispiel aussehen, das aus denselben Daten stammt?“ Zu den generativen Modellen gehören Generative Adversarial Networks (GANs), Variational Autoencoders (VAEs) und Stable Diffusion, die zur Erstellung von Bildern, Texten oder Musik eingesetzt werden.
Bewertung von KI-Systemen: Diskriminative vs. Generative Ansätze
Die Einteilung eines KI-Systems in eine dieser beiden Kategorien hat direkte Auswirkungen auf die Bewertungsmethoden. Die Leistungsfähigkeit diskriminativer Systeme wird in der Regel durch den Vergleich der Prädiktionen des Systems auf einem Evaluationsdatensatz mit bekannten Zielwerten (Ground Truth) bestimmt, etwa durch den Vergleich der vorhergesagten Klasse mit der tatsächlichen Klasse bei der Bildklassifikation. Diese Bewertung folgt einem klar definierten Kriterium.
Die Bewertung generativer KI-Systeme gestaltet sich komplexer, da ihre Ausgaben oft Interpretationsspielraum lassen und keine eindeutige Ergebnisvorgabe in Form einer Ground Truth existiert. Die Leistungsbewertung solcher Systeme hängt stark vom spezifischen Anwendungskontext ab und erfordert daher zusätzlichen Aufwand und maßgeschneiderte Evaluationsmethoden.
Die technische Bewertung der Sicherheit von generativen KI-Systemen, wie sie beispielsweise für die Sprach- oder Bildgenerierung eingesetzt werden, erfordert eine individuelle Überprüfung. Vereinbaren Sie jetzt einen Termin mit uns.
Haben Sie weitere Fragen zur KI-Sicherheit oder benötigen Sie technische Unterstützung bei der Bewertung und Optimierung Ihres Systems? Unsere KI-Experten unterstützen Sie gerne.
Lorem ipsum dolor sit amet, consectetur adipiscing elit. Ut elit tellus, luctus nec ullamcorper mattis, pulvinar dapibus leo.
Lorem ipsum dolor sit amet, consectetur adipiscing elit. Ut elit tellus, luctus nec ullamcorper mattis, pulvinar dapibus leo.