Die Potenziale von Künstlicher Intelligenz (KI) zu nutzen ist für die Zukunftsfähigkeit von Unternehmen mitentscheidend. Doch oft fehlt das Wissen, wie KI sicher eingesetzt werden kann. Im vom Bundesministerium für Wirtschaft und Klimaschutz (BMWK) geförderten Projekt SENSIBLE-KI haben Wissenschaft und Wirtschaft zusammengearbeitet und Sicherheit und Vertrauenswürdigkeit von mobilen und eingebetteten Systemen am Beispiel von Android-Systemen analysiert. Die wesentlichen Erkenntnisse bzw. Ergebnisse des Projekts sind: Softwarebasierte Security-Maßnahmen sind bereits heute gut einsetzbar. An hardwarebasierten Maßnahmen wird intensiv geforscht und gearbeitet, aktuell ist ihr Einsatz jedoch nur eingeschränkt möglich. Zwei Biometrie-Demonstratoren veranschaulichen den praktischen Einsatz von Security-Technologien.

KI-Methoden kommen in einer Vielzahl von Anwendungen zum Einsatz, beispielsweise in biometrischen Verifikationsverfahren wie bei Videokonferenz-Systemen oder der Gang-Authentisierung. KI ist zudem mehr und mehr direkt auf Endgeräten implementiert, wie z. B. im Fall der Spracherkennung auf Smartphones. Bisher stehen jedoch keine einheitlichen Herangehensweisen zur Absicherung von KI-Systemen in mobilen und eingebetteten Systemen zur Verfügung, was zu signifikanten Sicherheitslücken führen kann.

Fokus auf Android-Systeme und -Hardware

Das Forschungsprojekt SENSIBLE-KI hat sich in den vergangenen drei Jahren mit der Frage beschäftigt, wie KI-Systeme in mobilen Anwendungen und eingebetteten Systemen sicher und vertrauenswürdig gestaltet werden können. Der Fokus lag auf Android-Systemen und -Hardware sowie dem Schutz von besonders vertraulichen Daten (z. B. Patientendaten oder Betriebsgeheimnissen).

Die Forschungsarbeiten ergaben dabei folgende wesentliche Erkenntnisse:

• KI-Algorithmen sollen robust gegen Manipulation sein und datenschutzbewahrend arbeiten. Um beide Eigenschaften zu gewährleisten, ist ein anwendungsspezifisches Abwägen von softwarebasierten Maßnahmen, Anpassungen bei den KI-Lernalgorithmen, äußerst wichtig und notwendig. Softwarebasierte Maßnahmen können in der Trainingsphase des eingesetzten KI-Modells plattformunabhängig zur Stärkung von Robustheit und Privatsphäre eingesetzt werden.
• Hardwarebasierte Maßnahmen sind besonders auf Mobilgeräten aufgrund restriktiver Programmierschnittstellen (Application Programming Interface/API) und dadurch reduziertem Funktionsumfang von vertrauenswürdigen Ausführungsumgebungen (Trusted Execution Environments/TEEs)* sowie manipulationssicherer Hardware (Tamper Resistant Hardware) kaum umsetzbar.
• Könnte man eine KI-Anwendung vollständig in einer sicheren Umgebung (TEE) ausführen, würde dies alle im Projekt betrachteten Schutzziele zugleich abdecken: Die Anwendung wäre besser vor Manipulationen sowie illegitimen Zugriffen auf die Modellinhalte oder ihre Ausgabedaten geschützt. Die Umsetzung dieser Maßnahme gestaltet sich in der Praxis allerdings u.a. aufgrund von Ressourcenmangel in TEEs noch schwierig und ist aktuell nur auf eingebetteten Plattformen umsetzbar. Jedoch werden neue Forschungsansätze dazu entwickelt und auch Hardware-Hersteller haben den Bedarf erkannt und entwickeln Lösungen, die die Umsetzung in Zukunft erleichtern könnten.

»Wir haben KI-Systeme klassifiziert und deren Schutzbedarf bestimmt sowie geeignete Schutzmaßnahmen für charakteristische KI-Anwendungsfälle identifiziert. Wir verstehen nun vor allem besser, welche Sicherheitsmaßnahmen für KI auf Android-Plattformen umgesetzt werden können. Von diesen Erkenntnissen können Unternehmen profitieren, z.B. um eigene sichere Lösungen zu entwickeln« sagt Kinga Wróblewska-Augustin, Projektleiterin am Fraunhofer-Institut für Angewandte und Integrierte Sicherheit AISEC.

Robustere Echtzeiterkennung von Deepfake-Angriffen in Videokonferenzen

Die im Rahmen von SENSIBLE-KI entwickelten Methoden und Ansätze wurden von den Industriepartnern mit Unterstützung der beteiligten Forschungsinstitute in zwei Demonstratoren umgesetzt.

Der Forschungsprototyp zur Echtzeiterkennung von Deepfake-Angriffen in Videokonferenzen basiert auf Self-ID, einer innovativen Technologie der Bundesdruckerei, welche visuelle Selbsterkennung als biometrischen Identifikationsmechanismus nutzt. Durch Qualitätschecks der Eingabedaten sowie mittels »Adversarial Retraining«* konnte die Robustheit des KI-Systems gegen gezielte Manipulationen verbessert werden. Das Ausfiltern personenbezogener Daten, die Rückschlüsse auf die Trainingsdaten des KI-Modells geben könnten, erhöhte den Schutz der Privatsphäre.

Außerdem wurde Differential Privacy* innerhalb des Self-ID-Demonstrators erprobt, um festzustellen, welche Auswirkungen das Hinzufügen von Rauschen – das Unkenntlichmachen von Informationen über einzelne Trainingsdaten – auf die Qualität der Vorhersage hat, ob die betrachte Person sich selbst, einen Fremden oder ein Deepfake gesehen hat. Rauschen führt zwangsläufig zu einer Beeinträchtigung der Genauigkeit des Modells. Konkret wurde die Selbsterkennung oder Erkennung anderer Personen weniger genau. In der Untersuchung wurde das richtige Maß des benötigten Rauschens festgestellt, ohne mehr Genauigkeit als nötig zu verlieren.

Sichere Erkennung von Gangmustern bei Zutrittskontrollen

»SeamlessMe« ist ein Zutrittskontrollsystem, das die Authentifizierung anhand des Gangmusters durchführt. Der Algorithmus erkennt einzelne Gangmuster (One Class Classification) und Abweichungen (Novelty Detection). Dadurch ist er in der Lage, individuelle Vertrauensniveaus von Benutzenden zu erstellen, welches auf dem Gang des jeweiligen Benutzenden beruht. Der Benutzende wird anhand seines Gangs erkannt.

• Das Projekt wurde vom Bundesministerium für Wirtschaft und Klimaschutz (BMWK) gefördert. Das Gesamtprojektvolumen betrug ca. 850.000 Euro.
• Das Fraunhofer-Institut für Angewandte und Integrierte Sicherheit AISEC übernahm neben der Konsortialleitung die Erfassung und Evaluierung von software- und hardwarebasierten Maßnahmen auf eingebetteten Geräten.
• Die Bundesdruckerei GmbH entwickelte den Demonstrator zur Echtzeiterkennung von Deepfake-Angriffen in Videokonferenzen.
• Die neXenio GmbH unterstützte das Projekt mit ihrem Fachwissen im Bereich sicherer Softwareentwicklung, biometrischer Zugangssysteme und der Entwicklung der Demonstratoren.
• Die Hochschule Darmstadt hat Fachwissen und Evaluationen im Bereich von Schutzmaßnahmen für die Android-Plattform ins Projekt eingebracht.

• Trusted Execution Environments (TEEs): Sichere bzw. vertrauenswürdige Laufzeitumgebungen für Applikationen.
• Adversarial Example: Ein speziell manipuliertes Eingangs-Signal für Algorithmen des Maschinellen Lernens (ML), welches dieses absichtlich zu Fehlklassifikationen verleitet.
• Adversarial Retraining: Informationen aus Adversarial Examples werden für das ML-Training genutzt, um robustere ML-Modelle zu erstellen.
• Differential Privacy: Eine Metrik für Privatsphäre, die den Einfluss einzelner Daten auf das Ergebnis betrachtet. Methoden, die Differential Privacy umsetzen, gewährleisten Privatsphäre-Schutz für den gesamten Datensatz.