Fraunhofer-Institut für Angewandte und Integrierte Sicherheit
Fraunhofer-Institut für Angewandte und Integrierte Sicherheit

Cognitive Security Technologies

Künstliche Intelligenz und IT-Sicherheit

Die Abteilung Cognitive Security Technologies forscht an der Schnittstelle zwischen Künstlicher Intelligenz (KI) und IT-Sicherheit.

Dabei stehen zwei Aspekte im Vordergrund:

Anwendung von KI-Methoden in der IT-Sicherheit

Moderne IT-Systeme zeichnen sich durch eine rasant wachsende Komplexität aus. Die Entwicklung aktueller und zukünftiger Informations- und Kommunikationstechnik eröffnet neue, bisher ungeahnte Herausforderungen: Von der zunehmenden Vernetzung auch kleinster kommunikationsfähiger Einheiten und deren Zusammenschluss zum Internet der Dinge, über die globale Anbindung kritischer Infrastrukturen an ungesicherte Kommunikationsnetze, bis hin zur Absicherung digitaler Identitäten: Der Mensch sieht sich mit der Herausforderung konfrontiert, die Sicherheit und Stabilität all dieser Systeme zu gewährleisten.

Damit die IT-Sicherheit mit dieser rasanten Entwicklung Schritt halten kann, muss die Automatisierung weiterentwickelt und neu gedacht werden. Die Forschungsabteilung Cognitive Security Technologies erforscht und entwickelt teil-automatisierte Sicherheitslösungen, die mittels KI den Menschen bei der Untersuchung und Absicherung sicherheitskritischer Systeme unterstützen.

Sicherheit von Machine-Learning und KI-Algorithmen

Genau wie herkömmliche IT-Systeme können auch KI-Systeme angegriffen werden. Durch Adversial Examples ist es beispielsweise möglich, eine Gesichtserkennungs-KI zu manipulieren. Angreifer können sich so bei sicherheitskritischen Zugangsverwaltungen, die auf KI-Systeme setzen, unerlaubten Zugang verschaffen. Ähnliche Angriffsszenarien betreffen zum Beispiel auch den Bereich des autonomen Fahrens, bei dem sich der Mensch auf die Robustheit und Stabilität der Assistenzsysteme verlassen muss.

Die Abteilung Cognitive Security Technologies am Fraunhofer AISEC erforscht, wie sich derartige Schwachstellen in KI-Algorithmen finden und beheben lassen. Weiterhin bietet die Abteilung Tests zur Härtung derartiger KI-Systeme an.

GPU-Cluster mit hoher Rechenleistung

Deep Learning und KI erfordern sehr hohe Rechenleistung. Das Fraunhofer AISEC unterhält deshalb mehrere GPU-Cluster, die speziell für Deep Learning optimiert sind. Diese Ressourcen werden kontinuierlich mit der neusten Technik ausgebaut. Dies ermöglicht es, die aktuellsten Modelle schnell und effizient zu trainieren, um Entwicklungszyklen kurz zu halten.

 

Angebote im Überblick

Unser Ziel ist es, in enger Zusammenarbeit mit unseren Partnern und Kunden die Sicherheit von Systemen und Produkten systematisch zu verbessern. Hierbei nutzen wir die Möglichkeiten modernster KI-Algorithmen, um die Systemzuverlässigkeit umfassend bewerten zu können und Sicherheit und Robustheit nachhaltig über den gesamten Lebenszyklus zu bewahren.

Sicherheit bewerten

  • Bewertung von KI-basierten Sicherheitsprodukten, wie z.B. Gesichtserkennungskameras oder Audio-Systemen wie Sprachsynthese, Spracherkennung oder stimmbasierte Nutzererkennung
  • Erklärbarkeit von KI-Methoden (Explainable AI)
  • Hardware-Reversing und Pentesting mittels Künstlicher Intelligenz, z.B. durch Seitenkanalangriffe auf eingebettete Geräte
  • Bewertung der Korrektheit von Datensätzen, sowohl gegenüber zufälligen Fehlern (etwa falsche Annotationen) als auch Angriffen (Adversarial Data Poisoning)
  • Bewertung von Trainings-Pipelines für Maschinelles Lernen (ML): Untersuchung der Korrektheit der verwendeten Preprocessing-Methoden, Algorithmen und Metriken

 

Sicherheit gestalten  

  • Implementierung und Weiterentwicklung von Ansätzen aus dem Bereich Privacy Preserving Machine Learning: Training von Modellen auf fremden Datensätzen, unter Wahrung der Vertraulichkeit von Datensätzen oder Modellen
  • Authentisierung und Human Machine Interface (HMI) Security
  • Unterstützung in der Auswertung von Security-Log Dateien mithilfe von Natural Language Processing
  • Informationsaggregierung zur Systemanalyse und Überwachung mithilfe von ML-basierter Auswertung von Datenströmen, Log-Dateien und weiteren Datenquellen

 

Sicherheit bewahren

  • Konzeption und Prototyping von leistungsfähriger, KI-unterstützter Anomalieerkennung
  • Konzeption und Prototyping von KI-unterstützer Fraud-Detection
  • Lagebilderstellung mithilfe von Bild-, Text- und Audiomaterialen (u.a. durch Open Source Intelligence)
  • Entwicklung von Algorithmen im Bereich Predictive Security
  • Erstellung von automatisierten Lösungen zur Umsetzung der DSGVO-Richtlinien
  • Seminar- und Schulungskurse zum Thema KI für IT-Sicherheit
  • Entwicklung von Erkennungsalgorithmen für Deepfake-Materialien
  • Implementierung von KI-basierten Elementen zum IP-Schutz

Expertise

Das Fraunhofer AISEC ist deutschlandweit führend im Bereich der Härtung und Robustness-Analyse von KI-Methoden. Durch hochkarätige Veröffentlichungen in internationalen Konferenzen und die enge Zusammenarbeit mit unseren Industriepartnern kennt die Abteilung Cognitive Security Technolgoies die aktuellen Herausforderungen und bietet entsprechende Lösungsanätze.

Einer der Forschungsschwerpunkte ist beispielsweise die Entwicklung eines Prüfverfahrens, welche KI-Modelle auf ihre Angreifbarkeit bewertet und geeignete Key-Performance-Indikatioren (KPI) erstellt. Dies erlaubt dem Modellinhaber, die Verwundbarkeit des eigenen Systems abzuschätzen, vergleichbar mit klassischen Penetration Tests. In einem zweiten Schritt können die Modelle dann entsprechend gehärtet werden.

Die Forschungsabteilung Cognitive Security Technologies verfügt über fundierte Expertise in folgenden Bereichen:

  • Adversarial Machine Learning
  • Anomaly Detection
  • Natural Language Processing
  • KI-basiertes Fuzzing
  • User Behaviour Analysis
  • Analysis of Encrypted Network Traffic
  • KI für eingebettete Systeme
  • General Machine Learning

Ausgewählte Projekte

SuKI – Sicherheit für und mit Künstlicher Intelligenz

Die zunehmende Vernetzung und Digitalisierung stellen immer neue Herausforderungen an die IT-Sicherheit. Auf der einen Seite bietet KI vielfältige Chancen, wie zum Beispiel eine einfachere Aggregation von Informationen, niedrigschwelligere Nutzungsangebote oder die Vermeidung von Gefahren durch menschliches Fehlverhalten. Gleichzeitig wird es immer wichtiger, die Sicherheit von KI geeignet zu überprüfen.

Hier setzt das Projekt SuKI an, um angewandte Forschung an der Schnittstelle zwischen künstlicher Intelligenz und IT-Sicherheit voranzubringen.

Das Projekt wird über die nächsten fünf Jahre mit 5 Mio. Euro vom Bayerischen Staatsministerium für Wirtschaft, Landesentwicklung und Energie gefördert.

Zum Projekt

»Deepfakes«: Mit KI-Systemen Audio- und Videomanipulationen verlässlich entlarven

Künstliche Intelligenz bietet unzählige Chancen, birgt aber auch neue Risiken: »Deepfakes« ist dabei ein wichtiges Schlagwort. Dies sind täuschend echt wirkende Video- und Audiomanipulationen, die nur mit KI hergestellt werden können. Die damit einhergehenden Herausforderungen sind erheblich – nicht nur für die Medienlandschaft, sondern auch für Unternehmen und Einzelpersonen. Zugleich bietet KI aber auch das Rüstzeug, um »Deepfakes« verlässlich zu entlarven.

Die IT-Sicherheitsexpert*innen der Forschungsabteilung Cognitive Security Technologies (CST) gestalten Systeme, die »Deepfakes« sicher und automatisiert als Fälschungen aufdecken. Außerdem forschen sie zu Methoden zur Stärkung der Robustheit von Systemen, die Video- und Audiomaterial auswerten. 

Zum Spotlight

Weitere Projekte

 

© ZVKI

Informieren, beraten und Vertrauen stärken

Zentrum für Vertrauenswürdige Künstliche Intelligenz

Im ZVKI erarbeitet das Fraunhofer AISEC technische Grundlagen für diskriminierungsfreie, faire, sichere und robuste KI-Systeme und befähigt Unternehmen, Politik und Verbraucher*innen, den Nutzen von KI eigenverantwortlich beurteilen zu können.

 

AIDpro

Anomalieerkennung in der Produktion

 

ECOSSIAN

Erkennungs- und Frühwarnsystem für kritische Infrastrukturen

 

 

 

 

CyberFactory#1

Entwurf, Entwicklung, Integration und Demonstration einer hochgradig vernetzten und resilienten, industriellen Produktion

Das Projekt wurde mit dem Award of Excellence 2022 for Business Impact ausgezeichnet.

 

SeCoIIA

KI-gestützte Absicherung hochvernetzter, vollautomatisierter Industrieproduktion

 

BayQS

Das Bayerische Kompetenzzentrum Quanten Security and Data Science erforscht relevante Software-Fragestellungen im Zusammenhang von Quantencomputing und entwickelt Lösungen, um die Industrie bei der Identifikation von Quantenvorteilen bei praxisrelevanten Problemen zu unterstützen.

Publikationen

Alle ausklappen Alle einklappen

  • Ching-Yu Kao, Iheb Ghanmi, Houcemeddine Ben Ayed, Ayush Kumar, Konstantin Böttinger: »Near Real-Time Detection and Rectification of Adversarial Patches«. In: Future of Information and Communication Conference. Springer, 2024, pp. 174–196.
  • Nicolas M. Müller, Nick Evans, Hemlata Tack, Philip Sperl, Konstantin Böttinger: »Harder or Different? Understanding Generalization of Audio Deepfake Detection «. In: Interspeech 2024 (2024).
  • Nicolas M. Müller, Piotr Kawa, Wei Herng Choong, Edresson Casanova, Eren Gölge, Thorsten Müller, Piotr Syga, Philip Sperl, Konstantin Böttinger: »MLAAD: The Multi-Language Audio Anti-Spoofing Dataset «. In: International Joint Conference on Neural Networks (IJCNN), 2024.
  • Nicolas M. Müller, Piotr Kawa, Shen Hu, Matthias Neu, Jennifer Williams, Philip Sperl, Konstantin Böttinger: »A New Approach to Voice Authenticity «. In: Interspeech 2024 (2024).
  • Nicolas M. Müller, Simon Roschmann, Shahbaz Khan, Philip Sperl, Konstantin Böttinger: »Shortcut Detection with Variational Autoencoders «. In: International Joint Conference on Neural Networks (IJCNN), 2024.

  • Nicolas M. Müller, Maximilian Burgert, Pascal Debus, Jennifer Williams, Philip Sperl, and Konstantin Böttinger. Protecting Publicly Available Data With Machine Learning Shortcuts. In: BMVC 2023.
  • N. Müller, J. Jochen, J. Williams, K. Böttinger.  „Localized Shortcut Removal”. In: 2nd XAI4CV Workshop at CVPR. 2023.

  • Müller, N. M., Czempin, P., Dieckmann, F., Froghyar, A. and Böttinger, K. “Does Audio Deepfake Detection Generalize?” In: Interspeech (2022).
  • Müller, N. M., Dieckmann, F. and Williams, J. “Attacker Attribution of Audio Deepfakes”. In: Interspeech (2022).
  • Sava, P.-A., Schulze, J-Ph, Sperl, P., Böttinger, K. "Assessing the Impact of Transformations on Physical Adversarial Attacks." Proceedings of the 15th ACM Workshop on Artificial Intelligence and Security (AISec 2022).
  • Schulze, J.-Ph., Sperl, P., Radutoiu, A., Sagebiel, C., Böttinger, K. "R2-AD2: Detecting Anomalies by Analysing the Raw Gradient." In European Conference on Machine Learning and Principles and Practice of Knowledge Discovery in Databases (ECML-PKDD 2022).
  • Schulze, J.-Ph., Sperl, P., Böttinger, K. "Double-Adversarial Activation Anomaly Detection: Adversarial Autoencoders are Anomaly Generators." In International Joint Conference on Neural Networks (IJCNN 2022).
  • Schulze, J.-Ph., Sperl, P., Böttinger, K. "Anomaly Detection by Recombining Gated Unsupervised Experts." In International Joint Conference on Neural Networks (IJCNN 2022).
  • Kao, C., Chen, J. Pizzi, K, Böttinger, K. "Rectifying adversarial inputs using XAI Techniques." Proceedings of the European Association for Signal Processing 2022 (EURASIP 2022).
  • Kao, C., Wan, H., Pizzi, K., Böttinger, K. "Real or Fake? A Practical Method for Detecting Tempered Images." Proceedings of the international image processing application and systems 2022 (IPAS 2022). (Best session paper award)
  • Choosaksakunwiboon, S., Pizzi, K., & Kao, C. Y. Comparing Unsupervised Detection Algorithms for Audio Adversarial Examples. In International Conference on Speech and Computer (pp. 114-127). Springer, Cham. (2022).
  • Müller, N. M., Markert, K., Böttinger, K. "Human Perception of Audio Deepfakes". ACM Multimedia. (2022).

  • Karla Markert, Donika Mirdita, and Konstantin Böttinger. “Language Dependencies in Adversarial Attacks on Speech Recognition Systems”. In: Proc. 2021 ISCA Symposium on Security and Privacy in Speech Communication. 2021, pp. 25–31. DOI: 10.21437/SPSC.2021-6.
  • Karla Markert, Romain Parracone, Mykhailo Kulakov, Philip Sperl, Ching-Yu Kao, and Konstantin Böttinger. “Visualizing Automatic Speech Recognition – Means for a Better Understanding?” In: Proc. 2021 ISCA Symposium on Security and Privacy in Speech Communication. 2021, pp. 14–20. DOI: 10.21437/SPSC.2021-4.
  • N. Müller and K. Böttinger. “Adversarial Vulnerability of Active Transfer Learning”. In: Symposium on Intelligent Data Analysis 2021. 2021.
  • Nicolas Müller, Franziska Dieckmann, Pavel Czempin, Roman Canals, and Konstantin Böttinger. “Speech is Silver, Silence is Golden: What do ASV-spoof-trained Models Really Learn?” In: ASV-Spoof 2021 Workshop. 2021.
  • Jan-Philipp Schulze, Philip Sperl, and Konstantin Böttinger. “DA3G: Detecting Adversarial Attacks by Analysing Gradients”. In: Computer Security – ESORICS 2021. Springer, 2021. DOI: 10.1007/978- 3- 030- 88418- 5_27. URL: https://doi.org/10.1007/978-3-030-88418-5_27.
  • Philip Sperl, Jan-Philipp Schulze, and Konstantin Böttinger. “Activation Anomaly Analysis”. In: Machine Learning and Knowledge Discovery in Databases. Ed. by Frank Hutter, Kristian Kersting, Jefrey Lijffijt, and Isabel Valera. Cham: Springer International Publishing, 2021, pp. 69–84. ISBN: 9783030676612.

  • Tom Dörr, Karla Markert, Nicolas M. Müller, and Konstantin Böttinger. “Towards Resistant AudioAdversarial Examples”. In: 1st Security and Privacy on Artificial Intelligent Workshop (SPAI’20). ACMAsiaCCS. Taipei, Taiwan, 2020. DOI: https://doi.org/10.1145/3385003.3410921.
  • Karla Markert, Donika Mirdita, and Konstantin Böttinger. “Adversarial Attacks on Speech Recognition Systems: Language Bias in Literature”. In: ACM Computer Science in Cars Symposium (CSCS). Online, 2020.
  • Karla Markert, Romain Parracone, Philip Sperl, and Konstantin Böttinger. “Visualizing Automatic Speech Recognition”. In: Annual Computer Security Applications Conference (ACSAC). Online, 2020.
  • N. Müller, D. Kowatsch, and K. Böttinger. “Data Poisoning Attacks on Regression Learning and Corresponding Defenses”. In: 25th IEEE Pacific Rim International Symposium on Dependable Computing (PRDC). 2020
  • N. Müller, S. Roschmann, and K. Böttinger. “Defending Against Adversarial Denial-of-Service Data Poisoning Attacks”. InDYNAMICS Workshop, Annual Computer Security Applications Conference (ACSAC). 2020.
  • P. Sperl and K. Böttinger. “Optimizing Information Loss Towards Robust Neural Networks”. In: DYNAMICS Workshop, Annual Computer Security Applications Conference (ACSAC). 2020.
  • Sperl P., Kao C., Chen P., Lei X., Böttinger K. (2020) DLA: Dense-Layer-Analysis for Adversarial Example Detection. 5th IEEE European Symposium on Security and Privacy (EuroS&P 2020).
  • Müller, N.,  Debus, P., Kowatsch, D. & Böttinger, K. (2019, July). Distributed Anomaly Detection of Single Mote Attacks in RPL Networks. Accepted for publication at 16th International Conference on Security and Cryptography (SECRYPT). Scitepress.
  • Schulze, J.-Ph., Mrowca, A., Ren, E., Loeliger, H.-A., Böttinger, K. (2019, July). Context by Proxy: Identifying Contextual Anomalies Using an Output Proxy. Accepted for publication at The 25th ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD ’19).
  • Fischer, F., Xiao, H., Kao, C., Stachelscheid, Y., Johnson, B., Razar, D., Furley, P., Buckley, N, Böttinger, K., Muntean, P., Grossklags, J. (2019) Stack Overflow Considered Helpful! Deep Learning Security Nudges Towards Stronger Cryptography, Proceedings of the 28th USENIX Security Symposium (USENIX Security).
  • Müller, N., & Kowatsch, D., Debus, P., Mirdita, D. & Böttinger, K. (2019, September). On GDPR compliance of companies' privacy policies. Accepted for publication at TSD 2019.
  • Müller, N., & Markert, K. (2019, July). Identifying Mislabeled Instances in Classification Datasets. Accepted for publication at IJCNN 2019.
  • Sperl, P., Böttinger, K. (2019). Side-Channel Aware Fuzzing. In Proceedings of 24rd European Symposium on Research in Computer Security (ESORICS). Springer.
  • Engelmann, S., Chen, M., Fischer, F., Kao, C. Y., & Grossklags, J. (2019, January). Clear Sanctions, Vague Rewards: How China’s Social Credit System Currently Defines “Good” and “Bad” Behavior. In Proceedings of the Conference on Fairness, Accountability, and Transparency (pp. 69-78). ACM.

  • Xiao, H. (2017). Adversarial and Secure Machine Learning (Doctoral dissertation, Universität München).
  • Schneider, P., & Böttinger, K. (2018, October). High-Performance Unsupervised Anomaly Detection for Cyber-Physical System Networks. In Proceedings of the 2018 Workshop on Cyber-Physical Systems Security and PrivaCy (pp. 1-12). ACM.
  • Fischer, F., Böttinger, K., Xiao, H., Stransky, C., Acar, Y., Backes, M., & Fahl, S. (2017, May). Stack overflow considered harmful? the impact of copy&paste on android application security. In Security and Privacy (SP), 2017 IEEE Symposium on (pp. 121-136). IEEE.
  • Böttinger, R. Singh, and P. Godefroid. Deep Reinforcement Fuzzing. In IEEE Symposium on Security and Privacy Workshops, 2018.
  • Böttinger, K. (2017, May). Guiding a Colony of Black-Box Fuzzers with Chemotaxis. In Security and Privacy Workshops (SPW), 2017 IEEE (pp. 11-16). IEEE.
  • Böttinger, K. (2016). Fuzzing binaries with Lévy flight swarms. EURASIP Journal on Information Security, 2016(1), 28.
  • Böttinger, K., & Eckert, C. (2016, July). Deepfuzz: triggering vulnerabilities deeply hidden in binaries. In International Conference on Detection of Intrusions and Malware, and Vulnerability Assessment (pp. 25-34). Springer, Cham.
  • Böttinger, K. (2016, May). Hunting bugs with Lévy flight foraging. In Security and Privacy Workshops (SPW), 2016 IEEE (pp. 111-117). IEEE.
  • Settanni, G., Skopik, F., Shovgenya, Y., Fiedler, R., Carolan, M., Conroy, D., ... & Haustein, M. (2017). A collaborative cyber incident management system for European interconnected critical infrastructures. Journal of Information Security and Applications, 34, 166-182

  • Xiao, H., Biggio, B., Nelson, B., Xiao, H., Eckert, C., & Roli, F. (2015). Support vector machines under adversarial label contamination. Neurocomputing, 160, 53-62.
  • Xiao, H., Biggio, B., Brown, G., Fumera, G., Eckert, C., & Roli, F. (2015, June). Is feature selection secure against training data poisoning?. In International Conference on Machine Learning (pp. 1689-1698).
  • Böttinger, K., Schuster, D., & Eckert, C. (2015, April). Detecting Fingerprinted Data in TLS Traffic. In Proceedings of the 10th ACM Symposium on Information, Computer and Communications Security (pp. 633-638). ACM.
  • Schuster, D., & Hesselbarth, R. (2014, June). Evaluation of bistable ring PUFs using single layer neural networks. In International Conference on Trust and Trustworthy Computing (pp. 101-109). Springer, Cham.