KI-Sicherheit

Vollständiger Quellennachweis dieses Dossiers. Die Links führen zu den Originalquellen.

1. Bundesamt für Sicherheit in der Informationstechnik (2024). Einfluss von KI auf die Cyberbedrohungslandschaft. BSI, 30.04.2024. https://www.bsi.bund.de/SharedDocs/Downloads/DE/BSI/KI/Einfluss_KI_auf_Cyberbedrohungslage.pdf
2. Bundesamt für Sicherheit in der Informationstechnik (2025). Die Lage der IT-Sicherheit in Deutschland 2025. BSI, 11.11.2025. https://www.bsi.bund.de/SharedDocs/Downloads/DE/BSI/Publikationen/Lageberichte/Lagebericht2025_Achtseiter.pdf
3. Bundesamt für Sicherheit in der Informationstechnik (2025). Generative KI-Modelle – Chancen und Risiken für Industrie und Behörden. Version 2.0, 17.01.2025. https://www.bsi.bund.de/SharedDocs/Downloads/DE/BSI/KI/Generative_KI-Modelle.pdf
4. Bundesamt für Sicherheit in der Informationstechnik. Deepfakes – Gefahren und Gegenmaßnahmen. BSI-Themenseite. https://www.bsi.bund.de/DE/Themen/Unternehmen-und-Organisationen/Informationen-und-Empfehlungen/Kuenstliche-Intelligenz/Deepfakes/deepfakes_node.html
5. Federal Bureau of Investigation (2025). Internet Crime Report 2024. FBI Internet Crime Complaint Center (IC3), April 2025. https://www.ic3.gov/AnnualReport/Reports/2024_IC3Report.pdf
6. Federal Bureau of Investigation (2026). Internet Crime Report 2025. FBI Internet Crime Complaint Center (IC3), 06.04.2026. https://www.ic3.gov/AnnualReport/Reports/2025_IC3Report.pdf
7. Europol (2025). Internet Organised Crime Threat Assessment (IOCTA) 2025. Publications Office of the European Union, 16.06.2025. https://www.europol.europa.eu/publication-events/main-reports/steal-deal-and-repeat-how-cybercriminals-trade-and-exploit-your-data
8. Heiding, F., Schneier, B., Vishwanath, A., Bernstein, J. & Park, P. S. (2024). Devising and Detecting Phishing Emails Using Large Language Models. IEEE Access, 12, 42131–42146. DOI: 10.1109/ACCESS.2024.3375882.
9. Heiding, F., Lermen, S., Kao, A., Schneier, B. & Vishwanath, A. (2024). Evaluating Large Language Models’ Capability to Launch Fully Automated Spear Phishing Campaigns. arXiv:2412.00586, 30.11.2024. https://arxiv.org/abs/2412.00586
10. Chen, H. & Magramo, K. (2024). British engineering giant Arup revealed as victim of $25 million deepfake scam. CNN, 16.05.2024. https://www.cnn.com/2024/05/16/tech/arup-deepfake-scam-loss-hong-kong-intl-hnk
11. Istari Global (2024). Spotlight: The CEO Deepfake. Istari Insights, 2024. https://istari-global.com/insights/spotlight/ceo-deepfake-wpp/
12. Fortune / Bloomberg (2024). Ferrari exec foils deepfake attempt by asking the scammer a question only CEO Benedetto Vigna could answer. Fortune, 27.07.2024, nach Bloomberg-Bericht vom 26.07.2024. https://fortune.com/2024/07/27/ferrari-deepfake-attempt-scammer-security-question-ceo-benedetto-vigna-cybersecurity-ai/
13. Bundeskriminalamt. Vorsicht vor CEO-Fraud! BKA-Informationsflyer. https://www.bka.de/SharedDocs/Downloads/DE/IhreSicherheit/CEOFraud.pdf
14. Polizeiliche Kriminalprävention der Länder und des Bundes. CEO-Fraud: Betrüger geben sich als Chef aus. polizei-beratung.de. https://www.polizei-beratung.de/themen-und-tipps/gefahren-im-internet/ceo-fraud/
15. Greshake, K., Abdelnabi, S., Mishra, S., Endres, C., Holz, T. & Fritz, M. (2023). Not what you’ve signed up for: Compromising Real-World LLM-Integrated Applications with Indirect Prompt Injection. AISec@CCS 2023 / arXiv:2302.12173. https://arxiv.org/abs/2302.12173
16. National Cyber Security Centre (2023). Thinking about the security of AI systems. NCSC-Blog, 30.08.2023. https://www.ncsc.gov.uk/blog-post/thinking-about-security-ai-systems
17. National Cyber Security Centre (2025). Prompt injection is not SQL injection (it may be worse). NCSC-Blog, 08.12.2025. https://www.ncsc.gov.uk/blog-post/prompt-injection-is-not-sql-injection
18. OWASP Foundation (2024). OWASP Top 10 for LLM Applications 2025. OWASP GenAI Security Project, 18.11.2024. https://genai.owasp.org/llm-top-10/
19. OWASP Foundation (2025). Agentic AI – Threats and Mitigations. Version 1.0, OWASP GenAI Security Project, 17.02.2025. https://genai.owasp.org/resource/agentic-ai-threats-and-mitigations/
20. OWASP Foundation (2025). OWASP Top 10 for Agentic Applications for 2026. OWASP GenAI Security Project, Dezember 2025. https://genai.owasp.org/resource/owasp-top-10-for-agentic-applications-for-2026/
21. Anthropic (2025). Detecting and countering misuse of AI: August 2025. Threat-Intelligence-Bericht (Anbieter-Selbstbericht), 27.08.2025. https://www.anthropic.com/news/detecting-countering-misuse-aug-2025
22. Anthropic (2025). Disrupting the first reported AI-orchestrated cyber espionage campaign. Threat-Intelligence-Bericht (Anbieter-Selbstbericht), 13.11.2025. https://www.anthropic.com/news/disrupting-AI-espionage
23. Gatlan, S. (2025). Anthropic claims of Claude AI-automated cyberattacks met with doubt. BleepingComputer, November 2025. https://www.bleepingcomputer.com/news/security/anthropic-claims-of-claude-ai-automated-cyberattacks-met-with-doubt/
24. Gillespie, N., Lockey, S. et al. (2025). Trust, attitudes and use of artificial intelligence: A global study 2025. KPMG International & University of Melbourne, April 2025. https://kpmg.com/xx/en/our-insights/ai-and-technology/trust-attitudes-and-use-of-ai.html
25. Bitkom e. V. (2025). Beschäftigte nutzen Schatten-KI. Presseinformation, 21.10.2025. https://www.bitkom.org/Presse/Presseinformation/Beschaeftigte-nutzen-Schatten-KI
26. Bloomberg News (2023). Samsung Bans Staff’s AI Use After Spotting ChatGPT Data Leak. Bloomberg, 02.05.2023. https://www.bloomberg.com/news/articles/2023-05-02/samsung-bans-chatgpt-and-other-generative-ai-use-by-staff-after-leak
27. Bundesgesetzblatt (2025). NIS-2-Umsetzungsgesetz (NIS2UmsuCG). BGBl. 2025 I Nr. 301, verkündet am 05.12.2025, in Kraft seit 06.12.2025. https://www.recht.bund.de/bgbl/1/2025/301/VO.html
28. Bundesamt für Sicherheit in der Informationstechnik (2025). NIS-2-Umsetzungsgesetz in Kraft getreten. BSI-Pressemitteilung, 05.12.2025. https://www.bsi.bund.de/DE/Service-Navi/Presse/Pressemitteilungen/Presse2025/251205_NIS-2-Umsetzungsgesetz_in_Kraft.html
29. National Institute of Standards and Technology (2023). Artificial Intelligence Risk Management Framework (AI RMF 1.0). NIST, Januar 2023. https://www.nist.gov/itl/ai-risk-management-framework
30. National Institute of Standards and Technology (2024). Generative Artificial Intelligence Profile (NIST-AI-600-1). NIST, 26.07.2024. https://nvlpubs.nist.gov/nistpubs/ai/NIST.AI.600-1.pdf
31. International Organization for Standardization (2023). ISO/IEC 42001:2023 – Information technology – Artificial intelligence – Management system. ISO, Dezember 2023. https://www.iso.org/standard/42001
32. MITRE Corporation (2025). MITRE ATLAS (Adversarial Threat Landscape for Artificial-Intelligence Systems). Version 5.1.0, November 2025. https://atlas.mitre.org
33. Europäische Union (2024). Verordnung (EU) 2024/1689 (KI-Verordnung), Artikel 15: Genauigkeit, Robustheit und Cybersicherheit. https://artificialintelligenceact.eu/article/15/
34. Europäische Union (2026). Verordnung (EU) 2026/1744 des Europäischen Parlaments und des Rates vom 8.7.2026 zur Änderung der Verordnungen (EU) 2024/1689, (EU) 2018/1139 und (EU) 2023/1230 im Hinblick auf die Vereinfachung der Umsetzung harmonisierter Vorschriften für künstliche Intelligenz (Digital-Omnibus-Verordnung zur KI). ABl. L, 2026/1744, 24.7.2026; in Kraft seit dem 27.7.2026 – neue Anwendungsfristen für Hochrisiko-KI-Systeme nach Art. 113. https://eur-lex.europa.eu/eli/reg/2026/1744/oj
35. National Cyber Security Centre & Cybersecurity and Infrastructure Security Agency (2023). Guidelines for Secure AI System Development. Mit 21 weiteren internationalen Behörden, November 2023. https://www.ncsc.gov.uk/collection/guidelines-secure-ai-system-development