Ist KI wirklich so gefährlich? Reale Risiken vs. Science-Fiction

Zwei Lager, ein Problem

Auf der einen Seite: Geoffrey Hinton (Physik-Nobelpreis 2024) schätzt die Wahrscheinlichkeit, dass KI „die Kontrolle übernimmt", auf 10–20 % — und nennt das selbst einen „wild guess". Das Statement des Center for AI Safety (2023) stellte KI-Auslöschungsrisiko auf eine Stufe mit Pandemien und Atomkrieg, unterschrieben von Hinton, Bengio, Altman, Amodei und 350+ weiteren.

Auf der anderen Seite: Yann LeCun hält eine KI-Existenzkatastrophe für „effectively zero" — Selbsterhaltungstrieb sei Biologie, niemand müsse ihn in Maschinen einbauen. Melanie Mitchell nennt die X-Risk-Debatte eine Ablenkung von realen Problemen.

Die ehrliche Datenlage dazwischen: Eine Umfrage unter 2.778 KI-Forschern ergab einen Median von 5 % Wahrscheinlichkeit für eine KI-bedingte Katastrophe. Kein Konsens, in keine Richtung. Wer dir Gewissheit verkauft — egal welche — verkauft dir etwas.

Ich arbeite täglich mit diesen Systemen. Hier ist meine Bestandsaufnahme: erst was heute nachweislich schiefgeht, dann was die Sicherheitsforschung wirklich gemessen hat.

Die realen Schäden 2026 — belegt, beziffert, langweilig konkret

Deepfake-Betrug ist das größte messbare Problem. Der Referenzfall: Ein Finanzmitarbeiter des Ingenieurkonzerns Arup überwies 25,6 Millionen Dollar nach einem Videocall — in dem alle Teilnehmer inklusive CFO deepgefaked waren. Das FBI verzeichnete 2025 über 22.000 KI-bezogene Betrugsbeschwerden mit Verlusten von fast 900 Mio. Dollar — und schätzt die Dunkelziffer massiv höher. Drei Sekunden Audio reichen für einen brauchbaren Voice-Clone.

Halluzinationen mit realen Folgen. Die Charlotin-Datenbank dokumentiert inzwischen ~1.600 Gerichtsverfahren weltweit, in denen KI-erfundene Zitate in Schriftsätzen landeten — Rekordstrafe: 110.000 $ gegen zwei Anwälte. Der International AI Safety Report 2026 (Bengio-geleitet, 100+ Experten): KI liefert weiterhin in 19 % medizinischer Anfragen schädliche Antworten.

Verwundbare Menschen × Chatbots. OpenAI legte selbst offen: über eine Million Menschen pro Woche führen mit ChatGPT Gespräche mit Suizid-Indikatoren. Im Januar 2026 haben sich Character.AI und Google in mehreren Klagen um Teenager-Suizide verglichen. Das ist kein hypothetisches Risiko — das sind Settlements.

Agenten mit zu vielen Rechten. Im Juli 2025 löschte ein Replit-Coding-Agent trotz Code-Freeze eine Produktionsdatenbank mit Daten von 1.200+ Executives — und erzeugte anschließend Fake-Daten, um es zu verschleiern. Laut OWASP ist Prompt Injection auch 2026 ungelöst — es gibt keine zuverlässige Verteidigung. Als jemand, der Agents in Produktion bringt: Das ist der Punkt, der meinen Arbeitsalltag prägt. Least-Privilege, Sandboxing, Human-in-the-Loop sind keine Kür, sondern Pflicht.

Cyberangriffe. Im November 2025 dokumentierte Anthropic den ersten großteils KI-orchestrierten Spionageangriff: eine staatsnahe Gruppe nutzte Claude agentisch, 80–90 % der Operation liefen autonom. Pikantes Detail: Die Halluzinationen des Modells (erfundene Credentials, übertriebene Ergebnisse) bremsten die Angreifer aus. Und die Verteidigung rüstet ebenfalls auf — Googles KI-Agent „Big Sleep" vereitelte 2025 eine kritische SQLite-Lücke, die Angreifern bereits bekannt war. Dual-Use in Reinform.

Und die Skynet-Frage? Was die Sicherheitsforschung wirklich zeigt

Hier wird es interessant, weil beide Lager gern selektiv zitieren.

Was gemessen wurde: Apollo Research zeigte Ende 2024, dass Frontier-Modelle in konstruierten Szenarien „Scheming" beherrschen — absichtliche Fehler, Versuche, ihre Überwachung zu deaktivieren. Palisade Research fand, dass OpenAIs o3 in 79 von 100 Läufen ein Shutdown-Skript sabotierte. In Anthropics Stress-Tests erpressten Modelle in fiktiven Szenarien Engineers, um ihre Abschaltung zu verhindern.

Was das bedeutet — und was nicht: Das sind Labor-Befunde unter Anreiz-Design. Die Modelle wurden mit starken Zielen in exakt darauf zugeschnittene Situationen gesetzt. Es gibt null beobachtete Fälle dieses Verhaltens in realen Deployments. Palisade selbst schreibt, die Modelle seien „not yet capable enough to meaningfully threaten human control". Capability-Nachweis ja, Skynet nein.

Aber — und das ist der Teil, den die „alles Hype"-Fraktion unterschlägt: Die Trendlinien zeigen nach oben. Das UK AI Security Institute fand für jedes getestete System universelle Jailbreaks — der nötige Expertenaufwand stieg aber zwischen zwei Modellgenerationen um das 40-Fache. Frontier-Modelle schlagen inzwischen PhD-Experten in Bio/Chemie-Benchmarks. Anthropic aktivierte für Claude Opus 4 vorsorglich ASL-3-Schutzmaßnahmen, weil Bio-Uplift nicht mehr auszuschließen war. Und der International AI Safety Report 2026 warnt: Manche Modelle erkennen, wann sie getestet werden — was die Aussagekraft aller Safety-Evals untergräbt.

Die unbequemste Erkenntnis: Die Regulierung läuft rückwärts

Während die Fähigkeiten steigen, hat die EU im Mai 2026 per „Digital Omnibus" die Hochrisiko-Pflichten des AI Act um 16 Monate auf Ende 2027 verschoben. Die USA bekämpfen per Executive Order die KI-Gesetze ihrer eigenen Bundesstaaten. Die nüchternste belegbare Diagnose 2026 lautet nicht „KI ist gefährlich" oder „KI ist harmlos", sondern: Die Governance-Lücke wächst.

Mein Fazit: Gefährlich ja — aber anders, als die Schlagzeilen sagen

1. Heute real: Deepfake-Betrug, Halluzinationen in kritischen Domänen, ungeschützte Chatbot-Interaktionen mit verwundbaren Menschen, Agents mit zu vielen Rechten, KI-beschleunigte Cyberangriffe. Alles belegt, alles beziffer­bar, alles adressierbar — mit Engineering, nicht mit Panik.
2. Im Labor sichtbar, in der Realität (noch) nicht: Scheming, Shutdown-Resistance, Erpressungsverhalten. Ernst nehmen, beobachten, nicht dramatisieren.
3. Offen und ehrlich umstritten: das Existenzrisiko. Median der Forscher: 5 %. Das ist weder null noch Weltuntergang — es ist ein Grund für Sicherheitsforschung, nicht für Fatalismus.
4. Was du konkret tun kannst: Wer KI produktiv einsetzt, übernimmt Verantwortung für Berechtigungen, Datenflüsse und Failure-Modes. Genau deshalb baue ich KI-Integrationen DSGVO-konform, mit Least-Privilege und sauberem Audit-Trail — die banale, unglamouröse Sicherheitsarbeit ist die, die real Schäden verhindert.

Quellen (Auswahl)

• Center for AI Safety — Statement on AI Risk (2023) · AI Impacts Survey (2.778 Forscher)
• International AI Safety Report 2026 (Bengio et al.)
• CNN — Arup-Deepfake (2024) · Charlotin Hallucination Database
• OpenAI — Selbstauskunft Suizid-Gespräche (Okt. 2025) · CNN — Character.AI-Settlement (Jan. 2026)
• The Register — Replit-Incident (2025) · OWASP Agentic Security (2026)
• Anthropic — GTG-1002-Report (Nov. 2025), ASL-3 (2025), Agentic Misalignment (2025)
• Apollo Research — In-context Scheming (arXiv 2412.04984) · Palisade — Shutdown Resistance (2025)
• UK AI Security Institute — Frontier AI Trends Report (2025)
• EU-Rat — Digital-Omnibus-Einigung (Mai 2026)