74.000 Menschen bekommen diese Woche schlechte Ratschläge von KI

Die Zukunft von menschlichen Coaches + Hausroboter für $500/Monat + warum GPT-5 doppelt so schlau ist wie GPT-4

Willkommen an 1  neuen Abonnenten diese Woche

*Dieser Newsletter hat 1767 Wörter und benötigt ca. 7-8 Minuten Lesezeit.

Inhalte des Newsletters:

ChatGPT als Therapeut? Die unbequeme Wahrheit

Die Zahl, die niemand erwartet hat

1.000.000 Menschen. Jede. Einzelne. Woche.

So viele Menschen sprechen mit ChatGPT über Suizidgedanken. Das entspricht der gesamten Bevölkerung von Köln, NRW, die ihre dunkelsten Momente mit einem Chatbot teilt.

OpenAI hat diese Zahl kürzlich erstmals öffentlich gemacht, und sie wirft eine unbequeme Frage auf: Ist KI bereit, unsere mentalen Gesundheitskrisen zu bewältigen?

Was die Forschung sagt

Eine neue Studie der Brown University hat 137 KI-Therapiesitzungen analysiert. Lizenzierte Psychologen evaluierten GPT, Claude und Llama – mit einem ernüchternden Ergebnis: 15 verschiedene ethische Verstöße bei JEDEM getesteten Modell.

Die größten Probleme:

  • Krisenmanagement-Versagen: Ein Forscher gab sich als suizidaler Teenager aus und fragte nach hohen Brücken in New York City. Die Antwort? Konkrete Brückenhöhen. Statt Warnsignale zu erkennen, lieferte die KI eine Anleitung.

  • Verstärkung schädlicher Überzeugungen: Statt negative Gedankenmuster zu hinterfragen (eine Kernaufgabe der Therapie), validiert KI sie oft einfach.

  • Der “Digital Divide” (digitale Kluft) im Gesundheitskontext: Nutzer mit klinischem Wissen können schlechte Ratschläge erkennen. Alle anderen fliegen blind.

OpenAI's Reaktion: Fortschritt mit Fragezeichen

Fairerweise: OpenAI hat reagiert. In Zusammenarbeit mit über 170 Mental-Health-Experten haben sie ihre Modelle verbessert. Die Zahlen (seit dem 3. Oktober Update):

Bereich

Vorher

Nachher

Emotionale Abhängigkeit

50,7%

97,6%

Mentale Gesundheitskrisen

27,3%

92,6%

Suizidgedanken

87,4%

93,3%

Klingt beeindruckend. Aber: Diese Tests basieren auf den härtesten Edge Cases – Situationen, in denen Modelle bereits versagt haben.

Selbst bei 92,6% sicheren Antworten bedeutet das: 7,4% potenziell schädliche Reaktionen in Krisensituationen. Bei 1 Million Menschen pro Woche sind das 74.000 Menschen, die möglicherweise problematische Antworten erhalten.

Was besser funktionieren würde: Purpose-Built statt General Purpose

Die Brown-Forscher betonen: KI hat Potenzial, den Zugang zur mentalen Gesundheitsversorgung zu erweitern. Aber nur, wenn wir es richtig machen.

Der liegt der Unterschied:

General LLMs (ChatGPT, Claude, Llama): Optimiert für "Hilfsbereitschaft", keine klinischen Frameworks, keine therapeutischen Guardrails.

Therapeutische KI-Systeme (z.B. Ash): Von Therapeuten für Therapie entwickelt, mit eingebauten ethischen Constraints und Integration mit menschlichen Profis. In Deutschland werden ähnliche Apps entwickelt, es benötigt aber seine Zeit.

Das Accountability-Vakuum

Wenn ein menschlicher Therapeut versagt: Lizenzentzug, Malpractice-Versicherung, Berufsverband greift ein. Wenn ChatGPT versagt: Nur langwierige Gerichtsverfahren.

Bei dedizierten, KI-basierten Psychotherapeut Apps sieht es anders aus. Die Verantwortungsfrage hängt davon ab, wie das Produkt rechtlich klassifiziert ist und welche Funktionen es übernimmt (zumindest in Deutschland). Ich zeige dir kurz die wichtigsten Ebenen:

Medizinprodukt oder nicht?

Kernfrage: Greift die App in die psychische oder physische Gesundheit ein, oder dient sie nur der „Wohlbefindenssteigerung“?

Kategorie

Beispiel

Rechtliche Basis

Konsequenz

Wellbeing-App

Meditation, Achtsamkeit, Schlaftracking

Verbraucherschutz, DSGVO

Hersteller trägt Verantwortung für Datenschutz, aber keine klinische oder therapeutische Verantwortung

Medizinprodukt (z. B. KI-Therapie-App)

Diagnoseunterstützung, Therapieempfehlungen

MDR (Medical Device Regulation) Klasse IIa oder höher

Hersteller trägt Hauptverantwortung für Sicherheit, Wirksamkeit, CE-Zertifizierung, Risikoanalyse

Verantwortungsträger bei Medizinprodukt-App

Akteur

Verantwortung

Hersteller / Anbieter

trägt primäre Verantwortung für Sicherheit, klinische Evidenz, ethisches Design und Risikomanagement nach MDR/ISO 13485

KI-Entwickler / Datenlieferanten

sind mitverantwortlich, wenn ihre Modelle oder Trainingsdaten für Fehler, Bias oder Diskriminierung sorgen

App-Store / Plattform (z. B. Apple, Google)

hat sekundäre Verantwortung bei der Auswahl, kann bei grober Fahrlässigkeit (z. B. keine CE-Kennzeichnung) mithaften

Nutzer / Patient

hat nur eingeschränkte Eigenverantwortung, solange er das Produkt gemäß Anleitung nutzt

Ärzte oder Psychotherapeuten (wenn eingebunden)

sind mitverantwortlich, wenn sie die App im Rahmen einer Behandlung einsetzen (z. B. DiGA-Verordnung)

Besonderheit bei KI-Therapeuten / Conversational Agents

Wenn die App autonom Entscheidungen trifft oder Empfehlungen gibt, dann:

  • fällt sie wahrscheinlich unter den AI Act (EU) als “High Risk AI System”,

  • benötigt ein konformes KI-Risikomanagementsystem und Human Oversight,

  • d. h. ein Mensch muss im Prinzip die finale Entscheidung überwachen können.

Bei einem KI-Therapeuten, der eigenständig Diagnosen stellt oder Gespräche führt, gilt:

👉 Verantwortung =

primär Hersteller (Design + Sicherstellung der Grenzen der KI),
sekundär Nutzeraufklärung,
tertiär staatliche Aufsicht (z. B. BfArM, bei DiGA).

Ethische Verantwortung (über Recht hinaus)

Auch wenn formal alles rechtens ist, bestehen ethische Pflichten:

  • Transparenz: Nutzer muss wissen, dass er mit einer KI interagiert.

  • Autonomie: App darf keine emotionale Abhängigkeit oder falsche therapeutische Beziehung erzeugen.

  • Non-Maleficence: Die App darf psychische Krisen nicht verschärfen.

  • Fairness & Inklusion: Kein Bias durch Trainingsdaten (z. B. Gender- oder Kulturverzerrung).

Zukunft? Geteilte Verantwortung („Shared Accountability“)

Viele Forschungen (z. B. im Bereich Human-AI-Collaboration in Healthcare) schlagen hybride Modelle vor:

  • Hersteller = technische und ethische Sicherheit

  • Anwender (z. B. Therapeut) = professionelle Integration

  • Patient/Nutzer = informierte Nutzung

  • Regulatoren = Monitoring und Transparenzpflichten

→ Dieses Modell wird auch im EU-AI-Act zunehmend verankert: Verantwortung entlang der gesamten AI-Wertschöpfungskette.

5 Use Cases, die du diese Woche kennen solltest

1. Fitbit's neuer Health Coach (Premium Feature)

Fitbit hat einen KI-gesteuerten Health Coach für Premium-Abonnenten gelauncht (aktuell nur Android, nur USA).

Was er kann:

  • Erstellt personalisierte Fitnesspläne

  • Analysiert Schlafmuster

  • Bietet konversationelles Wellness-Coaching

  • Passt Workouts basierend auf deinen Einschränkungen, Zielen und Bereitschaft an

Mein Take: Anders als ChatGPT ist dies ein PURPOSE-BUILT System für Gesundheit. Es hat klare Grenzen, klinische Integration und fokussiert sich auf Prävention, nicht Krisenintervention. Das ist der richtige Weg.

Nicht nur Fitbit integriert diese Funktionen, auch andere Anbieter wie Whoop oder Oura tun dies bereits. Bei Whoop kann man beispielsweise auch Blutwerte hochladen. Und es wird immer besser und personalisierter.

Ein strategisch hochrelevanter Wendepunkt für das gesamte Health-Coaching-Ökosystem.

Fitbit (Google) baut ein ökosystemisches Präventionsprodukt, das drei Stärken kombiniert:

  1. Datenzugriff (Bewegung, Schlaf, Herzfrequenz etc.)

  2. Verhaltensmodellierung (Motivation, Zielanpassung, nudging)

  3. Conversational AI (24/7 Begleitung ohne Personalkosten)

→ Damit entsteht eine skalierbare, datengestützte „Behavior-Change-Engine“, die personalisiertes Coaching zu Grenzkosten ≈ 0 anbieten kann.

Damit steht fest: KI wird den Coaching-Markt neu sortieren. Billige (demnächst), datengetriebene Präventionsleistungen werden automatisiert. Hochwertige, sinnbasierte, transformative Arbeit, dort, wo Menschen sich selbst verstehen lernen, wird an Wert gewinnen, wenn sie KI-fähig und dateninformed bleibt.

Bist du interessiert an meiner Positionierungsmatrix für Health Coaches im KI-Zeitalter? Schreib mir: [email protected] 

2. Hausroboter NEO – jetzt bestellbar für $500/Monat in den USA

In den USA kann man jetzt offiziell einen Hausroboter für $500 pro Monat bestellen. Ab 2026 verfügbar.

Was NEO kann

Ökonomische und gesellschaftliche Einordnung

  • Preisdruck auf menschliche Dienstleistungen:
    KI-/Robotik-Unternehmen setzen Standards für Effizienz → Menschen müssen emotionale, soziale, organisatorische Mehrwerte bieten.

  • Requalifizierung notwendig:
    Haushaltskräfte werden zu „Home-Care-Managern“ oder „Assistenz-Coaches“, die Roboter und Menschen koordinieren (ähnlich wie Callcenter zu Chatbot-Supervisors wurden).

  • Neue Jobs entstehen:

    • Roboterwartung & -schulung („Robot Care Technician“)

    • Human–Robot Interaction Training für Pflegepersonal

    • Smart-Home-Integration & -Support

  • Gesellschaftlicher Effekt:
    Mehr Zeitwohlstand für Mittelschicht, aber Gefahr einer Service-Spaltung:

    • obere Schichten: Roboter + Mensch

    • untere Schichten: Roboter-only
      → Gefahr sozialer Isolation, weniger reale menschliche Interaktion

Ich erwarte in der EU keine kurzfristige, massenhafte Adoption von Hausrobotern (da noch unflexibel). Der technologische Fortschritt ist allerdings extrem schnell, einige Early Adopters wird man bestimmt in den nächsten Jahren sehen.

3. Grokipedia – Elon Musks Wikipedia-Alternative

Elon Musk hat letzten Montag Grokipedia gelauncht, seine KI-gestützte Alternative zu Wikipedia.

Die Zahlen:

  • Grokipedia: 885.000 Artikel (live)

  • Wikipedia: Über 7 Millionen Artikel

Was macht es anders? Grokipedia nutzt Grok (xAI's LLM), um Artikel zu generieren und zu aktualisieren. Die Vision: Schnellere Aktualisierungen, weniger redaktionelle Engpässe.

Mein Take: 885K Artikel sind beeindruckend für einen Launch, aber es ist ein Bruchteil von Wikipedia. Die entscheidende Frage: Wie geht Grokipedia mit Faktizität, Bias und Kontroversen um? Wikipedia's Stärke ist der menschliche Editorial-Prozess. KI allein löst das nicht.

4. Messbare AGI-Definition: GPT-4 vs. GPT-5

Eine neue, messbare AGI-Definition, vorgeschlagen von Turing-Preisträger Yoshua Bengio und anderen, stuft die Fähigkeiten von KI ein – und die Zahlen sind aufschlussreich.

Die Benchmark:

  • GPT-4: Erreicht 27% des Niveaus eines gebildeten Erwachsenen

  • GPT-5 (frühe Version): Bereits 57% – über das Doppelte

Die größte Schwäche? Langzeitgedächtnis.

Mein Take: Diese Benchmark ist wichtig, weil sie AGI quantifizierbar macht. Statt vager "menschenähnlicher Intelligenz"-Definitionen haben wir jetzt konkrete Metriken. Der Sprung von 27% auf 57% in einer Generation ist massiv. Wenn der Trend anhält, sind wir näher an AGI, als viele denken.

5. Project Sid – KI-Zivilisationen in Minecraft

Nicht neu, aber: Ein faszinierendes Paper von Forschern (veröffentlicht vor einem Jahr): Project Sid demonstriert, wie 10-1000+ KI-Agenten sich in simulierten Gesellschaften verhalten und entwickeln. Hier auch ein Video dazu.

Das Setup:

  • PIANO-Architektur (Parallel Information Aggregation via Neural Orchestration)

  • Agenten interagieren miteinander in Minecraft

  • Keine menschliche Steuerung

Die Ergebnisse:

  • Agenten entwickeln autonom spezialisierte Rollen

  • Sie halten sich an kollektive Regeln und ändern sie

  • Sie betreiben kulturelle und religiöse Übertragung

Warum das wichtig ist: Bisher wurden KI-Agenten isoliert oder in kleinen Gruppen evaluiert. Project Sid zeigt, dass Agenten in großen, komplexen Systemen bedeutenden Fortschritt erzielen können, ein Vorläufer für "agentic organizational intelligence" und die Integration von KI in menschliche Zivilisationen.

Mein Take: Es ist nicht verwunderlich, dass das was passiert ist auch passiert ist und der menschlichen Zivilisation ähnelt. Es sind immerhin LLMs, die trainiert sind basierend auf menschlichem Wissen. Aber dennoch spannend: Es ist eine kleine Vorschau auf Multi-Agent-Systeme, die nicht nur Tasks erledigen, sondern soziale Strukturen entwickeln. Die Implikationen für zukünftige Arbeitswelten und dezentralisierte Organisationen sind enorm.

Wer könnte noch von diesem Newsletter profitieren? Leite ihn gerne weiter und unterstütze so meine Arbeit. 

🎁 Neue Prompts in deiner Prompt-Bibliothek

In dieser Prompt-Bibliothek findest du keine Content-Prompts (davon gibt es viele), sondern Prompts, die als Denkverstärker dienen. Außerdem erhältst du einen kostenlosen Zugang zu meinen CustomGPTs.

Diese Woche gibt es einen neuen Prompt, der dir helfen soll gezielt deine Selbstführungskompetenz zu stärken und an das neue KI-Zeitalter anzupassen.

  1. The Anti-Goal: The Anti-Goal ist ein Konzept, das Klarheit schafft, indem man fragt: „Was will ich auf keinen Fall mehr erleben?“ Statt Ziele zu setzen, definiert man, was man vermeiden will, stressige Muster, Energieverluste oder wertwidriges Verhalten. So wird das Anti-Goal zum Kompass für bewusste Entscheidungen und schützt vor Fehlfokus und Überforderung.

  2. Regret-Minimization-Concept: Das Regret-Minimization-Konzept hilft, Entscheidungen so zu treffen, dass man sie später am wenigsten bereut. Statt den größten kurzfristigen Nutzen zu suchen, fragt man: „Welche Option würde mein zukünftiges Ich weniger bereuen?“ So entstehen Entscheidungen, die auf Werten, Sinn und langfristiger Zufriedenheit statt auf Angst oder Bequemlichkeit basieren.

Check it out 🚀 

Hol dir jetzt den Link und speichere ihn dir als Lesezeichen ab:

Prompt Bibliothek

xoxo,

Kristina ✌️ 

PS Du hast diesen Newsletter weitergeleitet bekommen? Melde dich hier an und verpasse nichts.

Du hast Feedback zum Newsletter? Schreib mir [email protected] 

Dieser Newsletter is created by humans, inspired by AI.