- Ready, Set, AI by Kristina Benz
- Posts
- 74.000 Menschen bekommen diese Woche schlechte Ratschläge von KI
74.000 Menschen bekommen diese Woche schlechte Ratschläge von KI
Die Zukunft von menschlichen Coaches + Hausroboter für $500/Monat + warum GPT-5 doppelt so schlau ist wie GPT-4
Willkommen an 1 neuen Abonnenten diese Woche
*Dieser Newsletter hat 1767 Wörter und benötigt ca. 7-8 Minuten Lesezeit.
Fitbit's neuer Health Coach und die Zukunft der menschlichen Coaches
Hausroboter NEO - ökonomische & gesellschaftliche Einordnung
Project Sid: Wie sich KI-Agenten zu einer Zivilisationen entwickeln auf einem Minecraft Server
Zwei neue Prompts: the Anti-Goal & Regret Minimization Concept (hilfreich für deine Planung 2026)
ChatGPT als Therapeut? Die unbequeme Wahrheit
Die Zahl, die niemand erwartet hat
1.000.000 Menschen. Jede. Einzelne. Woche.
So viele Menschen sprechen mit ChatGPT über Suizidgedanken. Das entspricht der gesamten Bevölkerung von Köln, NRW, die ihre dunkelsten Momente mit einem Chatbot teilt.
OpenAI hat diese Zahl kürzlich erstmals öffentlich gemacht, und sie wirft eine unbequeme Frage auf: Ist KI bereit, unsere mentalen Gesundheitskrisen zu bewältigen?
Was die Forschung sagt
Eine neue Studie der Brown University hat 137 KI-Therapiesitzungen analysiert. Lizenzierte Psychologen evaluierten GPT, Claude und Llama – mit einem ernüchternden Ergebnis: 15 verschiedene ethische Verstöße bei JEDEM getesteten Modell.
Die größten Probleme:
Krisenmanagement-Versagen: Ein Forscher gab sich als suizidaler Teenager aus und fragte nach hohen Brücken in New York City. Die Antwort? Konkrete Brückenhöhen. Statt Warnsignale zu erkennen, lieferte die KI eine Anleitung.
Verstärkung schädlicher Überzeugungen: Statt negative Gedankenmuster zu hinterfragen (eine Kernaufgabe der Therapie), validiert KI sie oft einfach.
Der “Digital Divide” (digitale Kluft) im Gesundheitskontext: Nutzer mit klinischem Wissen können schlechte Ratschläge erkennen. Alle anderen fliegen blind.
OpenAI's Reaktion: Fortschritt mit Fragezeichen
Fairerweise: OpenAI hat reagiert. In Zusammenarbeit mit über 170 Mental-Health-Experten haben sie ihre Modelle verbessert. Die Zahlen (seit dem 3. Oktober Update):
Bereich | Vorher | Nachher |
|---|---|---|
Emotionale Abhängigkeit | 50,7% | 97,6% |
Mentale Gesundheitskrisen | 27,3% | 92,6% |
Suizidgedanken | 87,4% | 93,3% |
Klingt beeindruckend. Aber: Diese Tests basieren auf den härtesten Edge Cases – Situationen, in denen Modelle bereits versagt haben.
Selbst bei 92,6% sicheren Antworten bedeutet das: 7,4% potenziell schädliche Reaktionen in Krisensituationen. Bei 1 Million Menschen pro Woche sind das 74.000 Menschen, die möglicherweise problematische Antworten erhalten.
Was besser funktionieren würde: Purpose-Built statt General Purpose
Die Brown-Forscher betonen: KI hat Potenzial, den Zugang zur mentalen Gesundheitsversorgung zu erweitern. Aber nur, wenn wir es richtig machen.
Der liegt der Unterschied:
General LLMs (ChatGPT, Claude, Llama): Optimiert für "Hilfsbereitschaft", keine klinischen Frameworks, keine therapeutischen Guardrails.
Therapeutische KI-Systeme (z.B. Ash): Von Therapeuten für Therapie entwickelt, mit eingebauten ethischen Constraints und Integration mit menschlichen Profis. In Deutschland werden ähnliche Apps entwickelt, es benötigt aber seine Zeit.
Das Accountability-Vakuum
Wenn ein menschlicher Therapeut versagt: Lizenzentzug, Malpractice-Versicherung, Berufsverband greift ein. Wenn ChatGPT versagt: Nur langwierige Gerichtsverfahren.
Bei dedizierten, KI-basierten Psychotherapeut Apps sieht es anders aus. Die Verantwortungsfrage hängt davon ab, wie das Produkt rechtlich klassifiziert ist und welche Funktionen es übernimmt (zumindest in Deutschland). Ich zeige dir kurz die wichtigsten Ebenen:
Medizinprodukt oder nicht?
Kernfrage: Greift die App in die psychische oder physische Gesundheit ein, oder dient sie nur der „Wohlbefindenssteigerung“?
Kategorie | Beispiel | Rechtliche Basis | Konsequenz |
|---|---|---|---|
Wellbeing-App | Meditation, Achtsamkeit, Schlaftracking | Verbraucherschutz, DSGVO | Hersteller trägt Verantwortung für Datenschutz, aber keine klinische oder therapeutische Verantwortung |
Medizinprodukt (z. B. KI-Therapie-App) | Diagnoseunterstützung, Therapieempfehlungen | MDR (Medical Device Regulation) Klasse IIa oder höher | Hersteller trägt Hauptverantwortung für Sicherheit, Wirksamkeit, CE-Zertifizierung, Risikoanalyse |
Verantwortungsträger bei Medizinprodukt-App
Akteur | Verantwortung |
|---|---|
Hersteller / Anbieter | trägt primäre Verantwortung für Sicherheit, klinische Evidenz, ethisches Design und Risikomanagement nach MDR/ISO 13485 |
KI-Entwickler / Datenlieferanten | sind mitverantwortlich, wenn ihre Modelle oder Trainingsdaten für Fehler, Bias oder Diskriminierung sorgen |
App-Store / Plattform (z. B. Apple, Google) | hat sekundäre Verantwortung bei der Auswahl, kann bei grober Fahrlässigkeit (z. B. keine CE-Kennzeichnung) mithaften |
Nutzer / Patient | hat nur eingeschränkte Eigenverantwortung, solange er das Produkt gemäß Anleitung nutzt |
Ärzte oder Psychotherapeuten (wenn eingebunden) | sind mitverantwortlich, wenn sie die App im Rahmen einer Behandlung einsetzen (z. B. DiGA-Verordnung) |
Besonderheit bei KI-Therapeuten / Conversational Agents
Wenn die App autonom Entscheidungen trifft oder Empfehlungen gibt, dann:
fällt sie wahrscheinlich unter den AI Act (EU) als “High Risk AI System”,
benötigt ein konformes KI-Risikomanagementsystem und Human Oversight,
d. h. ein Mensch muss im Prinzip die finale Entscheidung überwachen können.
Bei einem KI-Therapeuten, der eigenständig Diagnosen stellt oder Gespräche führt, gilt:
👉 Verantwortung =
primär Hersteller (Design + Sicherstellung der Grenzen der KI),
sekundär Nutzeraufklärung,
tertiär staatliche Aufsicht (z. B. BfArM, bei DiGA).
Ethische Verantwortung (über Recht hinaus)
Auch wenn formal alles rechtens ist, bestehen ethische Pflichten:
Transparenz: Nutzer muss wissen, dass er mit einer KI interagiert.
Autonomie: App darf keine emotionale Abhängigkeit oder falsche therapeutische Beziehung erzeugen.
Non-Maleficence: Die App darf psychische Krisen nicht verschärfen.
Fairness & Inklusion: Kein Bias durch Trainingsdaten (z. B. Gender- oder Kulturverzerrung).
Zukunft? Geteilte Verantwortung („Shared Accountability“)
Viele Forschungen (z. B. im Bereich Human-AI-Collaboration in Healthcare) schlagen hybride Modelle vor:
Hersteller = technische und ethische Sicherheit
Anwender (z. B. Therapeut) = professionelle Integration
Patient/Nutzer = informierte Nutzung
Regulatoren = Monitoring und Transparenzpflichten
→ Dieses Modell wird auch im EU-AI-Act zunehmend verankert: Verantwortung entlang der gesamten AI-Wertschöpfungskette.
5 Use Cases, die du diese Woche kennen solltest
1. Fitbit's neuer Health Coach (Premium Feature)
Fitbit hat einen KI-gesteuerten Health Coach für Premium-Abonnenten gelauncht (aktuell nur Android, nur USA).
Was er kann:
Erstellt personalisierte Fitnesspläne
Analysiert Schlafmuster
Bietet konversationelles Wellness-Coaching
Passt Workouts basierend auf deinen Einschränkungen, Zielen und Bereitschaft an
Mein Take: Anders als ChatGPT ist dies ein PURPOSE-BUILT System für Gesundheit. Es hat klare Grenzen, klinische Integration und fokussiert sich auf Prävention, nicht Krisenintervention. Das ist der richtige Weg.
Nicht nur Fitbit integriert diese Funktionen, auch andere Anbieter wie Whoop oder Oura tun dies bereits. Bei Whoop kann man beispielsweise auch Blutwerte hochladen. Und es wird immer besser und personalisierter.
Ein strategisch hochrelevanter Wendepunkt für das gesamte Health-Coaching-Ökosystem.
Fitbit (Google) baut ein ökosystemisches Präventionsprodukt, das drei Stärken kombiniert:
Datenzugriff (Bewegung, Schlaf, Herzfrequenz etc.)
Verhaltensmodellierung (Motivation, Zielanpassung, nudging)
Conversational AI (24/7 Begleitung ohne Personalkosten)
→ Damit entsteht eine skalierbare, datengestützte „Behavior-Change-Engine“, die personalisiertes Coaching zu Grenzkosten ≈ 0 anbieten kann.
Damit steht fest: KI wird den Coaching-Markt neu sortieren. Billige (demnächst), datengetriebene Präventionsleistungen werden automatisiert. Hochwertige, sinnbasierte, transformative Arbeit, dort, wo Menschen sich selbst verstehen lernen, wird an Wert gewinnen, wenn sie KI-fähig und dateninformed bleibt.
Bist du interessiert an meiner Positionierungsmatrix für Health Coaches im KI-Zeitalter? Schreib mir: [email protected]
2. Hausroboter NEO – jetzt bestellbar für $500/Monat in den USA
In den USA kann man jetzt offiziell einen Hausroboter für $500 pro Monat bestellen. Ab 2026 verfügbar.

Was NEO kann
Ökonomische und gesellschaftliche Einordnung
Preisdruck auf menschliche Dienstleistungen:
KI-/Robotik-Unternehmen setzen Standards für Effizienz → Menschen müssen emotionale, soziale, organisatorische Mehrwerte bieten.Requalifizierung notwendig:
Haushaltskräfte werden zu „Home-Care-Managern“ oder „Assistenz-Coaches“, die Roboter und Menschen koordinieren (ähnlich wie Callcenter zu Chatbot-Supervisors wurden).Neue Jobs entstehen:
Roboterwartung & -schulung („Robot Care Technician“)
Human–Robot Interaction Training für Pflegepersonal
Smart-Home-Integration & -Support
Gesellschaftlicher Effekt:
Mehr Zeitwohlstand für Mittelschicht, aber Gefahr einer Service-Spaltung:obere Schichten: Roboter + Mensch
untere Schichten: Roboter-only
→ Gefahr sozialer Isolation, weniger reale menschliche Interaktion
Ich erwarte in der EU keine kurzfristige, massenhafte Adoption von Hausrobotern (da noch unflexibel). Der technologische Fortschritt ist allerdings extrem schnell, einige Early Adopters wird man bestimmt in den nächsten Jahren sehen.
3. Grokipedia – Elon Musks Wikipedia-Alternative
Elon Musk hat letzten Montag Grokipedia gelauncht, seine KI-gestützte Alternative zu Wikipedia.
Die Zahlen:
Grokipedia: 885.000 Artikel (live)
Wikipedia: Über 7 Millionen Artikel
Was macht es anders? Grokipedia nutzt Grok (xAI's LLM), um Artikel zu generieren und zu aktualisieren. Die Vision: Schnellere Aktualisierungen, weniger redaktionelle Engpässe.
Mein Take: 885K Artikel sind beeindruckend für einen Launch, aber es ist ein Bruchteil von Wikipedia. Die entscheidende Frage: Wie geht Grokipedia mit Faktizität, Bias und Kontroversen um? Wikipedia's Stärke ist der menschliche Editorial-Prozess. KI allein löst das nicht.
4. Messbare AGI-Definition: GPT-4 vs. GPT-5
Eine neue, messbare AGI-Definition, vorgeschlagen von Turing-Preisträger Yoshua Bengio und anderen, stuft die Fähigkeiten von KI ein – und die Zahlen sind aufschlussreich.
Die Benchmark:
GPT-4: Erreicht 27% des Niveaus eines gebildeten Erwachsenen
GPT-5 (frühe Version): Bereits 57% – über das Doppelte
Die größte Schwäche? Langzeitgedächtnis.
Mein Take: Diese Benchmark ist wichtig, weil sie AGI quantifizierbar macht. Statt vager "menschenähnlicher Intelligenz"-Definitionen haben wir jetzt konkrete Metriken. Der Sprung von 27% auf 57% in einer Generation ist massiv. Wenn der Trend anhält, sind wir näher an AGI, als viele denken.
5. Project Sid – KI-Zivilisationen in Minecraft
Nicht neu, aber: Ein faszinierendes Paper von Forschern (veröffentlicht vor einem Jahr): Project Sid demonstriert, wie 10-1000+ KI-Agenten sich in simulierten Gesellschaften verhalten und entwickeln. Hier auch ein Video dazu.
Das Setup:
PIANO-Architektur (Parallel Information Aggregation via Neural Orchestration)
Agenten interagieren miteinander in Minecraft
Keine menschliche Steuerung
Die Ergebnisse:
Agenten entwickeln autonom spezialisierte Rollen
Sie halten sich an kollektive Regeln und ändern sie
Sie betreiben kulturelle und religiöse Übertragung
Warum das wichtig ist: Bisher wurden KI-Agenten isoliert oder in kleinen Gruppen evaluiert. Project Sid zeigt, dass Agenten in großen, komplexen Systemen bedeutenden Fortschritt erzielen können, ein Vorläufer für "agentic organizational intelligence" und die Integration von KI in menschliche Zivilisationen.
Mein Take: Es ist nicht verwunderlich, dass das was passiert ist auch passiert ist und der menschlichen Zivilisation ähnelt. Es sind immerhin LLMs, die trainiert sind basierend auf menschlichem Wissen. Aber dennoch spannend: Es ist eine kleine Vorschau auf Multi-Agent-Systeme, die nicht nur Tasks erledigen, sondern soziale Strukturen entwickeln. Die Implikationen für zukünftige Arbeitswelten und dezentralisierte Organisationen sind enorm.
Wer könnte noch von diesem Newsletter profitieren? Leite ihn gerne weiter und unterstütze so meine Arbeit.
🎁 Neue Prompts in deiner Prompt-Bibliothek
In dieser Prompt-Bibliothek findest du keine Content-Prompts (davon gibt es viele), sondern Prompts, die als Denkverstärker dienen. Außerdem erhältst du einen kostenlosen Zugang zu meinen CustomGPTs.
Diese Woche gibt es einen neuen Prompt, der dir helfen soll gezielt deine Selbstführungskompetenz zu stärken und an das neue KI-Zeitalter anzupassen.
The Anti-Goal: The Anti-Goal ist ein Konzept, das Klarheit schafft, indem man fragt: „Was will ich auf keinen Fall mehr erleben?“ Statt Ziele zu setzen, definiert man, was man vermeiden will, stressige Muster, Energieverluste oder wertwidriges Verhalten. So wird das Anti-Goal zum Kompass für bewusste Entscheidungen und schützt vor Fehlfokus und Überforderung.
Regret-Minimization-Concept: Das Regret-Minimization-Konzept hilft, Entscheidungen so zu treffen, dass man sie später am wenigsten bereut. Statt den größten kurzfristigen Nutzen zu suchen, fragt man: „Welche Option würde mein zukünftiges Ich weniger bereuen?“ So entstehen Entscheidungen, die auf Werten, Sinn und langfristiger Zufriedenheit statt auf Angst oder Bequemlichkeit basieren.
Check it out 🚀
Hol dir jetzt den Link und speichere ihn dir als Lesezeichen ab:

Prompt Bibliothek
xoxo,
Kristina ✌️
PS Du hast diesen Newsletter weitergeleitet bekommen? Melde dich hier an und verpasse nichts.
Du hast Feedback zum Newsletter? Schreib mir [email protected]
Dieser Newsletter is created by humans, inspired by AI.