Chatbots und Gesundheitsfragen: So geht kompetenter Umgang mit KI

Eine Künstliche Intelligenz ersetzt nicht die Ärztin oder den Arzt

„Wenn frei verfügbare KI-Anwendungen als Gesundheitsberater genutzt werden, ist das durchaus kritisch zu sehen“, sagt Dr. Tanja Bratan, Leiterin Geschäftsfeld Innovationen im Gesundheitssystem beim Fraunhofer-Institut für System- und Innovationsforschung ISI. Das hat mehrere Gründe. Einer sind die Halluzinationen: Fehlen ihnen Daten, geben KIs zuweilen plausibel klingende, aber falsche Antworten – oft inklusive erfundener Quellenangaben. „KIs verstehen medizinisches Wissen nicht im menschlichen Sinne, wie beispielsweise eine Ärztin oder ein Arzt“, sagt Bratan. „Sie berechnen stattdessen, wie wahrscheinlich es ist, dass ein Wort auf das andere folgt.“ Im Falle einer Anfrage zu „Depression“ wird also eher das Wort „Weinen“ in der Antwort auftauchen als etwa das Wort „Handstand“. Für den menschlichen Körper sind das zwei sehr verschiedene Zustände. Die KI hingegen sieht darin nur Buchstabenfolgen.

Warum KI bei Gesundheitsfragen nicht immer richtig liegt

Chatbots sind zudem immer nur so schlau, wie die Informationen, auf die sie Zugriff haben. Das medizinische Wissen wächst jedoch kontinuierlich. Aus veralteten Trainingsdaten – also dem Basiswissen einer KI – können deshalb fehlerhafte Antworten entstehen. Mittlerweile nutzen die großen Modelle zwar das Internet. Fragt jemand zum Beispiel, warum die Luftqualität „heute in Berlin“ so schlecht ist, sucht die KI im Netz nach aktuellen und relevanten Ergebnissen. Man könnte auch sagen: sie googelt. Was sie findet, muss aber nicht stimmen, sagt die KI-Expertin Bratan. „Sie kann auch im Netz ungenaue, veraltete oder voreingenommene Informationen aufgreifen.“ Wie schwer sich KIs mit medizinischen Fragen tun, zeigt eine aktuelle Studie. Fünf der frei verfügbaren großen Chatbots wurden 250 Fragen zu Gesundheitsthemen gestellt. Nur etwas mehr als die Hälfte ihrer Antworten waren richtig.

Ein weiteres Risiko: In medizinischen Studien sind Frauen oder bestimmte ethnische Gruppen unterrepräsentiert. Steckt dieser Bias im System, interpretiert die KI möglicherweise die angegebenen Symptome falsch. Und abhängig von der Anfrage kennt sie weder die Krankengeschichte noch die Medikamente, die eine ratsuchende Person einnimmt. Astrid Funken: „KI berücksichtigt keine individuellen Gesundheitsumstände, Vorerkrankungen oder persönliche Risikofaktoren. Eine pauschale Antwort kann im Einzelfall gefährlich sein.“

Und dann ist da noch die Bestätigungsspirale. Frei verfügbare KIs sind üblicherweise so programmiert, dass sie Menschen kontinuierlich zur weiteren Nutzung motivieren. Ein „Möchtest du noch mehr über diese extrem gefährliche Erkrankung wissen, die du vielleicht hast?“ macht Nutzerinnen und Nutzer womöglich grundlos Angst. Oder es verleitet sie dazu, irrtümlich den ärztlichen Notdienst zu rufen.

Warum digitale Gesundheitskompetenz schützt

Wer frei verfügbare Chatbots bei Gesundheitsfragen nutzt, sollte all diese Aspekte in Betracht ziehen. Dafür braucht es jedoch eine gewisse Kompetenz. Einer aktuellen Studie der Universität Bielefeld und Berliner Charité zufolge wollen zwar über 80 Prozent der Deutschen „alles über ihre Gesundheit wissen“. Die digitale Gesundheitskompetenz ist bei über 70 Prozent der Befragten allerdings gering. Damit ist die Fähigkeit gemeint, etwa im Netz oder in Apps Informationen zur Gesundheit gezielt zu suchen, zu finden, zu verstehen, zu bewerten und diese dann selbstbestimmt für die eigene Gesundheit anzuwenden. Wie sollen Nutzerinnen und Nutzer ohne diese jedoch erkennen, ob eine KI ihre Fragen zu Akne oder Herzrhythmusstörungen richtig beantwortet?

Tanja Bratan fordert mehr Erwachsenenbildung zum Thema, beispielsweise über Volkshochschulen oder kostenlose Webinare. „Schulen und Ausbildungseinrichtungen müssen ebenfalls KI-Kompetenz vermitteln – insbesondere auch für Gesundheitsberufe, da diese KI zunehmend in ihrem Berufsalltag nutzen werden.“ Das von der Barmer entwickelte Präventionsprogramm DURCHBLICKT! ist speziell für Schulen konzipiert. Die Plattform bietet kostenfreie Ready-to-Teach-Unterrichtsmaterialien und Fortbildungsmodule für Lehrkräfte sowie interaktive Angebote für Schülerinnen und Schüler. „Mit Inhalten wie der Handreichung ‚Künstliche Intelligenz und Gesundheit‘ sensibilisieren wir Jugendliche für den Einsatz von KI im Gesundheitswesen und den Schutz ihrer Gesundheitsdaten“, sagt Astrid Funken, die das Präventionsprogramm leitet. Auch Eltern informiert DURCHBLICKT! mit Blog-Artikeln wie „Dr. KI – Gesundheitsgefährdend oder -fördernd?" zu Risiken und Chancen und gibt konkrete Handlungsempfehlungen. „Lehrkräfte und Eltern sollten KI-Nutzung nicht verbieten, sondern aktiv begleiten“, so Funken. „Offene Gespräche schaffen Vertrauen und fördern die verantwortungsvolle Nutzung.“

Der Barmer-Service-Chatbot: Geprüfte und aktuelle Informationen

Neben dieser Aufklärungsarbeit braucht es jedoch auch technologisch sichere Alternativen zu den frei verfügbaren Chatbots. Dazu zählen sogenannte RAG-Systeme (Retrieval-Augmented Generation, auf deutsch etwa „abrufgestützte Generierung“). Diese holen sich Informationen nicht irgendwo im Netz. Ihr Wissen basiert auf einer vorab definierten Datenbank, zum Beispiel ausgewählten Artikeln oder geprüften Fachquellen. So funktioniert auch der KI-Service-Chatbot der Barmer. Seit Anfang 2026 ist dieser auf der Webseite der Krankenkasse barmer.de aktiv. Er gibt Auskunft zu Leistungen und Services der Krankenkasse, kann jedoch auch allgemeine Gesundheitsfragen beantworten, wie etwa nach Hausmitteln gegen Husten oder dem Beginn der Pollenflugsaison. Dafür braucht es keinen Versicherten-Status: Alle Besucherinnen und Besucher der Webseite können ihn benutzen.

Sein Wissen bezieht der Chatbot ausschließlich aus Informationen, die von der Krankenkasse verantwortet und geprüft wurden. „Der Datensatz ist sehr gut gepflegt“, sagt Apolline Tabourot-Emig. „Unsere Wissensdatenbank wird jeden Tag aktualisiert. Das heißt, wenn heute ein neuer Text auf unserer Webseite erscheint, dann weiß unser Chat-Bot spätestens morgen davon.“

Die Barmer-Mitarbeiterin ist Product Owner des Chatbots, also so etwas wie dessen Vorgesetzte. Ganz ausschließen, dass dieser halluziniert, kann sie nicht. „Das Risiko ist jedoch sehr viel geringer als bei frei verfügbaren Modellen.“ Dazu tragen unter anderem die Expertinnen und Experten aus den Fachabteilungen der Barmer bei. Sie überprüfen alle Aussagen, die ein negatives Nutzerfeedback erhalten haben. „So optimieren wir das System stetig“, sagt Tabourot-Emig.

Vertrauenswürdige Alternativen zu ChatGPT, Claude und Gemini

Anders als bei den großen kostenlosen Modellen können sich Nutzerinnen und Nutzer hier zudem sicher sein, dass ihre eingegebenen Informationen nicht für die Trainings der KI genutzt werden. „Gibt jemand versehentlich personenbezogene Daten oder Sozialdaten ein, anonymisieren wir diese automatisch in einem doppelten Vorgang, strikt und unumkehrbar“, so Tabourot-Emig. Erkennt das System, dass es einer Person schlecht geht, zum Beispiel, weil diese zu Themen wie Burnout fragt, verweist der Bot sofort auf menschliche Kontaktmöglichkeiten bei Hilfsorganisationen und der Krankenkasse: „Es gibt Menschen, die Ihnen jetzt sofort helfen können.“

Ebenfalls zuverlässig sind die KIs in den sogenannten Digitalen Gesundheitsanwendungen (DiGA), auch bekannt als Apps auf Rezept. Diese digitalen Angebote werden vom Bundesinstitut für Arzneimittel und Medizinprodukte (BfArM) eingehend auf ihren nachweislich medizinischen Nutzen und ihre Sicherheit geprüft. Tanja Bratan: „Qualitätsgesicherte Apps sind eine gute Quelle für Gesundheitsinformationen. Teilweise enthalten diese auch Chatbots, die aber verlässlicher sind als die großen kostenlosen Modelle.“

Warum die EU KIs mit einem Gesetz reguliert

Schon heute stellen 230 Millionen Menschen jede Woche Gesundheitsfragen an ChatGPT . Das berichtet OpenAI, der Anbieter des Chatbots. Dass Angebote wie ChatGPT derzeit noch kostenlos verfügbar sind, hat einen Grund: Daten sind wertvoll. Insbesondere Gesundheitsdaten. Mit der gerade gelaunchten Version ChatGPT Health dringt der KI-Konzern nun in den stark regulierten Gesundheitsmarkt vor. Nutzerinnen und Nutzer können den Chatbot mit Apps wie Apple Health sowie Wellness-Apps wie MyFitnessPal verknüpfen. Bislang allerdings nicht in der EU – wahrscheinlich wegen der Datenschutzverordnung und dem europäischen AI Act. Letzterer ist weltweit das erste Gesetz überhaupt, das KI reguliert.

Das Gesetz will sicherstellen, das KI trotz der schnellen technologischen Entwicklungen sicher bleibt. Es unterteilt Angebote zum Beispiel in verschiedene Risikoklassen: So gelten die meisten Medizinprodukte als Hochrisikoanwendungen. Diese müssen unter anderem mit hochwertigen Daten trainiert und von Menschen überwacht werden. Gesetze alleine reichen jedoch nicht aus, sagt die Präventions-Expertin Astrid Funken: „Wir müssen lernen, im Umgang mit digitalen Angeboten wie KI selbst die Kontrolle zu behalten und sichere, souveräne Entscheidungen für unsere Gesundheit zu treffen.“ Dazu gehört auch, bei gesundheitlichen Beschwerden professionelle menschliche Hilfe einzubeziehen. „KI ist kein Ersatz für menschliche Expertise, sondern ein Werkzeug. Und entsprechend verantwortungsvoll sollte sie genutzt werden.“