KI-Datenschutz, ChatGPT Health und die Halluzinations-Falle (24.07.2026)

Hallo, hier ist Sarah von KI Kompakt. Schön, dass ihr wieder dabei seid. Heute geht es um ein Thema, das sich durch fast alle Meldungen zieht wie ein roter Faden: Vertrauen. Vertrauen in Daten, Vertrauen in KI-Antworten, Vertrauen in Partner und Vertrauen in Systeme, die inzwischen ziemlich tief in unseren Alltag reichen. Schauen wir uns das mal gemeinsam an. Fangen wir vorne an, bei den Daten selbst. Die OECD hat einen Bericht veröffentlicht, der ein spannendes Paradox beschreibt. Das Internet ist voll von Daten, trotzdem wird es für KI-Firmen immer schwieriger, an hochwertige, nutzbare Trainingsdaten zu kommen. Der Grund: Viele Organisationen halten ihre Daten zurück, aus rechtlichen und wirtschaftlichen Gründen. Gleichzeitig stößt das klassische Web-Scraping an seine Grenzen, durch Klagen, durch technische Schutzmaßnahmen, durch sinkende Qualität der frei verfügbaren Inhalte. Der Bericht fordert deshalb faire und rechtssichere Modelle für den Datenaustausch, statt einfach weiter alles einzusammeln, was greifbar ist. Das klingt erstmal abstrakt, hat aber ganz reale Konsequenzen. Wenn Firmen wie OpenAI oder Google künftig nicht mehr einfach alles crawlen können, verändert sich, wie neue Modelle überhaupt trainiert werden. Und genau an dieser Stelle wird es konkret. Bei der uniVersa-Versicherung kam es zu einem Datenschutzvorfall, bei dem ein Crawler von OpenAI über mehrere Stunden auf Kundendaten zugreifen konnte. Namen, Adressen, Versicherungsnummern, teilweise auch Bankverbindungen. Der Auslöser war ein offener Server während einer IT-Umstellung, keine gezielte Attacke also, aber trotzdem ein ernster Vorfall. Die bayerische Datenschutzaufsicht prüft nun den Umfang. Für Unternehmen ist das eine klare Erinnerung: KI-Crawler sind mittlerweile so präsent im Netz, dass jede Sicherheitslücke sofort ein Einfallstor sein kann. Wer mit sensiblen Daten arbeitet, muss seine Systeme entsprechend absichern, nicht irgendwann, sondern jetzt. Vertrauen spielt auch beim Thema Gesundheit eine große Rolle. OpenAI hat ChatGPT Health für alle volljährigen Nutzer in den USA freigegeben, über alle Tarife hinweg. Man kann jetzt Daten aus Apple Health, MyFitnessPal oder Oracle Health einbinden und auch in normalen Chats nutzen. Das kommt einen Tag nach einer Klage, in der ein Nutzer behauptet, der Chatbot habe ihm fälschlich vom Arztbesuch abgeraten. Interessanter Zeitpunkt für diesen Rollout. Die Zahlen sind trotzdem beeindruckend, 300 Millionen gesundheitsbezogene Anfragen pro Woche. OpenAI betont weiterhin, der Dienst sei nicht zur Diagnose gedacht. Für Nutzer heißt das ganz praktisch: nützliches Werkzeug, aber kein Ersatz für echte medizinische Beratung. Diese Botschaft kann man gar nicht oft genug wiederholen. Damit sind wir mitten im nächsten Thema, das die ganze Debatte eigentlich zusammenfasst. Eine Analyse von IT Business beschäftigt sich mit einer fundamentalen Schwachstelle großer Sprachmodelle wie ChatGPT oder Gemini. Sie klingen überzeugend, wirken fundiert, erfinden aber trotzdem Inhalte. Dieses Problem ist nicht neu, aber es wird jetzt ernster diskutiert, weil die Modelle immer selbstbewusster auftreten und immer mehr Lebensbereiche berühren, eben auch Gesundheit. Wenn ein System rhetorisch perfekt klingt, aber inhaltlich falsch liegen kann, wird kritische Prüfung durch Menschen wichtiger, nicht unwichtiger. Und das führt uns zu einer Studie, die genau diesen Punkt aus Unternehmensperspektive beleuchtet. Generative KI steigert nachweislich die individuelle Produktivität, besonders bei weniger erfahrenen Mitarbeitenden. Aber dieser Gewinn übersetzt sich nicht automatisch in einen Organisationsgewinn. Die Studie beschreibt drei Bruchstellen. Erstens geht der natürliche Wissenstransfer zwischen erfahrenen und jungen Kollegen verloren, wenn jeder einfach die KI fragt statt den Kollegen im Nachbarbüro. Zweitens entsteht unkritisches Vertrauen in plausibel klingende KI-Antworten, was direkt an das Problem mit den erfundenen Inhalten anschließt. Und drittens wird zu schnell eine Lösung akzeptiert, ohne die Debatte und Perspektivenvielfalt, die für echte Innovation eigentlich nötig wären. Führungskräfte müssten also aktiv gegensteuern, mit klaren Prüfprozessen und bewusst geschaffenen Diskussionsräumen. Für den Mittelstand ist das eine wichtige Erkenntnis. KI-Tools einführen reicht nicht, es braucht auch neue Arbeitsstrukturen drumherum. Kommen wir zu einer handfesten Partnerschaft, die zeigt, wie sich der europäische KI-Markt gerade neu ordnet. Microsoft und Mistral AI vertiefen ihre Allianz mit einer mehrere Milliarden Euro schweren Vereinbarung. Ziel ist der Ausbau europäischer KI-Infrastruktur und souveräne KI-Lösungen für Banken, Gesundheitswesen und kritische Infrastruktur. Kunden sollen künftig zwischen Cloud, hybriden und komplett isolierten Betriebsmodellen wählen können. Microsoft integriert außerdem neue Mistral-Modelle wie Medium 3.5 und OCR 4 in seine Plattformen. Für Microsoft bedeutet das weniger Abhängigkeit von OpenAI, für Mistral den Zugang zu einem riesigen globalen Vertriebsnetz. Das ist ein klares Signal, dass digitale Souveränität in Europa nicht nur ein politisches Schlagwort bleibt, sondern konkret mit Geld und Infrastruktur unterlegt wird. Ähnlich in diese Richtung geht die Partnerschaft von CGI und der Kanzlei Heuking. Die beiden verzahnen rechtliche Beratung und technische Umsetzung im Bereich Sicherheit und Compliance. Das Angebot richtet sich an Unternehmen und Behörden, die Vorgaben aus NIS2, der KRITIS-Verordnung oder dem Datenschutz in echte Sicherheitsstrukturen übersetzen müssen. Heuking bringt das juristische Wissen, CGI die technische Erfahrung aus Projekten für Bundeswehr und NATO. Auch das passt ins Bild. Je mehr KI und digitale Systeme in kritischen Bereichen laufen, desto wichtiger wird die Kombination aus Recht und Technik. Ganz am Rande noch eine kleine Meldung aus der Hardware-Welt. Primate Labs hat Geekbench 7 veröffentlicht, mit anspruchsvolleren Datensätzen und neuen Audio- und Videotests, unter anderem für AV1 und Opus. Das ist zwar kein KI-Thema im engeren Sinn, zeigt aber, wie die Anforderungen an Rechenleistung generell steigen, auch getrieben durch datenintensive Anwendungen, wie wir sie aus der KI-Welt kennen. Wenn man all das zusammennimmt, zeichnet sich ein klares Bild ab. Die KI-Branche bewegt sich von der Wachstumsphase hin zu einer Phase der Verantwortung. Es geht um fairen Datenaustausch statt wildem Scraping, um kritische Prüfung statt blindem Vertrauen in KI-Antworten, und um souveräne, sichere Infrastruktur statt reiner Abhängigkeit von einzelnen Anbietern. Das sind die Themen, die uns wohl noch länger begleiten werden. Das war's für heute von mir. Danke, dass ihr zugehört habt. Ich freu mich schon auf morgen, bis dann.