loginai.
KI Kompakt
Folge 3829.06.20266:48 KI-vertont

KI-Sicherheit, Halluzinationen und neue Modelle im Fokus (29.06.2026)

KI-News pur: Ein neues Open-Weight-Modell schlägt Claude bei Sicherheitstests, Anthropic verlangt Ausweise von Nutzern und ChatGPT-Protokolle scheitern als Gerichtsbeweis – dazu Meta, Samsung und mehr!

Themen

In dieser Folge

08
  1. 01

    Open-Weight-Modell GLM 5.2 übertrifft Claude bei IDOR-Sicherheitsbenchmarks

    HAcker News

    Das Open-Weight-Modell GLM 5.2 von Zhipu AI hat in Benchmarks des Sicherheitsunternehmens Semgrep zur Erkennung von IDOR-Schwachstellen (Insecure Direct Object Reference) einen F1-Score von 39 Prozent erzielt und damit den Frontier-Coding-Agenten Claude Code mit 32 Prozent übertroffen – ohne jegliches spezialisiertes Scaffolding und zu einem Bruchteil der Kosten von etwa 0,17 US-Dollar pro gefundener Schwachstelle. Das Modell basiert auf einer Mixture-of-Experts-Architektur mit rund 750 Milliarden Parametern, von denen nur etwa 40 Milliarden pro Token aktiv sind, unterstützt einen Kontextfenster von bis zu einer Million Token und steht unter MIT-Lizenz zur freien Nutzung bereit. Semgreps eigene multimodale Pipeline, die auf einem speziell entwickelten Harness mit automatischer Endpunkt-Erkennung basiert, führt die Rangliste mit bis zu 61 Prozent F1-Score weiterhin an und verdeutlicht, dass neben der Modellqualität auch die umgebende Infrastruktur entscheidend für die Erkennungsleistung ist.

    Original
  2. 02

    ChatGPT erfindet Fakten und Quellen – so gewöhnst du es der KI ab

    t3b

    KI-Tools erfinden Fakten, Quellen und Zahlen, das ist ein bekanntes Problem im Büroalltag. Der passende System-Prompt reduziert jedoch die KI-Halluzinationen. Bei t3n MeisterPrompter gibt es die Vorlage zum Kopieren.

    Original
  3. 03

    ChatGPT-Protokolle als Beweismittel im Palisades-Brandprozess gescheitert

    The Verge

    Im Prozess gegen Jonathan Rinderknecht, der wegen Brandstiftung im Zusammenhang mit einem der tödlichsten Waldbrände in der Geschichte von Los Angeles angeklagt war, setzten Staatsanwälte erstmals ChatGPT-Gesprächsprotokolle als Beweismittel ein. Die Protokolle zeigten unter anderem, dass Rinderknecht KI-generierte Feuerbilder angefordert und den Chatbot gefragt hatte, ob jemand für einen durch eine Zigarette ausgelösten Brand haftbar gemacht werden könne. Die Geschworenen ließen sich davon jedoch nicht überzeugen – das Verfahren endete mit einem Fehlurteil, nachdem die Jury mit zehn zu zwei Stimmen zugunsten der Verteidigung votierte, wobei eine Geschworene die ChatGPT-Nutzung ausdrücklich als kein Indiz für einen Charakterfehler wertete.

    Original
  4. 04

    Anthropic führt Ausweiskontrolle für Claude-Nutzer ein – Datenschützer kritisieren Dienstleister Persona

    t3b

    Anthropic hat seine Datenschutzrichtlinien geändert und wird ab dem 8. Juli 2026 von bestimmten Claude-Nutzerinnen und -Nutzern eine Identitätsverifizierung per Lichtbildausweis und Live-Selfie verlangen, um Missbrauch zu verhindern und rechtliche Verpflichtungen zu erfüllen. Laut einem Unternehmenssprecher betrifft die Maßnahme zunächst nur eine kleine Gruppe von Konten, die bereits wegen möglicher Richtlinienverstöße markiert wurden, und steht in keinem Zusammenhang mit dem kürzlichen Stopp der KI-Modelle Mythos 5 und Fable 5. Für Unruhe sorgt die Wahl des Verifizierungsdienstleisters Persona, hinter dem unter anderem der umstrittene Tech-Investor Peter Thiel steht, wobei Anthropic versichert, dass die erhobenen Daten ausschließlich zur Identitätsprüfung genutzt und nicht für KI-Training oder Weitergabe an Dritte verwendet werden.

    Original
  5. 05

    Sieben Tode in 'House of the Dragon', die deutlich von der Buchvorlage abweichen

    Business Insider

    Die HBO-Serie 'House of the Dragon' basiert auf George R. R. Martins 'Fire & Blood', einem fiktiven Geschichtswerk, das Ereignisse nur vage und aus der Perspektive unzuverlässiger Chronisten schildert – was den Drehbuchautoren erheblichen kreativen Spielraum lässt. So werden etwa der Tod von Königin Aemma durch eine erzwungene Kaiserschnittoperation, Laenas feuriger Freitod per Drachen oder Laenors vorgetäuschter Tod im Buch entweder kaum erwähnt oder grundlegend anders dargestellt. Besonders auffällig ist die Hinrichtung von Otto Hightower in Staffel drei, die im Roman lediglich als nüchterne Aufzählung erscheint, in der Serie jedoch zu einem emotional aufgeladenen, persönlichen Moment für Rhaenyra wird.

    Original
  6. 06

    Familienurlaub mit Teenagern: Eine Mutter lernt, den Moment zu genießen, bevor das Nest leer wird

    Business Insider

    Eine Mutter unternahm mit ihren vier Söhnen im Alter von 13 bis 20 Jahren einen Familienurlaub auf Turks and Caicos – in dem Bewusstsein, dass die gemeinsame Zeit als Familie immer knapper wird, da die älteren Söhne kurz vor dem Erwachsenenleben stehen. Während des Urlaubs wurde ihr einmal mehr bewusst, wie schnell aus rundgesichtigen Kleinkindern erwachsene Männer geworden sind, und wie sehr sich die Art der familiären Verbundenheit mit zunehmendem Alter der Kinder verändert. Die Erfahrung bestärkte sie darin, solche gemeinsamen Momente bewusst zu schaffen und zu schätzen, solange sie noch möglich sind – auch wenn niemand weiß, ob es der letzte gemeinsame Urlaub dieser Art war.

    Original
  7. 07

    Samsung Galaxy A27 5G: Mittelklasse-Smartphone mit KI-Funktionen und langfristigem Support ab 349 Euro

    IT Business

    Samsung bringt mit dem Galaxy A27 5G ein Mittelklasse-Smartphone auf den Markt, das ab dem 3. Juli 2026 in drei Farben erhältlich ist und in der Einstiegsvariante mit 128 GB Speicher 349 Euro kostet. Das Gerät verfügt über ein 6,7 Zoll großes Super-AMOLED-Display mit 120-Hz-Bildwiederholrate, einen Snapdragon-6-Gen-3-Prozessor sowie einen 5.000-mAh-Akku mit 25-Watt-Schnellladefunktion. Besonders hervorzuheben sind die KI-Funktionen wie Googles Circle to Search, ein verbesserter Objekt-Radierer und ein Transkriptions-Assistent mit Echtzeit-Übersetzung in 22 Sprachen, ergänzt durch einen langfristigen Support von sechs Jahren Sicherheitsupdates und sechs Generationen Android-OS-Upgrades.

    Original
  8. 08

    Meta stellt SAM 3.1 vor: Schnellere Echtzeit-Videoverfolgung durch Objekt-Multiplexing

    Meta AI Blog

    Meta hat SAM 3.1 als direkten Nachfolger von SAM 3 veröffentlicht, der durch die Einführung von Objekt-Multiplexing bis zu 16 Objekte in einem einzigen Vorwärtsdurchlauf verarbeiten kann und damit den Videodurchsatz auf einer einzelnen H100-GPU von 16 auf 32 Frames pro Sekunde verdoppelt. Diese Architekturverbesserung eliminiert redundante Berechnungen, die zuvor für jedes Objekt separat durchgeführt werden mussten, und ermöglicht so eine globale Verarbeitung aller verfolgten Objekte gleichzeitig. Durch den reduzierten GPU-Ressourcenbedarf wird leistungsstarkes Echtzeit-Objekt-Tracking nun auch auf kleinerer und zugänglicherer Hardware möglich.

    Original
FAQ

Häufige Fragen

Was ist ein IDOR-Sicherheitsbenchmark und warum ist er für Unternehmen relevant?

IDOR steht für 'Insecure Direct Object Reference' – eine häufige Schwachstelle in Webanwendungen, bei der Angreifer durch Manipulation von Referenzen auf fremde Datensätze zugreifen können. Benchmarks wie der von Semgrep messen, wie zuverlässig KI-Modelle solche Lücken im Code automatisch erkennen. Für Unternehmen ist das relevant, weil automatisierte Sicherheitsprüfungen durch KI Zeit und Kosten im Entwicklungsprozess sparen können.

Warum übertrifft das Open-Weight-Modell GLM 5.2 teurere Alternativen wie Claude bei der Sicherheitsanalyse?

GLM 5.2 nutzt eine Mixture-of-Experts-Architektur, bei der trotz 750 Milliarden Gesamtparametern nur rund 40 Milliarden pro Anfrage aktiv sind – das macht es effizient und kostengünstig bei etwa 0,17 US-Dollar pro gefundener Schwachstelle. Zudem steht es unter MIT-Lizenz frei zur Verfügung, was den Einsatz ohne Lizenzkosten ermöglicht. Die Ergebnisse zeigen, dass Modellgröße und Preis allein keine Garanten für Qualität sind.

Wie können Unternehmen KI-Halluzinationen – also erfundene Fakten und Quellen – in der Praxis reduzieren?

Der wirksamste Hebel ist ein gezielt formulierter System-Prompt, der das Modell anweist, bei Unsicherheit keine Antwort zu erfinden, sondern dies transparent zu kommunizieren. Ergänzend sollten KI-generierte Inhalte, insbesondere Zahlen, Zitate und Quellenangaben, grundsätzlich manuell gegengeprüft werden. Vorgefertigte Prompt-Vorlagen, wie sie etwa t3n anbietet, senken die Einstiegshürde für Teams ohne Prompt-Engineering-Erfahrung.

Welche rechtlichen Konsequenzen hat der gescheiterte Einsatz von ChatGPT-Protokollen als Beweismittel im Palisades-Brandprozess?

Das Verfahren endete mit einem Fehlurteil, da die Jury die ChatGPT-Protokolle nicht als ausreichenden Schuldbeweis wertete – eine Geschworene betonte ausdrücklich, dass die KI-Nutzung keinen Rückschluss auf den Charakter des Angeklagten erlaube. Der Fall zeigt, dass digitale KI-Gesprächsdaten zwar als Indiz eingebracht werden können, ihre Beweiskraft vor Gericht jedoch bislang gering ist. Für Unternehmen und Rechtsabteilungen verdeutlicht dies, dass der rechtliche Rahmen für KI-generierte Beweismittel noch weitgehend ungeklärt ist.

Welche Datenschutzrisiken birgt Anthropics neue Ausweispflicht für Claude-Nutzer, und wen betrifft sie konkret?

Ab Juli 2026 müssen bestimmte Claude-Nutzer ihren Lichtbildausweis und ein Live-Selfie einreichen – laut Anthropic zunächst nur Konten, die bereits wegen möglicher Richtlinienverstöße markiert wurden. Kritik richtet sich vor allem gegen den Verifizierungsdienstleister Persona, der Verbindungen zum umstrittenen Investor Peter Thiel aufweist. Anthropic versichert, die Daten ausschließlich zur Identitätsprüfung zu nutzen und weder für KI-Training noch für Dritte weiterzugeben – eine unabhängige Überprüfung dieser Zusagen bleibt jedoch schwierig.

Vollständiges Transkript

Transkript ein-/ausblenden

Hallo, hier ist Sarah von KI Kompakt. Heute geht es um ein ziemlich breites Spektrum an Themen, und wenn ich ehrlich bin, verbindet die meisten davon ein roter Faden: Es geht darum, was KI wirklich kann, wo ihre Grenzen liegen und welche gesellschaftlichen Fragen entstehen, wenn sie immer tiefer in unseren Alltag eindringt. Fangen wir mit einer Meldung an, die mich wirklich überrascht hat. Das chinesische Unternehmen Zhipu AI hat ein Open-Weight-Modell namens GLM 5.2 veröffentlicht, und das hat in einem Sicherheits-Benchmark des Unternehmens Semgrep etwas geschafft, womit wohl viele nicht gerechnet haben. Es geht um die Erkennung von IDOR-Schwachstellen, also sogenannte Insecure Direct Object References, ein klassisches Sicherheitsproblem in Web-Anwendungen, bei dem Nutzer auf Daten zugreifen können, auf die sie eigentlich keinen Zugriff haben sollten. GLM 5.2 hat dabei einen F1-Score von 39 Prozent erreicht. Zum Vergleich: Anthropics Claude Code, der spezialisierte Coding-Agent, kam nur auf 32 Prozent. Und das Besondere ist, dass GLM 5.2 das ganz ohne spezialisiertes Scaffolding geschafft hat, also ohne extra aufgebaute Infrastruktur drumherum. Dazu kostet es nur etwa 17 Cent pro gefundener Schwachstelle. Das Modell nutzt eine Mixture-of-Experts-Architektur mit rund 750 Milliarden Parametern, von denen aber nur etwa 40 Milliarden pro Token aktiv sind, und es unterstützt ein Kontextfenster von bis zu einer Million Token. Steht unter MIT-Lizenz, also frei nutzbar. Was das bedeutet: Open-Source-Modelle aus China holen massiv auf, und zwar in hochspezialisierten Bereichen wie der Sicherheitsforschung. Für Entwicklerinnen und Entwickler ist das hochinteressant, weil sich damit günstige und leistungsfähige Alternativen zu teuren kommerziellen Diensten ergeben. Allerdings zeigt dieselbe Studie auch, dass die eigene Pipeline von Semgrep mit bis zu 61 Prozent F1-Score noch deutlich vorne liegt. Das Modell allein ist also nicht alles, die Infrastruktur drumherum macht einen erheblichen Unterschied. Das ist ein wichtiger Punkt, den man im Hinterkopf behalten sollte, wenn man Benchmarks liest. Passend dazu ein Thema, das in der Praxis jeden betrifft, der KI-Tools im Büro nutzt: Halluzinationen. ChatGPT erfindet Fakten, Quellen und Zahlen, das ist kein Geheimnis. Aber es gibt Wege, das zu reduzieren. Ein gut formulierter System-Prompt kann erheblich dazu beitragen, dass das Modell sich an Fakten hält und keine Quellen erfindet. Das klingt einfach, aber viele Nutzerinnen und Nutzer unterschätzen, wie stark der Einstieg in ein Gespräch die Qualität der Antworten beeinflusst. Wer regelmäßig mit KI arbeitet, sollte sich damit ernsthaft beschäftigen. Und damit kommen wir zu einer Meldung, die zeigt, wie weit KI-generierte Inhalte schon in ernste gesellschaftliche Kontexte vorgedrungen sind. In den USA wurde im Prozess gegen Jonathan Rinderknecht, der wegen Brandstiftung im Zusammenhang mit einem der tödlichsten Waldbrände in der Geschichte von Los Angeles angeklagt war, erstmals ChatGPT-Gesprächsprotokolle als Beweismittel eingesetzt. Die Protokolle zeigten, dass der Angeklagte KI-generierte Feuerbilder angefordert und den Chatbot gefragt hatte, ob jemand für einen durch eine Zigarette ausgelösten Brand haftbar gemacht werden könne. Klingt erst mal nach einem starken Indiz. Aber die Jury ließ sich nicht überzeugen. Das Verfahren endete mit einem Fehlurteil, zehn zu zwei Stimmen für die Verteidigung. Eine Geschworene sagte sogar ausdrücklich, die ChatGPT-Nutzung sei für sie kein Hinweis auf einen Charakterfehler. Das ist ein juristisch und gesellschaftlich sehr bedeutsamer Moment. KI-Protokolle als Beweismittel, das ist Neuland. Und die Reaktion der Jury zeigt, dass es noch keine gesellschaftliche Einigkeit darüber gibt, wie solche Daten zu bewerten sind. Für Anwältinnen und Anwälte, Richterinnen und Richter und letztlich auch für alle, die KI nutzen, stellt sich die Frage: Was sagt es über jemanden aus, wenn er oder sie bestimmte Dinge in einen Chatbot eingibt? Das wird uns noch lange beschäftigen. Bleiben wir bei Anthropic. Das Unternehmen hinter Claude hat angekündigt, ab Juli 2026 von bestimmten Nutzerinnen und Nutzern eine Identitätsverifizierung zu verlangen. Konkret geht es um Konten, die bereits wegen möglicher Richtlinienverstöße markiert wurden. Die Verifizierung soll per Lichtbildausweis und Live-Selfie funktionieren. Das klingt zunächst vernünftig, Missbrauch zu verhindern ist ein legitimes Ziel. Aber es gibt Kritik, und die betrifft vor allem die Wahl des Dienstleisters. Anthropic arbeitet dabei mit dem Unternehmen Persona zusammen, hinter dem unter anderem der umstrittene Tech-Investor Peter Thiel steht. Das sorgt für Unruhe in der Datenschutzcommunity. Anthropic versichert zwar, dass die erhobenen Daten ausschließlich zur Identitätsprüfung genutzt werden und nicht für KI-Training oder Weitergabe an Dritte, aber Vertrauen in solche Versprechen muss man sich erst erarbeiten. Für Nutzerinnen und Nutzer, die Wert auf Datenschutz legen, ist das ein Punkt, den man im Auge behalten sollte. Jetzt zu etwas, das auf den ersten Blick nach einer Randnotiz klingt, aber für alle relevant ist, die KI für Videoanalyse oder Computer Vision nutzen. Meta hat SAM 3.1 veröffentlicht, den Nachfolger des Segment Anything Models. Die wichtigste Neuerung ist das sogenannte Objekt-Multiplexing. Bisher musste das Modell für jedes verfolgte Objekt in einem Video separat rechnen, jetzt können bis zu 16 Objekte in einem einzigen Durchlauf verarbeitet werden. Das verdoppelt den Videodurchsatz auf einer einzelnen H100-GPU von 16 auf 32 Frames pro Sekunde. Was das praktisch bedeutet: Echtzeit-Objektverfolgung wird deutlich günstiger und ist jetzt auch auf kleinerer Hardware möglich. Für Anwendungen in der Produktion, im Einzelhandel, in der Medizin oder auch in der Kreativbranche ist das ein echter Fortschritt. Wenn man die heutigen Meldungen zusammennimmt, sieht man ein sehr klares Bild: KI wird leistungsfähiger, günstiger und breiter einsetzbar, gleichzeitig entstehen immer mehr Fragen rund um Sicherheit, Datenschutz, rechtliche Einordnung und gesellschaftliche Akzeptanz. Das Tempo ist hoch, und die Gesellschaft läuft an manchen Stellen noch hinterher. Wer KI nutzt, ob privat oder beruflich, tut gut daran, diese Entwicklungen im Blick zu behalten. Ich freue mich schon auf morgen, bis dann!

Vorlage für die Sprachsynthese. Kleinere Abweichungen zur Audio-Datei möglich.

Feedback

Fehler gefunden?

Die Pipeline ist automatisiert — gelegentliche Fehler passieren. Wir korrigieren auf Hinweis. Mehr Details unter Korrekturen.

corrections@login-online.com