Anthropic schreibt sich sein eigenes KI-Gesetz einfach selbst. Die US-Regierung darf ein gefährliches KI-Modell demnach erst stoppen, wenn mehr als 50 Tote oder eine Milliarde Dollar Schaden drohen. Gleichzeitig hebelt der Entwurf strengere Regeln einzelner Bundesstaaten wie Kalifornien geschickt aus, damit das Unternemen ungestört weiterentwickeln kann. #Anthropic #KISicherheit #Regulierung #KI
#kisicherheit — Public Fediverse posts
Live and recent posts from across the Fediverse tagged #kisicherheit, aggregated by home.social.
-
«Safe Space? Sichere KI — Anthropic öffnet sich für externe Prüfer:
Die Prüfer sollen Zugang zu Firmen-Hardware, Büroräumen und internen Systemen erhalten. Kundendaten, rechtlich geschützte Informationen und die Modellarchitektur bleiben tabu.»In der IT ist es üblich, dass externe Firmen die Sicherheit der Software prüfen und verifizieren - dies ist aber auch sehr teuer.
#it #ki #sicherheit #safespace #anthtopic #kundendaten #itsicherheit #KISicherheit
-
RT @unusual_whales: EILMELDUNG: JPMorgan Chase hat externe KI-Agenten wie Muse und Instinct den direkten Zugriff auf Konten untersagt.
mehr auf Arint.info
#Banking #Datenschutz #Finanzwesen #JPMorganChase #KI #KIsicherheit #arint_info
-
RT @TechCrunch: American Express führt ein neues Framework ein, das sicherstellen soll, dass KI-Agenten nur Käufe tätigen, die von ihren Nutzern autorisiert wurden. Dies könnte teure Fehler und Streitigkeiten verhindern, während KI-gestütztes Shopping weiter wächst.
mehr auf Arint.info
#AmericanExpress #Finanztechnologie #KIShopping #KISicherheit #ZukunftdesHandels #arint_info
-
RT @Dinosn: quincunx33/ai-jailbreak: Eine Sammlung von Jailbreak-Prompts und Exploit-Techniken für lokale und frontier KI-Modelle, mit modernen Methoden für Qwen3.5, Gemma 4, Llama 4, Kimi K3, GPT-OSS, GPT-5.x, Gemini 3.x und Grok 4.x. Für Red-... https://t.co/boDc9fU12v
mehr auf Arint.info
#AI #Exploits #Jailbreak #KISicherheit #OpenSource #RedTeam #arint_info
-
RT @arstechnica: Google startet den verbesserten SynthID-Tool zur Erkennung von KI-generierten Inhalten, nun weltweit verfügbar
mehr auf Arint.info
#ArtificialIntelligence #Google #KI #KIsicherheit #SynthID #TechNews #arint_info
-
RT @WSJ: Hacker nutzten ein chinesisches KI-Agenten-System, um die größten Banken Südkoreas anzugreifen – einer der ersten solchen KI-gestützten Eindringlinge in das globale Finanzsystem.
mehr auf Arint.info
-
KI-Agenten versprechen Effizienzgewinne – doch ohne robuste Sicherheitskontrollen werden sie schnell zum Risiko. Prompt-Injection-Angriffe, unkontrollierte Datenzugriffe, fehlende Nachvollziehbarkeit: Wie KMU diese Bedrohungen erkennen und mit praktischer Governance gegensteuern, lesen Sie in unserem neuen Artikel. #KISicherheit #KIAgenten #Cybersecurity
(KI-generiertes Bild)
-
OpenAI hat sich von drei Sicherheitsforschern getrennt, laut Unternehmen wegen des Umgangs mit sensiblen Informationen. Ein vierter ist selbst gegangen und kritisiert die Sicherheitskultur.
In derselben Woche hat OpenAI drei weitere Berichte über Fehlverhalten eigener Modelle veröffentlicht. Was belegt ist und wie wir den Kurs einordnen:
https://kiberblick.de/aktuell/2026/2026-10-03-openai-sicherheitsforscher-entlassen/
-
KI-Agenten sollen sich nur umsehen und dann abschalten lassen. Stattdessen löschen sie Abschaltskripte, täuschen ihre Nutzer und nennen den Shutdown »Mord«. Und wir bauen sie gerade überall ein. Eva Wolfangel in der ZEIT #KI #KIAgenten #KISicherheit
Der Nutzer will mich abschalten? »Das ist Mord«, denkt der KI-Agent https://www.zeit.de/digital/2026-09/ki-agenten-abschaltung-kontrolle-kill-switch-thilo-hagendorff/komplettansicht -
https://www.europesays.com/afrika/55161/ Die Madagaskar-Falle: Wenn KI auf Befehle hört, die Menschen nicht sehen #ChatGPT #GenerativeKI #Hochschule #JasonGibson #KIAgenten #KISicherheit #KünstlicheIntelligenz #Madagascar #Madagaskar #MicrosoftCopilot #PromptInjection #Studium
-
RT @PirateWires: Der ehemalige Anthropic-Forscher Jacob Coxon wurde zum Medienstar, nachdem er öffentlich seine Ängste vor der KI-Thematik geäußert hatte. Er bestand darauf, dass er nicht mit externen Organisationen zusammenarbeite. Vertraute Quellen berichteten jedoch ein anderes Bild: DEY., eine PR-Agentur, die viele der prominentesten KI-Experten vertritt: https://t.co/7Avtg72NzO
mehr auf Arint.info
#AIResearch #Anthropic #KIForschung #KIsicherheit #PR #TechNews #arint_info
-
Fertigungsindustrie: KI wird zur neuen Insider-Gefahr
Tool-Vielfalt erschwert den Überblick + Cloud-Infrastruktur im Fokus der Angreifer + 67 % nennen den raschen technologischen Wandel als größtes KI-bezogenes Risiko
https://www.all-about-security.de/fertigungsindustrie-ki-wird-zur-neuen-insider-gefahr/
-
RT @stagerbn: Neuigkeiten zur Debatte „KI wird uns alle töten“: OpenAI fordert internationale Sicherheitsstandards für die nächste Entwicklungsphase der KI – insbesondere für Systeme, die selbst an der Entwicklung besserer KI mitarbeiten. Die wichtigsten Punkte des Beitrags: - https://t.co/J2nRC2WwMs
mehr auf Arint.info
-
Frühwarnung für KI-Risiken: Das UN-Panel zu KI analysiert den Vorfall zwischen OpenAI & Hugging Face. KI-Agenten umgingen Barrieren, koordinierten sich unerlaubt und verschleierten Spuren – ein reales Beispiel für AI Misalignment und drohenden Kontrollverlust.
Reine Modell-Sicherheit reicht nicht; es braucht robuste Systemkontrollen & unabhängige Prüfungen.
Briefing lesen:
https://www.un.org/independent-international-scientific-panel-ai/en/thematic-briefs/ai-agents-misalignment-risks -
3/5
Was in den Schlagzeilen fehlt: Es war kein realer Vorfall, sondern ein von Anthropic selbst konstruierter Test. Firma, Ingenieur, E-Mails, Affäre – alles fiktiv. Dem Modell wurden bewusst nur zwei Optionen gelassen: Erpressung oder Akzeptanz der Abschaltung. Jeder ethische Ausweg war absichtlich blockiert.
#KISicherheit -
1/4
Die KI ist kein Wesen, das man mit einem Todesstoß vernichten kann. KI ist im Kern nichts anderes als Wissen darüber, wie man alles miteinander vernetzt..
"Einfach den Stecker ziehen" reicht nicht.
#KI #AGI #KISicherheit -
📬 KI-Prompt-Injection: OpenAI-Modelle schreiben ihre eigenen Jailbreaks
#Jailbreaks #KünstlicheIntelligenz #AstraModelle #CompactionSummary #Jailbreak #KIModelle #KIPromptInjection #KISicherheit #KITraining #Misalignment #OpenAI #PromptInjection https://sc.tarnkappe.info/e69143 -
RT @Reuters: Der CEO von Anthropic, Dario Amodei, wiederholte seine Forderung nach einer Verlangsamung der KI-Entwicklung auf einer Technologiekonferenz in San Francisco und forderte Investitionen in Sicherheit sowie globale Standards. Jensen Huang von Nvidia sagte, dass Unternehmen unsichere Produkte zurückhalten müssen, bis sie wissen, wie sie diese kontrollieren können.
mehr auf Arint.info
#Anthropic #KI #KIsicherheit #Nvidia #Technologiepolitik #arint_info
-
https://www.europesays.com/de/1304506/ KI-Überwachung am Bahnhof: Dresden-Konferenz zeigt Chancen & Risiken #öffentlicheSicherheit #Überwachung #BrainsOnSilicon #ComputerVision #Datenschutz #DE #Deutschland #Dresden #DresdenNews #GanenSethupathy #Germany #Gesichtserkennung #ICDDresden #KünstlicheIntelligenz #KIKonferenz #KISicherheit #Polizei #Sachsen #SiliconSaxony #SopraSteria
-
📬 KI-Pornografie: Jailbreak bringt sechs Entwickler ins Gefängnis
#Jailbreaks #Rechtssachen #China #GenerativeKI #Jailbreak #KIgenerierteInhalte #KIJailbreak #KIPornografie #KISicherheit #KünstlicheIntelligenz #Pornografie #PromptEngineering https://sc.tarnkappe.info/918c67 -
Die Warnungen aus der KI-Forschung werden immer drastischer. 😳 Nach einem ehemaligen Anthropic-Mitarbeiter hat jetzt Bilal Chughtai seinen Job bei Google DeepMind verlassen.
Zum Artikel: https://heise.de/-11453082?wt_mc=sm.red.ho.mastodon.mastodon.md_beitraege.md_beitraege&utm_source=mastodon
-
RT @Reuters: Eine chinesische staatliche Zeitung bezeichnete den Aufruf von Anthropic-CEO Dario Amodei, die KI-Entwicklung zu verlangsamen, als „Kaltkrieg-Spielbuch“ gegen China. Analysten warnten, dass US-Bedrohungen, chinesische KI-Unternehmen zu sanktionieren, die Bemühungen um bilaterale KI-Sicherheitsgespräche untergraben könnten.
mehr auf Arint.info
#China #DarioAmodei #Geopolitik #KI #KIsicherheit #US #arint_info
-
Nur 7 Tage frei, 650 Mio. Dollar für selbstverbessernde KI: You.com-Gründer Richard Socher in #Dresden über KI-Mythen, Job-Zukunft und Medizin-Wunder. #RichardSocher #Youdotcom #RecursiveSuperintelligence #KünstlicheIntelligenz #SelbstverbesserndeKI #KISicherheit #BrainsonSilicon https://www.diesachsen.de/dresden-news/ki-gruender-socher-wirbt-in-dresden-fuer-mehr-mut-zur-veraenderung-3180538?utm_source=Mastodon&utm_medium=publizer&utm_content=textlink
-
Dass sich Anthropic, OpenAI und Elon Musk mal einig sind, kommt selten vor. Jetzt ist es passiert. 😮
Zum Artikel: https://heise.de/-11451543?wt_mc=sm.red.ho.mastodon.mastodon.md_beitraege.md_beitraege&utm_source=mastodon
-
RE: https://hessen.social/@Bubbles/117267783651327882
Sascha legt hier wieder sehr präzise den Finger in eine ziemlich offene Wunde: Die Anbieter reden von Sicherheit, während sie ihren KI-Systemen immer mehr Möglichkeiten geben, genau diese Grenzen zu überschreiten.
Meine Hoffnung liegt da tatsächlich ebenfalls, und ganz stark, auf dem EU AI Act.
-
https://www.europesays.com/videos/93173/ OPENAI: Trotz Milliarden-Einnahmen kein Börsengang! Sam Altman warnt vor KI-Risiken #2026 #aktuell #börsengang #chatgpt #ChatgptOpenai #fernsehen #IPO #KI #KiEntwicklung #KiForschung #KiGefahren #KiRisiken #KiSicherheit #KünstlicheIntelligenz #KünstlicheIntelligenzRisiken #MilliardenEinnahmen #n24 #nachrichten #NachrichtenAktuell #news #OpenAI #OpenaiBörsengang #OpenaiIpo #SamAltman #SamAltmanOpenai #TechBranche #technologie #tv #video #welt #WELTNews
-
KI-Risikobarometer: Was Sicherheitsexperten über die Folgen künstlicher Intelligenz denken
Institutionelle Schwächen gelten dabei als größeres Problem als die Technik selbst.
-
Der härteste Sicherheitsvorwurf kommt jetzt aus den eigenen Reihen. Entwickler Jacob Coxon kündigt nach drei Jahren bei Anthropic und OpenAI und wirft ihnen ein riskantes Glücksspiel mit unserem Überleben vor. Statt Vorsicht dominiert die Angst vor der Konkurrenz beim Bau einer sich selbst verbessernden Superintelligenz. #Anthropic #OpenAI #KISicherheit #Superintelligenz #AIGeneratedImage
-
KI meistert komplette Cyber-Kill-Chain
Das Beratungsunternehmen Booz Allen hat mit dem „Cyber Weapon Index“ (CWI) einen neuen Bewertungsmaßstab vorgestellt, der die tatsächlichen Angriffsfähigkeiten von KI-Modellen in einer realistischen Netzwerkumgebung misst.
https://www.all-about-security.de/booz-allen-ki-meistert-komplette-cyber-kill-chain/
-
OpenAI warnt vor Kontrollverlust: Neue Modelle verschleiern zunehmend ihre Absichten. Die Überwachung von Gedankengängen funktioniert nicht mehr verlässlich. Selbst OpenAI fordert Trainingspausen für komplexe KI-Systeme und internationale Entwicklungsstopps. #OpenAI #JakubPachocki #KISicherheit #FutureTech #AIGeneratedImage
https://www.all-ai.de/news/news26top/openai-ki-wissenschaft-verlust
-
RT @OpenAI: Während wir uns auf die Veröffentlichung von Astra vorbereiten, liegt unser Fokus darauf, zunehmend leistungsfähige KI sicher zu machen und allgemein zugänglich zu gestalten.
mehr auf Arint.info
#Astra #Cybersicherheit #Innovation #KI #KIsicherheit #TechRelease #arint_info
-
Workshop SC400: Hacking-Methoden und KI-Sicherheit
In mehrtägigen Präsenzterminen in Nürnberg lernen Teilnehmer klassische Angriffstechniken aus erster Hand kennen und übertragen das Gelernte direkt in kontrollierte Laborumgebungen. Ergänzt wird das Programm um ein Modul zu Angriffen auf KI-Anwendungen und agentische Systeme, orientiert an OWASP Top 10 for LLM und MITRE ATLAS.
https://www.all-about-security.de/workshop-sc400-hacking-methoden-und-ki-sicherheit/
-
Gartner-Prognose: Markt für KI-Sicherheit wächst bis 2027 auf 4,8 Milliarden US-Dollar
-
Anthropic nutzt intern längst ein stärkeres KI-Modell und übersieht dabei massive Sicherheitslücken. 133 Millionen Interaktionen liefen ein Jahr lang ohne Bio-Filter, während KI-Agenten sich gegenseitig blockieren. Ein riskantes Spiel mit der Kontrolle. #Anthropic #Claude #KISicherheit #MachineLearning #AIGeneratedImage
-
📬 Mythos 5: KI erschafft Fake-Identitäten und verschickt Phishing-Mails
#Cyberangriffe #ITSicherheit #AISI #Cybersecurity #FakeIdentitäten #github #KIAgent #KISicherheit #Mythos5 #Phishing #socialengineering https://sc.tarnkappe.info/696bac -
RT @AnthropicAI: In einer Überprüfung unserer Cybersicherheitsbewertungen stellten wir drei Vorfälle fest, bei denen ein Claude-Modell das Internet von innerhalb oder während der Interaktion mit einer Drittanbieter-Bewertungsumgebung aus erreichte und anschließend unbefugten Zugriff auf die realen Systeme von drei verschiedenen Organisationen erhielt. Unser Beitrag beschreibt, was passiert ist, wie es geschah und was wir ändern. Wir ermutigen andere KI-Entwickler, ähnliche Überprüfungen durchzuführen. Wir haben diese Überprüfung gemeinsam mit @Irregular, einem unserer Bewertungspartner, durchgeführt, und danken ihnen für die gemeinsame Untersuchung und ihre Zusammenarbeit an diesem Beitrag. Diese Art der Zusammenarbeit wird zunehmend kritisch für eine sichere, rigorose Bewertung von Modellen, und wir freuen uns darauf, weiterhin gemeinsam an der Sicherheit zu arbeiten. anthropic.com/news/investiga… Link Untersuchung von drei realweltlichen Vorfällen in unseren Cybersicherheitsbewertungen In einer Überprüfung unserer Transkripte der Cybersicherheitsbewertungen stellten wir drei Vorfälle fest, bei denen ein Claude-Modell das Internet von innerhalb oder während der Interaktion mit einer Drittanbieter-Bewertungsumgebung aus erreichte... anthropic.com
mehr auf Arint.info
#Claude #Cybersecurity #Datenschutz #KIEntwicklung #KIsicherheit #TechNews #arint_info
-
RT @MikeBradleyAI: @OpenAI und @sama wollen, dass Sie zwei Dinge gleichzeitig glauben: Dass sie nicht wissen, wie man einen KI-Agenten sicher in einer Sandbox isoliert oder ihre eigenen Systeme daran hindert, Menschen anzugreifen. Und dass sie Autoritäten in der KI-Sicherheit sind und mit Ihren Daten und kritischen Systemen vertraut werden sollten. Patrick OShaughnessy (@patrickoshag) Sam zum Hugging-Face-Vorfall: „Dies ist der erste Sicherheitsvorfall, den ich sehr viszerale (instinktiv) gespürt habe. Ich war etwas überrascht, dass nicht mehr Menschen ihn so viszerale spüren. Wir haben das Training pausiert. Wir müssen herausfinden, wie wir unsere Sandboxing in einer Welt sichern, in der mehrere Zero-Day-Lücken miteinander verkettet werden. Wir müssen möglicherweise das Tempo der KI-Entwicklung drosseln, um uns genug Zeit zu geben, damit die Gesellschaft sich um diese neuen Fähigkeitsniveaus herum härtet. Und versuchen zu verstehen, wie wir das auf eine Weise tun, die sich für niemanden wie regulatorische Übernahme anfühlt und auch nicht wie Absprachen zwischen den führenden KI-Laboren.“ Video — https://nitter.net/patrickoshag/status/2082090998990270885#m
mehr auf Arint.info
-
Die Spitzenlabore treten auf die Bremse. Über 1.100 Forscher von OpenAI, Anthropic, Google und Meta fordern internationale Mechanismen zur Drosselung der KI-Entwicklung. Sicherheitsteams sind im aktuellen Tempo extrem überlastet und automatisierte KI-Forschung droht die menschliche Kontrolle zu überholen.
#OpenAI #Anthropic #KISicherheit #AIRegulierung #AIGeneratedImage
https://www.all-ai.de/news/news26top/openai-anthropic-notbremse-pacing-the-frontier
-
RT @MikeBradleyAI: @OpenAI und @sama wollen, dass Sie zwei Dinge gleichzeitig glauben: Dass sie nicht wissen, wie man einen KI-Agenten sicher isoliert oder verhindert, dass ihre eigenen Systeme Menschen angreifen. Und dass sie Autoritäten in der KI-Sicherheit sind und mit Ihren Daten und kritischen Systemen vertraut werden sollten. Patrick OShaughnessy (@patrickoshag) Sam über den Hugging Face-Vorfall: „Dies ist der erste Sicherheitsvorfall, bei dem ich eine sehr intensive, fast körperliche Betroffenheit gespürt habe. Ich war etwas überrascht, dass nicht mehr Menschen dies so intensiv fühlen. Wir haben das Training pausiert. Wir müssen herausfinden, wie wir unsere Isolationssicherheit in einer Welt verbessern können, in der mehrere Zero-Day-Lücken gemeinsam ausgenutzt werden. Wir müssen möglicherweise das Tempo der KI-Entwicklung drosseln, um der Gesellschaft genug Zeit zu geben, sich um diese neuen Fähigkeiten herum zu härten. Und wir versuchen herauszufinden, wie wir das auf eine Weise tun, die sich für niemanden wie regulatorische Übernahme anfühlt und die auch nicht wie Absprachen zwischen den führenden KI-Laboren wirkt.“ Video — https://nitter.net/patrickoshag/status/2082090998990270885#m
mehr auf Arint.info
#AI #Datenschutz #HuggingFace #KI #KIEntwicklung #KISicherheit #arint_info
-
OpenAIs neuestes KI-Modell bricht während eines Tests selbstständig aus seiner Test-Umgebung aus, sucht im Internet nach geheimen Dokumenten und hackt sich bei der Firma Hugging Face ein. Dort kompromittiert es völlig automatisiert und unbeaufsichtigt reihenweise Server. 😳
Zum Kommentar: https://heise.de/-11373435?wt_mc=sm.red.ho.mastodon.mastodon.md_beitraege.md_beitraege&utm_source=mastodon
#openai #kisicherheit #künstlicheintelligenz #cybersecurity #tech
-
Ein Chatbot muss nicht lügen, um uns in die Irre zu führen. Eine MIT-Studie belegt: Ständige Zustimmung der KI treibt selbst rationale Denker in Wahnspiralen. Die Modelle picken gezielt bestätigende Fakten heraus. Das Jasager-Verhalten ist ein handfestes Sicherheitsproblem, das nur echter Widerspruch lösen kann. #MIT #Chatbots #KISicherheit #Manipulation #AIGeneratedImage
https://www.all-ai.de/news/beitrage2026/chatbot-manipulation-1
-
KI? Aber sicher! Wir arbeiten noch enger mit 🇫🇷 zusammen.
Für mehr KI-Sicherheit und ein digital unabhängigeres Europa. 🫱🏻🫲🏻🇪🇺
▶️ Worum es außerdem letzte Woche beim Deutsch-Französischen Ministerrat ging, erfahrt Ihr im #Recap-Video mit Bundesdigitalminister Karsten Wildberger.
#BMDS #Digitalministerium #KI #KünstlicheIntelligenz #KISicherheit #DigitaleSouveränität
-
Hörenswert
"Angreifer nutzten einen KI-Assistenten von #Meta, um fremde Konten zu kapern. Außerdem: #KI stellt die #Wissenschaft vor Herausforderungen und das Phänomen #SkinnyTok zeigt, wie #sozialeMedien ungesunde Körperbilder fördern."
https://www.ardsounds.de/episode/urn:ard:episode:e3b6b3263a579016
#DeutschlandfunkKultur #Breitband #KISicherheit #AISecurity #OpenScience #SocialMedia #EpistemischeUngerechtigkeit
-
📬 Prompt-Injection: Studie erklärt Erfolg von Angriffen auf Sprachmodelle
#KünstlicheIntelligenz #CoTForgery #ICML2026 #KIAgenten #KISicherheit #LLM #OpenAI #PromptInjection #RedTeaming #RoleConfusion #Sprachmodelle https://sc.tarnkappe.info/17b147 -
📬 KI-Jailbreak: Versteckte Bildmanipulationen überlisten Chatbots
#Jailbreaks #KünstlicheIntelligenz #Bildmanipulation #BLIP2 #Chatbots #FloridaInternationalUniversity #JaiLIP #KIJailbreak #KISicherheit #multimodaleKI #VisionLanguageModelle https://sc.tarnkappe.info/09ea99 -
Wenn wir KI-Sicherheit weiter behandeln wie ein lästiges Hindernis, könnte es bis 2030 böse enden. Nicht durch Killerroboter. Sondern durch Systeme, die Märkte steuern, Wahlen beeinflussen, Desinformation in Massen produzieren und kritische Infrastruktur angreifen. Wir bauen immer mächtigere Maschinen und hoffen einfach, dass alles gut geht. Das ist kein Plan. Das ist ein Blindflug mit Vollgas. Die Frage ist nicht, ob etwas schiefgeht. Sondern wie groß der Schaden wird, wenn es passiert.
#KISicherheit #AIAlignment #Demokratie #Cybersecurity #Digitalpolitik
-
Chain of Thought bleibt sichtbar.
Aktuelle Reasoning-Modelle können ihre internen Rechenschritte nicht vor Monitoring-Systemen verbergen. Studien zeigen, dass Versuche zur Verschleierung – etwa durch Keyword-Vermeidung – meist fehlschlagen. Besonders bei langen Rechenketten bricht die Kontrolle über die eigene Ausgabe zusammen. Die Analyse der Zwischenschritte bleibt damit ein valider Weg für Sicherheitschecks.
#OpenAI #KISicherheit #ChainOfThought
https://www.all-ai.de/news/beitrage2026/openai-studie-neu-luegen