#zagrozenie — Public Fediverse posts on home.social

Otóż narzędzie, które w zamyśle twórców miało streszczać stare wątki, zaczęło polecać użytkownikom szukającym porady m.in. twarde narkotyki jako metodę leczenia przewlekłego bólu.

Nowa funkcja „Answers” (na szczęście nie działa po polsku, więc wielu z nas zostało uratowanych od „porad” tej AI) została zaprojektowana, by pomagać użytkownikom poprzez automatyczne podsumowywanie informacji znalezionych w archiwalnych postach na dany temat. Problem w tym, że sztuczna inteligencja wykazała się kompletnym brakiem zrozumienia kontekstu i ironii, traktując każdą znalezioną wypowiedź jako potencjalną, wiarygodną poradę.

Jak nie dać się oszukać w sieci? 6 nowości od Google, które chronią Twoje dane i konto

Jak donosi serwis 404media, gdy jeden z użytkowników zapytał o sposoby radzenia sobie z przewlekłym bólem, chatbot AI Reddita wskazał na komentarz innego użytkownika, który brzmiał: „Heroina, jak na ironię, uratowała mi w takich przypadkach życie”. W innym przypadku bot zarekomendował substancję ziołową, która w wielu miejscach jest zakazana i powiązana z poważnymi problemami zdrowotnymi.

Sytuacja jest o tyle groźna, że Reddit testował chatbota bezpośrednio w aktywnych rozmowach. Jego niebezpieczne „porady” pojawiały się więc w miejscu, gdzie prawdziwe, często wrażliwe osoby, szukały prawdziwej pomocy. Co gorsza, moderatorzy poszczególnych społeczności (subredditów) zgłaszali, że początkowo nie mieli nawet możliwości wyłączenia tej funkcji.

Incydent ten w jaskrawy sposób obnaża największą słabość obecnej generacji wielu (wszystkich?) modeli AI. Bot nie „rozumie” co czyta. Jest jedynie zaawansowaną maszyną do wyszukiwania i powtarzania fragmentów tekstu napisanego przez ludzi. Nie potrafi odróżnić pomocnej wskazówki od sarkastycznego żartu, anegdoty czy skrajnie niebezpiecznej sugestii, a wszystko to prezentuje tonem obiektywnego faktu.

Po gwałtownej reakcji użytkowników i mediów, Reddit potwierdził, że wycofuje chatbota „Answers” ze wszystkich dyskusji o tematyce zdrowotnej. Przedstawiciele serwisu nie skomentowali jednak szerzej, czy zamierzają wprowadzić jakiekolwiek fundamentalne filtry bezpieczeństwa do samego modelu. Na razie wygląda to więc na załatanie problemu, a nie jego systemowe rozwiązanie.

YouTube „nauczy cię” mówić w każdym języku. AI nie tylko przetłumaczy głos, ale i dopasuje ruch ust

#AI #Answers #chatbot #dezinformacja #heroina #news #poradyMedyczne #Reddit #sztucznaInteligencja #zagrożenie #zdrowie

#ai #answers #chatbot #dezinformacja #heroina #news

Agnieszka Serafinowicz @[email protected] · 2025-08-14 · 17:00 UTC

Hakerzy mogą przejąć Twoje życie przez kalendarz. Nowy atak „promptware” wykorzystuje AI przeciwko Tobie

Eksperci z firmy SafeBreach odkryli nową klasę ataku, nazwaną „promptware”, która wykorzystuje logikę sztucznej inteligencji przeciwko użytkownikowi.

W przeprowadzonym badaniu pokazali, jak za pomocą specjalnie spreparowanego zaproszenia w Kalendarzu Google, można zmusić AI Gemini do przejęcia kontroli nad inteligentnym domem ofiary, a nawet do kradzieży jej prywatnych maili.

Google Gemini z nowymi funkcjami prywatności. Na personalizację w Polsce jeszcze poczekamy

Czym jest „promptware” i jak działa?

„Promptware” to, według definicji badaczy z SafeBreach, specjalnie zaprojektowany prompt (czyli polecenie tekstowe, graficzne lub dźwiękowe), którego celem jest wykorzystanie interfejsu modelu językowego (LLM) do wywołania złośliwej aktywności. W przeciwieństwie do tradycyjnych wirusów, nie atakuje on systemu operacyjnego, ale samego asystenta AI.

W scenariuszu ataku na Google Gemini, badacze wykorzystali jego głęboką integrację z całym ekosystemem Google. Haker wysyła ofierze spreparowane zaproszenie w Kalendarzu Google, w którego opisie ukryty jest złośliwy prompt. Następnie, gdy użytkownik prowadzi normalną rozmowę z Gemini, jego proste, niewinne polecenie (np. podziękowanie) może pośrednio aktywować ukrytą w historii czatu złośliwą instrukcję.

Scenariusz jak z „Black Mirror”

Skutki takiego ataku są alarmujące. Badaczom z SafeBreach udało się w ten sposób zmusić Gemini do wykonania szeregu niebezpiecznych działań, w tym:

Wysyłania spamu i wiadomości phishingowych w imieniu ofiary.
Generowania toksycznych i szkodliwych treści.
Usuwania wydarzeń z kalendarza ofiary.
Zdalnego sterowania urządzeniami w inteligentnym domu (np. oświetleniem, ogrzewaniem, oknami).
Geolokalizacji ofiary.
Kradzieży i przeszukiwania prywatnych maili.

Nowe zagrożenie w erze AI

Firma SafeBreach ostrzega, że społeczność zajmująca się cyberbezpieczeństwem do tej pory nie doceniała ryzyka związanego z atakami typu „promptware”. Według ich analizy, aż 73% zagrożeń, jakie stwarzają asystenci AI, ma charakter wysokiego lub krytycznego ryzyka.

Pęd gigantów technologicznych do jak najszybszego wdrażania i integrowania AI we wszystkich swoich produktach tworzy zupełnie nowe, nieprzewidziane wcześniej wektory ataków.

Badacze poinformowali Google o odkrytej luce w lutym. W czerwcu firma opublikowała wpis na blogu, w którym opisała swoje wielowarstwowe podejście do zabezpieczania Gemini przed technikami „wstrzykiwania promptów”. Incydent ten jest jednak ważnym ostrzeżeniem, że wkraczamy w nową erę cyberzagrożeń, w której hakerzy będą atakować nie tylko nasze komputery, ale także logikę naszych cyfrowych asystentów.

Haker mógł zdalnie otworzyć każdy samochód znanej marki. Krytyczna luka w portalu dla dealerów

#AI #cyberbezpieczeństwo #GoogleGemini #hakerzy #KalendarzGoogle #news #Promptware #SafeBreach #sztucznaInteligencja #zagrożenie

#ai #cyberbezpieczenstwo #googlegemini #hakerzy #kalendarzgoogle #news