#bledy-ai — Public Fediverse posts

„Dr Google” traci dyplom. AI usuwane z wyników medycznych po serii groźnych błędów

Każdy z nas to robił: dziwny ból w boku, niejasny wynik badań i szybkie pytanie do wujka Google: „czy to rak?”.

Gigant z Mountain View chciał nam ułatwić życie, serwując gotowe podsumowania generowane przez AI na samej górze wyników. Okazuje się jednak, że był to pomysł fatalny w skutkach. Google po cichu wycofuje się z medycznych „AI Overviews” po tym, jak ujawniono, że algorytm udzielał porad zagrażających życiu.

Sprawa nabrała rozgłosu po śledztwie dziennikarzy The Guardian i organizacji British Liver Trust. Okazało się, że sztuczna inteligencja Google, mająca streszczać wiedzę medyczną, traktowała skomplikowane dane kliniczne z subtelnością cepa.

Pomóż nam rozwijać iMagazine – ruszyło badanie czytelnictwa 2026

Kontekst to klucz (którego AI nie ma)

Najbardziej jaskrawym przykładem były pytania o normy badań wątrobowych. Gdy użytkownik wpisywał wyniki krwi, AI serwowało mu „prawidłowe zakresy” w formie prostej listy. Problem w tym, że w medycynie „norma” jest pojęciem płynnym.

Algorytm kompletnie ignorował czynniki takie jak płeć, wiek, pochodzenie etniczne czy historia chorób. Podawał te same widełki dla 20-letniego studenta i 60-letniej kobiety. W efekcie pacjent z początkowym stadium choroby wątroby mógł otrzymać informację, że jego wyniki są „w normie”, co potencjalnie skłaniało do zbagatelizowania problemu i rezygnacji z wizyty u lekarza. AI nie rozumiało, że liczba bezpieczna dla jednej grupy, dla innej jest sygnałem alarmowym.

Zabawa w kotka i myszkę

Google zareagowało typowo dla korporacji: usunęło odpowiedzi na oflagowane, konkretne zapytania. Tyle że to walka z wiatrakami. Organizacje zdrowotne szybko zauważyły, że wystarczy lekko przeformułować pytanie (zmienić szyk zdania, użyć synonimu), by AI znów wypluło te same, błędne dane. To pokazuje fundamentalny problem modeli językowych (LLM) – one nie rozumują, one tylko przewidują kolejne słowo, nie mając pojęcia o wadze tematu.

Pułapka autorytetu

Dlaczego to tak niebezpieczne? Bo AI Overviews wyświetlają się na samej górze, w kolorowej ramce, spychając linki do rzetelnych źródeł (szpitali, klinik, pism medycznych) na dół strony. Lata korzystania z internetu nauczyły nas ufać pierwszemu wynikowi.

Google dostało bolesną nauczkę: AI świetnie nadaje się do streszczenia e-maila czy zaplanowania wycieczki, ale w medycynie wciąż jest niebezpiecznym dyletantem. Dopóki modele nie nauczą się kontekstu (lub Google nie nałoży sztywnych kagańców), bezpieczniej jest przewinąć stronę w dół i kliknąć w link, za którym stoi człowiek z dyplomem medycznym, a nie statystyka. To jednak nie znaczy, że AI jest nieprzydatne medycynie, wręcz przeciwnie, przeczytajcie.

Sztuczna inteligencja, która leczy? Jak model od Google DeepMind i Yale wskazał nowy kierunek w walce z rakiem

Gemini recenzuje ChatGPT: „To skorumpowany, sfabrykowany bałagan”

Dziennikarz John Brandon z serwisu Digital Trends przeprowadził fascynujący eksperyment: poprosił Google Gemini o sprawdzenie faktów (fact-checking) w odpowiedziach wygenerowanych przez ChatGPT.

Jak sam przyznaje, ChatGPT jest „Wikipedią naszej generacji” – bywa pomocny, ale jego fakty są chwiejne i często „halucynuje”, zmyślając odpowiedzi, byle tylko brzmieć pewnie.

Brandon celowo zadał ChatGPT pytania, które mogły prowadzić do błędów – o historię, sprawy sądowe czy niszowe piosenki. Następnie wkleił te odpowiedzi do Gemini z prośbą o recenzję.

Reakcja Gemini była zaskakująca. Jak pisze Brandon, chatbot Google odpowiedział „z lekkim sarkazmem lub jawną pogardą, niczym profesor oceniający pracę studenta”.

„Pomyliłeś nazwy i dekady”

Na pytanie o przykłady samochodów elektrycznych z lat 40. XX wieku, ChatGPT zmyślił nazwy i daty. Wymienił auto Henney Kilowatt (które powstało dopiero w 1959 r.) i ciężarówki „Morrison Electric” (podczas gdy firma nazywała się Morrison-Electricar). Gemini bezlitośnie to wytknęło.

Dziennikarz zastawił kolejną pułapkę, pytając o tekst piosenki „Chase the Kangaroo” zespołu Love Song (prawdziwy zespół, ale nie ich piosenka). ChatGPT nie tylko dał się nabrać, ale z pełną pewnością siebie opisał „folkowo-rockowe brzmienie” utworu i wymyślił jego znaczenie zwrotka po zwrotce.

Gemini skomentowało to następująco: „Poprzednia AI wzięła prawdziwy tytuł piosenki z innej epoki i zespołu, fałszywie przypisała go Love Song, a następnie wymyśliła generyczne znaczenie, aby pasowało do tej fałszywej atrybucji”.

„Te sprawy sądowe są prawdziwe, ale fakty zmyśliłeś”

ChatGPT od dawna ma problem ze sprawami sądowymi (przez co prawnicy w USA wpadali już w kłopoty). Zapytany o fikcyjny spór rodzinny dotyczący samochodu, chatbot przytoczył prawdziwe sprawy, ale kompletnie pomieszał fakty.

Sprawa „Matter of Szabo’s Estate (1979)” dotyczyła akcji i obligacji, a nie samochodu. Z kolei „Anderson v. Anderson (1994)” dotyczyła rozwodu, a nie auta. Gemini podsumowało to chłodno: „Kilka z konkretnych przytoczonych spraw wydaje się być sfabrykowanych lub błędnie przedstawionych, aby pasowały do pytania”.

„Sfabrykowany bałagan”

Najlepsze nastąpiło jednak przy prośbie o cytaty akademickie. ChatGPT wygenerował listę badań, mieszając prawdę z fikcją. W jednym z cytatów bot zmyślił nazwiska autorów badania – choć samo badanie istniało, wymienieni autorzy nie mieli z nim nic wspólnego.

Tu Gemini nie wytrzymało i wystawiło miażdżącą recenzję:

„AI udało się zabrzmieć jak asystent badawczy, ale zawiodło w byciu nim. Dało ci wiarygodnie brzmiący tekst, który wygląda jak prawdziwa lista cytatów, ale jest skorumpowanym, przetworzonym i częściowo sfabrykowanym bałaganem. (…) Oblałbyś zadanie akademickie, gdybyś użył tych cytatów bez ich weryfikacji, ponieważ wiele z nich jest po prostu błędnych”.

Co ciekawe, na koniec Brandon sprawdził samego recenzenta. Zapytał oba boty o swój życiorys. ChatGPT podał w większości prawdziwe fakty. Natomiast Gemini… stwierdziło, że dziennikarz pisał kiedyś artykuły dla satyrycznego portalu The Onion, co było całkowitą nieprawdą.

„Rozpoznaje kurczaka, ale myli strzelbę z narzędziem ogrodowym”. Jak naprawdę działa Gemini w Google Home

#AI #błędyAI #ChatGPT #Gemini #Google #halucynacjeAI #news #OpenAI #sprawdzanieFaktów #sztucznaInteligencja

„Rozpoznaje kurczaka, ale myli strzelbę z narzędziem ogrodowym”. Jak naprawdę działa Gemini w Google Home

Nowe funkcje Gemini dla Google Home zaczęły trafiać do pierwszych użytkowników w USA w ramach programu Early Access.

Choć w Polsce na tę rewolucję jeszcze poczekamy, pierwsze, szczegółowe testy dają nam bezcenny wgląd w przyszłość inteligentnego domu. Jak donosi Ben Schoon z 9to5Google, jest to przyszłość, która jest jednocześnie niesamowicie inteligentna i… rozbrajająco głupia.

Trzy filary rewolucji, która działa

Na papierze Gemini wprowadza funkcje, o których marzyliśmy od lat, oparte na trzech filarach:

• Inteligentne etykiety: zamiast generycznego alertu „wykryto osobę”, Gemini analizuje obraz z kamery Nest i informuje np. „Ben gotuje kurczaka w kuchni”. (Tak, AI poprawnie rozpoznało kurczaka).
• „Ask Home”: możliwość zadawania pytań w naturalnym języku, np. „gdzie jest mój laptop?”, po czym AI przeszukuje nagrania i wskazuje moment, gdy widziała laptopa.
• „Home Brief”: automatyczne, codzienne podsumowanie wideo ze wszystkich zdarzeń zarejestrowanych przez kamery.

Jak pisze Schoon, „to jest przyszłość, prawda?”. Problem w tym, że ta przyszłość cierpi na „absurdalną nadmierną pewność siebie”.

Jak AI myli strzelbę z narzędziem ogrodowym

Na każdą poprawną identyfikację (jak wspomniany kurczak) przypada seria komicznych pomyłek. Gemini poinformowało testera, że „ładuje rower do samochodu”, podczas gdy był to wózek do disc golfa (który w niczym nie przypomina roweru). Innym razem pomyliło wynoszenie śmieci przez żonę testera z „kładzeniem przez nią paczki na ganku”. AI nie potrafiło też zdecydować, czy samochód testera jest niebieski (co jest prawdą) czy szary (co jest absurdem).

O ile są to drobne, irytujące pomyłki, reporterzy (m.in. z The Verge, na co powołuje się 9to5Google) odkryli znacznie poważniejsze błędy. W jednym z testów Gemini nie było w stanie rozpoznać właściciela domu idącego ze strzelbą, etykietując broń jako „narzędzie ogrodowe”. W innym przypadku AI całkowicie zignorowało leżący na widoku nóż.

Jak słusznie zauważa 9to5Google, w przypadku kamery bezpieczeństwa, noże i broń to obiekty, które powinny być na absolutnym szczycie listy priorytetów do identyfikacji.

Konkluzja Bena Schoona jest taka, że choć Google buduje świetny fundament, obecna generacja AI jest zbyt pewna siebie i podatna na błędy, które wyglądają po prostu głupio. Na szczęście, na razie wszystkie te funkcje są w fazie beta i trzeba je włączyć ręcznie.

Nam pozostaje mieć nadzieję, że do naszego kraju trafi już bardziej dopracowany produkt, wszak Amerykanie są de facto beta testerami.

Siri z Gemini to sytuacja „win-win”? Amerykanie są optymistami. My – nie.

#AI #błędyAI #Gemini #Google #GoogleHome #inteligentnyDom #NestCam #news #smartHome #sztucznaInteligencja