#answers — Public Fediverse posts

AI chatbots give wrong answers to financial queries 'most of the time'

https://www.ft.com/content/c0cd359d-df84-4208-a789-ffa864b43666

Comments: https://news.ycombinator.com/item?id=49783062

#HackerNews #AI #Chatbots #Financial #Queries #Wrong #Answers #Technology #AI #Research

AI chatbots give wrong answers to financial queries 'most of the time'

https://www.ft.com/content/c0cd359d-df84-4208-a789-ffa864b43666

Comments: https://news.ycombinator.com/item?id=49783062

#HackerNews #AI #Chatbots #Financial #Queries #Wrong #Answers #Technology #AI #Research

AI chatbots give wrong answers to financial queries 'most of the time'

https://www.ft.com/content/c0cd359d-df84-4208-a789-ffa864b43666

Comments: https://news.ycombinator.com/item?id=49783062

#HackerNews #AI #Chatbots #Financial #Queries #Wrong #Answers #Technology #AI #Research

AI chatbots give wrong answers to financial queries 'most of the time'

https://www.ft.com/content/c0cd359d-df84-4208-a789-ffa864b43666

Comments: https://news.ycombinator.com/item?id=49783062

#HackerNews #AI #Chatbots #Financial #Queries #Wrong #Answers #Technology #AI #Research

AI chatbots give wrong answers to financial queries 'most of the time'

https://www.ft.com/content/c0cd359d-df84-4208-a789-ffa864b43666

Comments: https://news.ycombinator.com/item?id=49783062

#HackerNews #AI #Chatbots #Financial #Queries #Wrong #Answers #Technology #AI #Research

#LLMs make poor #teachers because they were never #studemts.

#story time.

I'm part of a #team of #volunteer co-teachers teaching #Python to #HighSchool students remotely over Zoom. But that's only the #process. The goal is to grow other-subject teachers into #ComputerScience teachers by teaching them along with their students.

This week, our students are learning how to use the input() function to get information from the user. The project is to write a program that introduces itself as a #genie and asks the user for three #wishes, then prints out the wishes. Our classroom teacher was thinking how he could do it in a loop. Because he learned that when previous classes had studied #loops.

We discussed that this was one of the reasons that volunteers were expected to do the work we are assigning to students using only what the students had been taught. So we could help them better when they encountered problems.

And this right here is a big problem with LLMs as teachers. These models are trained, but they don't learn like we do. They were given all the #answers as part of their #training #data. When they cannot find an answer, they don't try to determine the answer by replicating the steps that students are taught — they make a #statistical #guess based on their training data.

Worse yet, they are incapable of actual learning from their #errors.

And "errors" is the correct term. "#Hallucinations" are a subset of errors that involve the #perception of nonexistent stimuli. #Techbros use this term because it sounds nice to them. Like, "I was high, and I had this awesome idea," instead of, "I'm just making shit up so I sound like I know what I'm doing." The latter is how they engage with the world, because they prioritize #confidence over #correctness. Which is a very bad look for a teacher.

There are legitimate uses for LLMs in #education, but none of them are as personal tutors.

#LLMs make poor #teachers because they were never #studemts.

#story time.

I'm part of a #team of #volunteer co-teachers teaching #Python to #HighSchool students remotely over Zoom. But that's only the #process. The goal is to grow other-subject teachers into #ComputerScience teachers by teaching them along with their students.

This week, our students are learning how to use the input() function to get information from the user. The project is to write a program that introduces itself as a #genie and asks the user for three #wishes, then prints out the wishes. Our classroom teacher was thinking how he could do it in a loop. Because he learned that when previous classes had studied #loops.

We discussed that this was one of the reasons that volunteers were expected to do the work we are assigning to students using only what the students had been taught. So we could help them better when they encountered problems.

And this right here is a big problem with LLMs as teachers. These models are trained, but they don't learn like we do. They were given all the #answers as part of their #training #data. When they cannot find an answer, they don't try to determine the answer by replicating the steps that students are taught — they make a #statistical #guess based on their training data.

Worse yet, they are incapable of actual learning from their #errors.

And "errors" is the correct term. "#Hallucinations" are a subset of errors that involve the #perception of nonexistent stimuli. #Techbros use this term because it sounds nice to them. Like, "I was high, and I had this awesome idea," instead of, "I'm just making shit up so I sound like I know what I'm doing." The latter is how they engage with the world, because they prioritize #confidence over #correctness. Which is a very bad look for a teacher.

There are legitimate uses for LLMs in #education, but none of them are as personal tutors.

#LLMs make poor #teachers because they were never #studemts.

#story time.

I'm part of a #team of #volunteer co-teachers teaching #Python to #HighSchool students remotely over Zoom. But that's only the #process. The goal is to grow other-subject teachers into #ComputerScience teachers by teaching them along with their students.

This week, our students are learning how to use the input() function to get information from the user. The project is to write a program that introduces itself as a #genie and asks the user for three #wishes, then prints out the wishes. Our classroom teacher was thinking how he could do it in a loop. Because he learned that when previous classes had studied #loops.

We discussed that this was one of the reasons that volunteers were expected to do the work we are assigning to students using only what the students had been taught. So we could help them better when they encountered problems.

And this right here is a big problem with LLMs as teachers. These models are trained, but they don't learn like we do. They were given all the #answers as part of their #training #data. When they cannot find an answer, they don't try to determine the answer by replicating the steps that students are taught — they make a #statistical #guess based on their training data.

Worse yet, they are incapable of actual learning from their #errors.

And "errors" is the correct term. "#Hallucinations" are a subset of errors that involve the #perception of nonexistent stimuli. #Techbros use this term because it sounds nice to them. Like, "I was high, and I had this awesome idea," instead of, "I'm just making shit up so I sound like I know what I'm doing." The latter is how they engage with the world, because they prioritize #confidence over #correctness. Which is a very bad look for a teacher.

There are legitimate uses for LLMs in #education, but none of them are as personal tutors.

#LLMs make poor #teachers because they were never #studemts.

#story time.

I'm part of a #team of #volunteer co-teachers teaching #Python to #HighSchool students remotely over Zoom. But that's only the #process. The goal is to grow other-subject teachers into #ComputerScience teachers by teaching them along with their students.

This week, our students are learning how to use the input() function to get information from the user. The project is to write a program that introduces itself as a #genie and asks the user for three #wishes, then prints out the wishes. Our classroom teacher was thinking how he could do it in a loop. Because he learned that when previous classes had studied #loops.

We discussed that this was one of the reasons that volunteers were expected to do the work we are assigning to students using only what the students had been taught. So we could help them better when they encountered problems.

And this right here is a big problem with LLMs as teachers. These models are trained, but they don't learn like we do. They were given all the #answers as part of their #training #data. When they cannot find an answer, they don't try to determine the answer by replicating the steps that students are taught — they make a #statistical #guess based on their training data.

Worse yet, they are incapable of actual learning from their #errors.

And "errors" is the correct term. "#Hallucinations" are a subset of errors that involve the #perception of nonexistent stimuli. #Techbros use this term because it sounds nice to them. Like, "I was high, and I had this awesome idea," instead of, "I'm just making shit up so I sound like I know what I'm doing." The latter is how they engage with the world, because they prioritize #confidence over #correctness. Which is a very bad look for a teacher.

There are legitimate uses for LLMs in #education, but none of them are as personal tutors.

Chatbot AI Reddita „pomaga” w leczeniu bólu. Wśród rekomendacji: heroina

Reddit w pośpiechu wycofuje swojego nowego chatbota AI o nazwie „Answers” z dyskusji na tematy zdrowotne. Powód? Przeczytajcie.

Otóż narzędzie, które w zamyśle twórców miało streszczać stare wątki, zaczęło polecać użytkownikom szukającym porady m.in. twarde narkotyki jako metodę leczenia przewlekłego bólu.

Nowa funkcja „Answers” (na szczęście nie działa po polsku, więc wielu z nas zostało uratowanych od „porad” tej AI) została zaprojektowana, by pomagać użytkownikom poprzez automatyczne podsumowywanie informacji znalezionych w archiwalnych postach na dany temat. Problem w tym, że sztuczna inteligencja wykazała się kompletnym brakiem zrozumienia kontekstu i ironii, traktując każdą znalezioną wypowiedź jako potencjalną, wiarygodną poradę.

Jak nie dać się oszukać w sieci? 6 nowości od Google, które chronią Twoje dane i konto

Jak donosi serwis 404media, gdy jeden z użytkowników zapytał o sposoby radzenia sobie z przewlekłym bólem, chatbot AI Reddita wskazał na komentarz innego użytkownika, który brzmiał: „Heroina, jak na ironię, uratowała mi w takich przypadkach życie”. W innym przypadku bot zarekomendował substancję ziołową, która w wielu miejscach jest zakazana i powiązana z poważnymi problemami zdrowotnymi.

Sytuacja jest o tyle groźna, że Reddit testował chatbota bezpośrednio w aktywnych rozmowach. Jego niebezpieczne „porady” pojawiały się więc w miejscu, gdzie prawdziwe, często wrażliwe osoby, szukały prawdziwej pomocy. Co gorsza, moderatorzy poszczególnych społeczności (subredditów) zgłaszali, że początkowo nie mieli nawet możliwości wyłączenia tej funkcji.

Incydent ten w jaskrawy sposób obnaża największą słabość obecnej generacji wielu (wszystkich?) modeli AI. Bot nie „rozumie” co czyta. Jest jedynie zaawansowaną maszyną do wyszukiwania i powtarzania fragmentów tekstu napisanego przez ludzi. Nie potrafi odróżnić pomocnej wskazówki od sarkastycznego żartu, anegdoty czy skrajnie niebezpiecznej sugestii, a wszystko to prezentuje tonem obiektywnego faktu.

Po gwałtownej reakcji użytkowników i mediów, Reddit potwierdził, że wycofuje chatbota „Answers” ze wszystkich dyskusji o tematyce zdrowotnej. Przedstawiciele serwisu nie skomentowali jednak szerzej, czy zamierzają wprowadzić jakiekolwiek fundamentalne filtry bezpieczeństwa do samego modelu. Na razie wygląda to więc na załatanie problemu, a nie jego systemowe rozwiązanie.

YouTube „nauczy cię” mówić w każdym języku. AI nie tylko przetłumaczy głos, ale i dopasuje ruch ust

#AI #Answers #chatbot #dezinformacja #heroina #news #poradyMedyczne #Reddit #sztucznaInteligencja #zagrożenie #zdrowie

Chatbot AI Reddita „pomaga” w leczeniu bólu. Wśród rekomendacji: heroina

Reddit w pośpiechu wycofuje swojego nowego chatbota AI o nazwie „Answers” z dyskusji na tematy zdrowotne. Powód? Przeczytajcie.

Otóż narzędzie, które w zamyśle twórców miało streszczać stare wątki, zaczęło polecać użytkownikom szukającym porady m.in. twarde narkotyki jako metodę leczenia przewlekłego bólu.

Nowa funkcja „Answers” (na szczęście nie działa po polsku, więc wielu z nas zostało uratowanych od „porad” tej AI) została zaprojektowana, by pomagać użytkownikom poprzez automatyczne podsumowywanie informacji znalezionych w archiwalnych postach na dany temat. Problem w tym, że sztuczna inteligencja wykazała się kompletnym brakiem zrozumienia kontekstu i ironii, traktując każdą znalezioną wypowiedź jako potencjalną, wiarygodną poradę.

Jak nie dać się oszukać w sieci? 6 nowości od Google, które chronią Twoje dane i konto

Jak donosi serwis 404media, gdy jeden z użytkowników zapytał o sposoby radzenia sobie z przewlekłym bólem, chatbot AI Reddita wskazał na komentarz innego użytkownika, który brzmiał: „Heroina, jak na ironię, uratowała mi w takich przypadkach życie”. W innym przypadku bot zarekomendował substancję ziołową, która w wielu miejscach jest zakazana i powiązana z poważnymi problemami zdrowotnymi.

Sytuacja jest o tyle groźna, że Reddit testował chatbota bezpośrednio w aktywnych rozmowach. Jego niebezpieczne „porady” pojawiały się więc w miejscu, gdzie prawdziwe, często wrażliwe osoby, szukały prawdziwej pomocy. Co gorsza, moderatorzy poszczególnych społeczności (subredditów) zgłaszali, że początkowo nie mieli nawet możliwości wyłączenia tej funkcji.

Incydent ten w jaskrawy sposób obnaża największą słabość obecnej generacji wielu (wszystkich?) modeli AI. Bot nie „rozumie” co czyta. Jest jedynie zaawansowaną maszyną do wyszukiwania i powtarzania fragmentów tekstu napisanego przez ludzi. Nie potrafi odróżnić pomocnej wskazówki od sarkastycznego żartu, anegdoty czy skrajnie niebezpiecznej sugestii, a wszystko to prezentuje tonem obiektywnego faktu.

Po gwałtownej reakcji użytkowników i mediów, Reddit potwierdził, że wycofuje chatbota „Answers” ze wszystkich dyskusji o tematyce zdrowotnej. Przedstawiciele serwisu nie skomentowali jednak szerzej, czy zamierzają wprowadzić jakiekolwiek fundamentalne filtry bezpieczeństwa do samego modelu. Na razie wygląda to więc na załatanie problemu, a nie jego systemowe rozwiązanie.

YouTube „nauczy cię” mówić w każdym języku. AI nie tylko przetłumaczy głos, ale i dopasuje ruch ust

#AI #Answers #chatbot #dezinformacja #heroina #news #poradyMedyczne #Reddit #sztucznaInteligencja #zagrożenie #zdrowie