home.social

#the-pile — Public Fediverse posts

Live and recent posts from across the Fediverse tagged #the-pile, aggregated by home.social.

fetched live
  1. Apple Intelligence uczone na pirackich książkach? Gigant pozwany przez naukowców

    Apple musi zmierzyć się z poważnymi oskarżeniami, które uderzają w fundamenty ich nowej (wciąż niedostępnej w Polsce) platformy AI.

    Naukowcy złożyli pozew zbiorowy przeciwko firmie, twierdząc, że ich książki zostały nielegalnie wykorzystane do trenowania modeli językowych Apple Intelligence bez żadnej licencji ani zgody.

    Sprawa, wytoczona przez profesorów Susanę Martinez-Conde i Stephena Macknika, dotyczy dwóch publikacji naukowych. Autorzy zarzucają, że ich prace znalazły się w ogromnym zbiorze danych „Books3”, który był częścią większej biblioteki „The Pile”, oficjalnie wykorzystanej przez Apple do szkolenia swoich modeli, w tym OpenELM. Problem w tym, że „Books3” był zbiorem znanym z tego, że zawierał około 186 tysięcy pirackich kopii książek, a dzieła powodów znajdowały się na liście tychże tytułów.

    100 milionów miejsc pracy zagrożonych. Bernie Sanders proponuje „podatek od robotów”

    W pozwie złożonym w piątek po południu czytamy, że Apple, korzystając z tego zbioru, w całości skopiowało chronione prawem autorskim prace i bezpośrednio naruszyło prawa ich oraz innych twórców. Co istotne, zbiór „Books3” został usunięty z publicznego dostępu w październiku 2023 roku właśnie z powodu masowego łamania praw autorskich, jednak zdążył już posłużyć jako „pożywka” dla wielu modeli AI. W tym, jak się okazuje, także Apple Intelligence.

    Sprawa jest daleka od prostej i wpisuje się w szerszą, nierozstrzygniętą jeszcze debatę prawną dotyczącą tego, czy trenowanie AI na publicznie dostępnych, ale chronionych prawem danych, mieści się w ramach tzw. dozwolonego użytku („fair use”). Sądy w Stanach Zjednoczonych wydawały dotąd różne, często sprzeczne orzeczenia. Kluczowe dla autorów będzie udowodnienie, że Apple faktycznie wykorzystało ich konkretne książki w procesie treningowym, co może być trudne, gdyż firma nie ujawnia szczegółowej listy przetworzonych dokumentów.

    Autorzy pozwu domagają się procesu z udziałem ławy przysięgłych, odszkodowania pieniężnego oraz sądowego zakazu dalszego wykorzystywania ich prac przez Apple. Jeśli naruszenie zostanie uznane za umyślne, amerykańskie prawo przewiduje kary sięgające nawet 150 000 dolarów za każde pojedyncze dzieło. Wyrok w tej sprawie może stać się ważnym precedensem dla całej branży technologicznej i zdefiniować na nowo zasady gry na rynku sztucznej inteligencji. O ile w ogóle kiedykolwiek zapadnie.

    Kolejne trzęsienie ziemi w Apple? Firma ma aktywnie szukać następcy szefa od AI

    #AI #Apple #AppleIntelligence #Books3 #fairUse #naukowcy #news #OpenELM #piractwo #pozew #prawaAutorskie #proces #sztucznaInteligencja #ThePile

  2. "The adoption of large language models (LLMs) in healthcare demands a careful analysis of their potential to spread false medical knowledge. Because LLMs ingest massive volumes of data from the open Internet during training, they are potentially exposed to unverified medical knowledge that may include deliberately planted misinformation. Here, we perform a threat assessment that simulates a data-poisoning attack against The Pile, a popular dataset used for LLM development. We find that replacement of just 0.001% of training tokens with medical misinformation results in harmful models more likely to propagate medical errors. Furthermore, we discover that corrupted models match the performance of their corruption-free counterparts on open-source benchmarks routinely used to evaluate medical LLMs. Using biomedical knowledge graphs to screen medical LLM outputs, we propose a harm mitigation strategy that captures 91.9% of harmful content (F1 = 85.7%). Our algorithm provides a unique method to validate stochastically generated LLM outputs against hard-coded relationships in knowledge graphs. In view of current calls for improved data provenance and transparent LLM development, we hope to raise awareness of emergent risks from LLMs trained indiscriminately on web-scraped data, particularly in healthcare where misinformation can potentially compromise patient safety."

    nature.com/articles/s41591-024

    #AI #GenerativeAI #LLMs #Healthcare #ThePile #Healthcare #AISafety #DataPoisoning #Misinformation #AITraining

  3. YouTube creators surprised to find Apple and others trained AI on their videos - Enlarge / YouTuber Marques Brownlee discusses iOS 18 in a new video. Th... - arstechnica.com/?p=2037316 #largelanguagemodels #eleutherai #anthropic #thepile #youtube #google #apple #tech #ai

  4. CW: Long thread/28

    Many of the biggest "open AI" companies are totally opaque when it comes to training data. Google and OpenAI won't even say how many pieces of data went into their models' training - let alone which data they used.

    Other "open AI" companies use publicly available datasets like #ThePile and #CommonCrawl. But you can't replicate their models by shoveling these datasets into an algorithm. Each one has to be groomed - labeled, sorted, de-duplicated, and otherwise filtered.

    28/