#glitchtokens — Public Fediverse posts

[Перевод] Как открытые веса раскрыли секреты обучения GPT-5

Команда AI for Devs перевела статью, показывающую, что открытые веса — это не только про прозрачность, но и про утечку тайн обучения. На примере модели GPT-oss автор показывает, как можно восстановить части обучающего пайплайна и даже выявить, что GPT-5 видела фразы с сайтов для взрослых.

https://habr.com/ru/articles/955260/

#OpenAI #GPT5 #GPToss #glitchtokens #trainingdata #membershipinference #tokenizer #embeddings #GitHub #adultcontent

#Computerphile - #Glitch #Tokens In #LargeLanguageModels

#RobMiles talks about '#GlitchTokens', those mysterious words, which result in gibberish when entered into some large #LanguageModels.

https://www.youtube.com/watch?v=WO2X3oZEJOA&ab_channel=Computerphile

#GPT #ChatGPT #Language #Interpretability #OpenAI #AI #ArtificialIntelligence #Representation #Representations