home.social

#distillation — Public Fediverse posts

Live and recent posts from across the Fediverse tagged #distillation, aggregated by home.social.

  1. Разбираю «Qwen3.5-21B-Claude-4.6-Opus-Heretic-Uncensored»: что на самом деле внутри файнтюна с громким именем

    В телеграме завирусился пост: якобы кто-то “дообучил Qwen 3.5 до уровня Claude 4.6 Opus и убрал цензуру через Heretic”. Я открыл карточку модели на HuggingFace и провёл вечер, разбираясь, что под капотом. Спойлер: там много интересной техники, но к Claude эта модель имеет такое же отношение, как кроссовки “Adibas” к Adidas. Разбираю distillation, depth upscaling и abliteration без маркетинговой обёртки.

    habr.com/ru/articles/1032324/

    #LLM #Qwen #abliteration #файнтюн #HuggingFace #distillation #intepretability #openweights

  2. Разбираю «Qwen3.5-21B-Claude-4.6-Opus-Heretic-Uncensored»: что на самом деле внутри файнтюна с громким именем

    В телеграме завирусился пост: якобы кто-то “дообучил Qwen 3.5 до уровня Claude 4.6 Opus и убрал цензуру через Heretic”. Я открыл карточку модели на HuggingFace и провёл вечер, разбираясь, что под капотом. Спойлер: там много интересной техники, но к Claude эта модель имеет такое же отношение, как кроссовки “Adibas” к Adidas. Разбираю distillation, depth upscaling и abliteration без маркетинговой обёртки.

    habr.com/ru/articles/1032324/

    #LLM #Qwen #abliteration #файнтюн #HuggingFace #distillation #intepretability #openweights

  3. Разбираю «Qwen3.5-21B-Claude-4.6-Opus-Heretic-Uncensored»: что на самом деле внутри файнтюна с громким именем

    В телеграме завирусился пост: якобы кто-то “дообучил Qwen 3.5 до уровня Claude 4.6 Opus и убрал цензуру через Heretic”. Я открыл карточку модели на HuggingFace и провёл вечер, разбираясь, что под капотом. Спойлер: там много интересной техники, но к Claude эта модель имеет такое же отношение, как кроссовки “Adibas” к Adidas. Разбираю distillation, depth upscaling и abliteration без маркетинговой обёртки.

    habr.com/ru/articles/1032324/

    #LLM #Qwen #abliteration #файнтюн #HuggingFace #distillation #intepretability #openweights

  4. Разбираю «Qwen3.5-21B-Claude-4.6-Opus-Heretic-Uncensored»: что на самом деле внутри файнтюна с громким именем

    В телеграме завирусился пост: якобы кто-то “дообучил Qwen 3.5 до уровня Claude 4.6 Opus и убрал цензуру через Heretic”. Я открыл карточку модели на HuggingFace и провёл вечер, разбираясь, что под капотом. Спойлер: там много интересной техники, но к Claude эта модель имеет такое же отношение, как кроссовки “Adibas” к Adidas. Разбираю distillation, depth upscaling и abliteration без маркетинговой обёртки.

    habr.com/ru/articles/1032324/

    #LLM #Qwen #abliteration #файнтюн #HuggingFace #distillation #intepretability #openweights

  5. Distillation Diplomacy: State Department’s Cable Names Chinese AI Firms in US IP Theft Escalation U.S. State Department cable targets DeepSeek, Moonshot AI, and MiniMax for distilling American AI...

    #AISecurityPro #AI #Distillation #Anthropic #Claude #China #AI #Deepseek #IP #theft #MiniMax

    Origin | Interest | Match
  6. The #US is preparing to crack down on #China’s alleged “industrial-scale theft” of #AI #intellectualproperty through #distillation attacks. The US government is exploring measures to hold foreign actors accountable, potentially including prosecuting bad actors and imposing penalties. China has denied the allegations, calling them “pure slander.” arstechnica.com/tech-policy/20 #tech #media #news

  7. Anthropic accuses Chinese labs of illicit AI model distillation using 24,000 fake accounts Anthropic identified industrial-scale distillation campaigns by three Chinese AI labs—DeepSeek, Moonshot...

    #Technology #AI #distillation #Anthropic #bioweapon #development #risk #DeepSeek #MiniMax #Moonshot #White

    Origin | Interest | Match
  8. US accuses China of “industrial-scale” AI theft. China says it’s “slander.” Trump-Xi summit may be rocked by US mulling huge sanctions. The US is preparing to crack down on China's al...

    #AI #Policy #ai #theft #Anthropic #china #Distillation #Donald #Trump #google #intellectual

    Origin | Interest | Match
  9. It seems to me that we should be doing things like creating solar powered glass distillers that use built-in magnifying glasses to vaporize and distill water. It shouldn't be that hard to do. Make them out of heavy glass, and give everyone in the world permission to make them. The way things are going, we are going to need cheap and easy ways to purify water that don't rely on electricity.

    I can •almost• visualize the design.

    #water #distillation #Technology #Tech #solar #glass

  10. 3 Steps to Distill LLMs: Shrink Your Model and Save Money Chinese AI labs like DeepSeek and Moonshot didn’t invent distillation, but they showed the world what it can do. They built models that...

    #llm #llmops #mlops #distillation #machine-learning

    Origin | Interest | Match
  11. 1600万次偷跑曝光!Deepseek与Minimax如何偷偷蒸馏Anthropic? 你是否在烦恼国产AI的真实水平究竟如何?近日Anthropic指控Deepseek、Kimi和Minimax违规“白嫖”数...

    #AIGC #AI抄袭争议 #Anthropic #Claude #Minimax大模型 #Model #Distillation #大模型刷真题 #大模型蒸馏 #应对DeepSeek的连招 #账号混淆调用API

    Origin | Interest | Match
  12. Anthropic says Chinese companies misused Claude AI; Elon Musk lashes out

    Elon Musk on Monday lashed out at Anthropic after the Dario Amodei-led company accused Chinese AI companies of…
    #UnitedStates #US #USA #AILabs #anthropicdatastealin #anthropicstealingdata #anthrpoicai #Claude #ClaudeAImodel #claudecod #datatheft #distillation #ElonMusk #elonmuskonanthropic #industrial-scaledistillationattacks #Musk
    europesays.com/2801482/

  13. Anthropic Rallies Industry to Combat AI Model Theft Anthropic said Monday (Feb. 23) that the Chinese artificial intelligence labs DeepSeek, MiniMax and Moonshot AI have illicitly used the outputs o...

    #artificial #intelligence #AI #AI #model #theft #Anthropic #DeepSeek #distillation #News #PYMNTS

    Origin | Interest | Match
  14. Anthropic accuses Chinese AI labs of mining Claude as US debates AI chip exports Anthropic accuses DeepSeek, Moonshot, and MiniMax of using 24,000 fake accounts to distill Claude’s AI capabilitie...

    #AI #Government #& #Policy #Anthropic #deepseek #distillation #Exclusive #minimax #moonshot #ai

    Origin | Interest | Match
  15. After scraping all that #copyright, #bigai deserves this #karma. And We The People get all the open weight models. Hey, publishers are not your friends either, remember the #mpaa trying to send Moms to prison? #distillation is all kinds of comeuppance. #AI #LLM It all is leaking into the #publicdomain !!!

    theregister.com/2026/02/14/ai_

  16. After scraping all that #copyright, #bigai deserves this #karma. And We The People get all the open weight models. Hey, publishers are not your friends either, remember the #mpaa trying to send Moms to prison? #distillation is all kinds of comeuppance. #AI #LLM It all is leaking into the #publicdomain !!!

    theregister.com/2026/02/14/ai_

  17. After scraping all that #copyright, #bigai deserves this #karma. And We The People get all the open weight models. Hey, publishers are not your friends either, remember the #mpaa trying to send Moms to prison? #distillation is all kinds of comeuppance. #AI #LLM It all is leaking into the #publicdomain !!!

    theregister.com/2026/02/14/ai_

  18. After scraping all that #copyright, #bigai deserves this #karma. And We The People get all the open weight models. Hey, publishers are not your friends either, remember the #mpaa trying to send Moms to prison? #distillation is all kinds of comeuppance. #AI #LLM It all is leaking into the #publicdomain !!!

    theregister.com/2026/02/14/ai_

  19. After scraping all that #copyright, #bigai deserves this #karma. And We The People get all the open weight models. Hey, publishers are not your friends either, remember the #mpaa trying to send Moms to prison? #distillation is all kinds of comeuppance. #AI #LLM It all is leaking into the #publicdomain !!!

    theregister.com/2026/02/14/ai_

  20. QAD от NVIDIA: разбираюсь, почему 4-битная квантизация перестала всё ломать

    NVIDIA выпустила отчет о методе QAD, который позволяет квантовать LLM в 4 бита без потери качества на сложных задачах (математика, код). Разбираем, почему привычный QAT «ломает» модели после RLHF, как дистилляция через KL-дивергенцию решает эту проблему и почему метод работает даже на рандомных данных. Личный опыт попыток уместить 49B модель в железо и анализ нового подхода.

    habr.com/ru/articles/991586/

    #LLM #Квантизация #NVIDIA #QAD #QAT #FP4 #Blackwell #Machine_Learning #Llama #Distillation

  21. QAD от NVIDIA: разбираюсь, почему 4-битная квантизация перестала всё ломать

    NVIDIA выпустила отчет о методе QAD, который позволяет квантовать LLM в 4 бита без потери качества на сложных задачах (математика, код). Разбираем, почему привычный QAT «ломает» модели после RLHF, как дистилляция через KL-дивергенцию решает эту проблему и почему метод работает даже на рандомных данных. Личный опыт попыток уместить 49B модель в железо и анализ нового подхода.

    habr.com/ru/articles/991586/

    #LLM #Квантизация #NVIDIA #QAD #QAT #FP4 #Blackwell #Machine_Learning #Llama #Distillation

  22. QAD от NVIDIA: разбираюсь, почему 4-битная квантизация перестала всё ломать

    NVIDIA выпустила отчет о методе QAD, который позволяет квантовать LLM в 4 бита без потери качества на сложных задачах (математика, код). Разбираем, почему привычный QAT «ломает» модели после RLHF, как дистилляция через KL-дивергенцию решает эту проблему и почему метод работает даже на рандомных данных. Личный опыт попыток уместить 49B модель в железо и анализ нового подхода.

    habr.com/ru/articles/991586/

    #LLM #Квантизация #NVIDIA #QAD #QAT #FP4 #Blackwell #Machine_Learning #Llama #Distillation

  23. QAD от NVIDIA: разбираюсь, почему 4-битная квантизация перестала всё ломать

    NVIDIA выпустила отчет о методе QAD, который позволяет квантовать LLM в 4 бита без потери качества на сложных задачах (математика, код). Разбираем, почему привычный QAT «ломает» модели после RLHF, как дистилляция через KL-дивергенцию решает эту проблему и почему метод работает даже на рандомных данных. Личный опыт попыток уместить 49B модель в железо и анализ нового подхода.

    habr.com/ru/articles/991586/

    #LLM #Квантизация #NVIDIA #QAD #QAT #FP4 #Blackwell #Machine_Learning #Llama #Distillation