home.social

#distillation — Public Fediverse posts

Live and recent posts from across the Fediverse tagged #distillation, aggregated by home.social.

  1. Разбираю «Qwen3.5-21B-Claude-4.6-Opus-Heretic-Uncensored»: что на самом деле внутри файнтюна с громким именем

    В телеграме завирусился пост: якобы кто-то “дообучил Qwen 3.5 до уровня Claude 4.6 Opus и убрал цензуру через Heretic”. Я открыл карточку модели на HuggingFace и провёл вечер, разбираясь, что под капотом. Спойлер: там много интересной техники, но к Claude эта модель имеет такое же отношение, как кроссовки “Adibas” к Adidas. Разбираю distillation, depth upscaling и abliteration без маркетинговой обёртки.

    habr.com/ru/articles/1032324/

    #LLM #Qwen #abliteration #файнтюн #HuggingFace #distillation #intepretability #openweights

  2. Разбираю «Qwen3.5-21B-Claude-4.6-Opus-Heretic-Uncensored»: что на самом деле внутри файнтюна с громким именем

    В телеграме завирусился пост: якобы кто-то “дообучил Qwen 3.5 до уровня Claude 4.6 Opus и убрал цензуру через Heretic”. Я открыл карточку модели на HuggingFace и провёл вечер, разбираясь, что под капотом. Спойлер: там много интересной техники, но к Claude эта модель имеет такое же отношение, как кроссовки “Adibas” к Adidas. Разбираю distillation, depth upscaling и abliteration без маркетинговой обёртки.

    habr.com/ru/articles/1032324/

    #LLM #Qwen #abliteration #файнтюн #HuggingFace #distillation #intepretability #openweights

  3. Distillation Diplomacy: State Department’s Cable Names Chinese AI Firms in US IP Theft Escalation U.S. State Department cable targets DeepSeek, Moonshot AI, and MiniMax for distilling American AI...

    #AISecurityPro #AI #Distillation #Anthropic #Claude #China #AI #Deepseek #IP #theft #MiniMax

    Origin | Interest | Match
  4. Anthropic accuses Chinese labs of illicit AI model distillation using 24,000 fake accounts Anthropic identified industrial-scale distillation campaigns by three Chinese AI labs—DeepSeek, Moonshot...

    #Technology #AI #distillation #Anthropic #bioweapon #development #risk #DeepSeek #MiniMax #Moonshot #White

    Origin | Interest | Match
  5. 3 Steps to Distill LLMs: Shrink Your Model and Save Money Chinese AI labs like DeepSeek and Moonshot didn’t invent distillation, but they showed the world what it can do. They built models that...

    #llm #llmops #mlops #distillation #machine-learning

    Origin | Interest | Match
  6. Anthropic says Chinese companies misused Claude AI; Elon Musk lashes out

    Elon Musk on Monday lashed out at Anthropic after the Dario Amodei-led company accused Chinese AI companies of…
    #UnitedStates #US #USA #AILabs #anthropicdatastealin #anthropicstealingdata #anthrpoicai #Claude #ClaudeAImodel #claudecod #datatheft #distillation #ElonMusk #elonmuskonanthropic #industrial-scaledistillationattacks #Musk
    europesays.com/2801482/

  7. QAD от NVIDIA: разбираюсь, почему 4-битная квантизация перестала всё ломать

    NVIDIA выпустила отчет о методе QAD, который позволяет квантовать LLM в 4 бита без потери качества на сложных задачах (математика, код). Разбираем, почему привычный QAT «ломает» модели после RLHF, как дистилляция через KL-дивергенцию решает эту проблему и почему метод работает даже на рандомных данных. Личный опыт попыток уместить 49B модель в железо и анализ нового подхода.

    habr.com/ru/articles/991586/

    #LLM #Квантизация #NVIDIA #QAD #QAT #FP4 #Blackwell #Machine_Learning #Llama #Distillation

  8. 29-Oct-2025
    study uses ancient plant to decode #Earth's #climate history
    the study focuses on #horsetails — hollow-stemmed #plants that have thrived on Earth for more than 400 million years. The team’s findings reveal that #water traveling through these plants undergoes such intense natural #distillation that its #oxygen #isotope ratios resemble those found in meteorites or in extraterrestrial materials.

    eurekalert.org/news-releases/1

    #science #evolution #paleontology

  9. A very interesting interview....

    #OpenAI CPO #KevinWeil on the Future of #AI

    Summary:

    🛠️ #ProductManagement at #OpenAI: Kevin Weil discusses differences in product management compared to other companies, highlighting that AI advancements make product development more dynamic and unpredictable.

    🌍 AI's Rapid Evolution: #AI technology evolves faster than ever, with computers gaining new capabilities monthly, which requires adaptability and quick decision-making in #productstrategy.

    💡 #Distillation and #CostReduction: Distillation is a key innovation that allows AI models to be optimized for specific tasks, significantly reducing costs (99% cost reduction since #GPT3).

    🧠 Advanced Reasoning with #01Model: The 01 model introduces advanced reasoning capabilities, enabling AI to hypothesize and refine its thinking, which is particularly effective in fields like #science and #mathematics.

    Insights Based on Numbers:

    99% cost reduction in two years: The evolution from #GPT3 to #GPT4 models shows a dramatic decrease in cost, making AI more accessible and practical for diverse applications.

    More than 3 million developers using OpenAI: This showcases the wide adoption of OpenAI's tools and the potential impact of AI across industries.

    youtu.be/VsmEMUiPXIs?si=rkB7_E