home.social

#llama — Public Fediverse posts

Live and recent posts from across the Fediverse tagged #llama, aggregated by home.social.

  1. Quick bonus post. In a slight ironic turn of events Meta employees don't like being spied on by Meta. Don't get me wrong I think such tracking is invasive for anyone....but it does feel like a case of oh how the tables have turned.

    blog.ppb1701.com/meta-is-now-t

    #bigtech #blog #corporatehypocrisy #layoffs #llama #meta #musespark #privacy #surveillance #tracking

  2. RT @QingQ77: Eine auf Leistung optimierte Fork von llama.cpp, die DFlash-spezifulative Dekodierung, TurboQuant/TCQ-KV-Cache-Kompression und adaptive Entwurfssteuerung integriert, um bei gleicher GPU-Speichergröße eine bis zu dreifache Beschleunigung der Inferenz und eine 7,5-fache Erweiterung der Kontextkapazität zu erreichen.

    mehr auf Arint.info

    #AI #DeepLearning #GPU #llama #MachineLearning #OpenSource #arint_info

    https://x.com/QingQ77/status/2054754069563179017#m

  3. nature.com/articles/d41586-026

    "first science publisher sues over scraped research papers"

    #Meta vs. #Elsevier - you really don't know who to root for less.

    #Llama #AI #Copyright

  4. Curated reference of vendor and community inference parameters for Qwen 3.6 and Gemma 4, optimized for agentic workflows and real-world coding systems.

    #Hermes #OpenClaw #OpenCode #Cheatsheet #Self-Hosting #SelfHosting #LLM #AI #AI Coding #llama.cpp

    glukhov.org/llm-performance/be

  5. Локальный ИИ на «древнем» железе: выжимаем максимум из AMD RX 580 через Vulkan в Fedora (Llama 3.1, DeepSeek, Qwen 3.5) Я решил прове...

    #ollama #amd #vulkan #fedora #deepseek-r1 #llama #3.1 #qwen #3.5 #n8n #podman

    Origin | Interest | Match
  6. Локальный ИИ на «древнем» железе: выжимаем максимум из AMD RX 580 через Vulkan в Fedora (Llama 3.1, DeepSeek, Qwen 3.5) Я решил прове...

    #amd #Fedora #llama #3.1 #n8n #Ollama #podman #qwen #3.5

    Origin | Interest | Match
  7. Кириллица в LLM: почему русский язык в нейросетях стоит дороже и работает медленнее

    Когда вы пишете запрос в ChatGPT или другую нейросеть, она не работает с буквами или словами — она режет ваш текст на маленькие кусочки. Эти кусочки называются токенами, и от того, как именно нейросеть режет текст, зависит цена ответа, скорость, и сколько информации в неё помещается за раз. С английским это работает хорошо: одно слово — обычно один‑два кусочка. С русским всё хуже: то же самое слово часто превращается в три‑четыре обрывка. Английское «contract» — один токен. Русское «разработка» — два‑три. «Программирование» — три‑четыре. Из‑за этого русский текст в облачных сервисах вроде OpenAI обходится примерно в 2 раза дороже английского, медленнее обрабатывается, и в одно «контекстное окно» нейросети помещается заметно меньше реального содержания. Эта статья — про то, откуда берётся разница, как её измерить на ваших данных и какие модели лучше работают с русским языком.

    habr.com/ru/articles/1032610/

    #llm #токенизация #нейросети #локальный_ии #selfhosted #кириллица #qwen #gigachat #llama #yandexgpt

  8. Кириллица в LLM: почему русский язык в нейросетях стоит дороже и работает медленнее

    Когда вы пишете запрос в ChatGPT или другую нейросеть, она не работает с буквами или словами — она режет ваш текст на маленькие кусочки. Эти кусочки называются токенами, и от того, как именно нейросеть режет текст, зависит цена ответа, скорость, и сколько информации в неё помещается за раз. С английским это работает хорошо: одно слово — обычно один‑два кусочка. С русским всё хуже: то же самое слово часто превращается в три‑четыре обрывка. Английское «contract» — один токен. Русское «разработка» — два‑три. «Программирование» — три‑четыре. Из‑за этого русский текст в облачных сервисах вроде OpenAI обходится примерно в 2 раза дороже английского, медленнее обрабатывается, и в одно «контекстное окно» нейросети помещается заметно меньше реального содержания. Эта статья — про то, откуда берётся разница, как её измерить на ваших данных и какие модели лучше работают с русским языком.

    habr.com/ru/articles/1032610/

    #llm #токенизация #нейросети #локальный_ии #selfhosted #кириллица #qwen #gigachat #llama #yandexgpt

  9. Кириллица в LLM: почему русский язык в нейросетях стоит дороже и работает медленнее

    Когда вы пишете запрос в ChatGPT или другую нейросеть, она не работает с буквами или словами — она режет ваш текст на маленькие кусочки. Эти кусочки называются токенами, и от того, как именно нейросеть режет текст, зависит цена ответа, скорость, и сколько информации в неё помещается за раз. С английским это работает хорошо: одно слово — обычно один‑два кусочка. С русским всё хуже: то же самое слово часто превращается в три‑четыре обрывка. Английское «contract» — один токен. Русское «разработка» — два‑три. «Программирование» — три‑четыре. Из‑за этого русский текст в облачных сервисах вроде OpenAI обходится примерно в 2 раза дороже английского, медленнее обрабатывается, и в одно «контекстное окно» нейросети помещается заметно меньше реального содержания. Эта статья — про то, откуда берётся разница, как её измерить на ваших данных и какие модели лучше работают с русским языком.

    habr.com/ru/articles/1032610/

    #llm #токенизация #нейросети #локальный_ии #selfhosted #кириллица #qwen #gigachat #llama #yandexgpt

  10. Кириллица в LLM: почему русский язык в нейросетях стоит дороже и работает медленнее

    Когда вы пишете запрос в ChatGPT или другую нейросеть, она не работает с буквами или словами — она режет ваш текст на маленькие кусочки. Эти кусочки называются токенами, и от того, как именно нейросеть режет текст, зависит цена ответа, скорость, и сколько информации в неё помещается за раз. С английским это работает хорошо: одно слово — обычно один‑два кусочка. С русским всё хуже: то же самое слово часто превращается в три‑четыре обрывка. Английское «contract» — один токен. Русское «разработка» — два‑три. «Программирование» — три‑четыре. Из‑за этого русский текст в облачных сервисах вроде OpenAI обходится примерно в 2 раза дороже английского, медленнее обрабатывается, и в одно «контекстное окно» нейросети помещается заметно меньше реального содержания. Эта статья — про то, откуда берётся разница, как её измерить на ваших данных и какие модели лучше работают с русским языком.

    habr.com/ru/articles/1032610/

    #llm #токенизация #нейросети #локальный_ии #selfhosted #кириллица #qwen #gigachat #llama #yandexgpt

  11. Para empezar a explicar el problema hay que delimitar dónde está ese problema. No hablamos de toda la tecnología ni de cómo sintetizar proteínas con sistemas de IA (a secas). Hablamos de la IA generativa actual cuyos modelos comerciales fueron lanzados al mercado desde 2021-2022 en adelante.

    #AI #genAI #generativeAI #ChatGPT #Midjourney #Gemini #AdobeFirefly #GROK #META #NanoBanana #RunwayAI #StableDiffusion #Flux #Llama #Claude #suno #ElevenLabs #Microsoft

  12. Para empezar a explicar el problema hay que delimitar dónde está ese problema. No hablamos de toda la tecnología ni de cómo sintetizar proteínas con sistemas de IA (a secas). Hablamos de la IA generativa actual cuyos modelos comerciales fueron lanzados al mercado desde 2021-2022 en adelante.

    #AI #genAI #generativeAI #ChatGPT #Midjourney #Gemini #AdobeFirefly #GROK #META #NanoBanana #RunwayAI #StableDiffusion #Flux #Llama #Claude #suno #ElevenLabs #Microsoft

  13. Para empezar a explicar el problema hay que delimitar dónde está ese problema. No hablamos de toda la tecnología ni de cómo sintetizar proteínas con sistemas de IA (a secas). Hablamos de la IA generativa actual cuyos modelos comerciales fueron lanzados al mercado desde 2021-2022 en adelante.

    #AI #genAI #generativeAI #ChatGPT #Midjourney #Gemini #AdobeFirefly #GROK #META #NanoBanana #RunwayAI #StableDiffusion #Flux #Llama #Claude #suno #ElevenLabs #Microsoft

  14. Para empezar a explicar el problema hay que delimitar dónde está ese problema. No hablamos de toda la tecnología ni de cómo sintetizar proteínas con sistemas de IA (a secas). Hablamos de la IA generativa actual cuyos modelos comerciales fueron lanzados al mercado desde 2021-2022 en adelante.

    #AI #genAI #generativeAI #ChatGPT #Midjourney #Gemini #AdobeFirefly #GROK #META #NanoBanana #RunwayAI #StableDiffusion #Flux #Llama #Claude #suno #ElevenLabs #Microsoft

  15. Para empezar a explicar el problema hay que delimitar dónde está ese problema. No hablamos de toda la tecnología ni de cómo sintetizar proteínas con sistemas de IA (a secas). Hablamos de la IA generativa actual cuyos modelos comerciales fueron lanzados al mercado desde 2021-2022 en adelante.

    #AI #genAI #generativeAI #ChatGPT #Midjourney #Gemini #AdobeFirefly #GROK #META #NanoBanana #RunwayAI #StableDiffusion #Flux #Llama #Claude #suno #ElevenLabs #Microsoft

  16. Red Hat and Tesla engineers tackled a real production problem together.

    3x output tokens/sec, 2x faster TTFT on Llama 3.1 70B with KServe + llm-d + vLLM. Fixes pushed upstream to KServe along the way.

    This is what open source looks like. 🤝 🚀

    llm-d.ai/blog/production-grade

    #RedHat #Tesla #RedHatAI #vLLM #Pytorch #Kubernetes #OpenShift #KServe #llmd #Llama #OpenSource

  17. Red Hat and Tesla engineers tackled a real production problem together.

    3x output tokens/sec, 2x faster TTFT on Llama 3.1 70B with KServe + llm-d + vLLM. Fixes pushed upstream to KServe along the way.

    This is what open source looks like. 🤝 🚀

    llm-d.ai/blog/production-grade

  18. Red Hat and Tesla engineers tackled a real production problem together.

    3x output tokens/sec, 2x faster TTFT on Llama 3.1 70B with KServe + llm-d + vLLM. Fixes pushed upstream to KServe along the way.

    This is what open source looks like. 🤝 🚀

    llm-d.ai/blog/production-grade

    #RedHat #Tesla #RedHatAI #vLLM #Pytorch #Kubernetes #OpenShift #KServe #llmd #Llama #OpenSource

  19. Red Hat and Tesla engineers tackled a real production problem together.

    3x output tokens/sec, 2x faster TTFT on Llama 3.1 70B with KServe + llm-d + vLLM. Fixes pushed upstream to KServe along the way.

    This is what open source looks like. 🤝 🚀

    llm-d.ai/blog/production-grade

    #RedHat #Tesla #RedHatAI #vLLM #Pytorch #Kubernetes #OpenShift #KServe #llmd #Llama #OpenSource

  20. Red Hat and Tesla engineers tackled a real production problem together.

    3x output tokens/sec, 2x faster TTFT on Llama 3.1 70B with KServe + llm-d + vLLM. Fixes pushed upstream to KServe along the way.

    This is what open source looks like. 🤝 🚀

    llm-d.ai/blog/production-grade

    #RedHat #Tesla #RedHatAI #vLLM #Pytorch #Kubernetes #OpenShift #KServe #llmd #Llama #OpenSource

  21. Meet George! 🦙🤓✨He’s dapper, a bit nerdy, and has the best "toothy" grin in the gallery. I loved using these thick textures and vibrant teals to bring George's quirky personality to life.

    Prints, puzzles & decor: 1-lisas-baker.pixels.com/featu

    #Llama #AnimalArt #ArtSky #MastoArt #WhimsicalArt #GeorgeTheLlama #LisaSBaker #OfficeDecor #BuyIntoArt #CreativeToots #MastodonArt #FediArt #LlamaArt #CuteAnimals