#llama32 — Public Fediverse posts

Маленькая модель на 0.6B держит квантование лучше, чем «крупная» на 1B: измерил деградацию function-calling на 4 ГБ VRAM

Как квантование ломает function-calling у LLM? Написал бенчмарк QuantCall, протестировав модели на 4 ГБ VRAM. Главный инсайт: устойчивость к квантам зависит не от размера, а от семейства. Меньшая Qwen3-0.6B стабильно генерирует валидный JSON даже на Q4, а более крупная Llama-3.2-1B деградирует уже на Q8, путая типы данных. Также GBNF-грамматики не спасают от ошибок, но заметно замедляют инференс.

https://habr.com/ru/articles/1056656/

#квантование #functioncalling #Qwen3 #Llama32 #BFCL #QuantCall #JSONсхема #GBNF #GGUF #деградация_модели

Today, I tried #llama32 as well as #ChatGPT to generate a rather simple #Elisp function that removes the first 3 characters of each line within a selected region.

Both failed miserably and produced no working code. I was not even in the position to use the generated code and fix it myself. 🤷

#AI

Today, I tried #llama32 as well as #ChatGPT to generate a rather simple #Elisp function that removes the first 3 characters of each line within a selected region.

Both failed miserably and produced no working code. I was not even in the position to use the generated code and fix it myself. 🤷

#AI

Основы промптинга и математические возможности моделей Llama

Меня зовут Грибанов Никита, я Data Scientist в отделе R`n`D&ML компании Raft Digital Solutions, и сегодня я расскажу о больших языковых моделях. На данный момент в мире их существует уже более 39 тысяч! Далее буду называть их хайповым названием LLM (Large Language Model). В этой статье вы сначала узнаете новые или освежите в памяти уже известные вам основы общения с языковыми моделями. Затем разберёте пару реальных примеров настройки запросов и увидите математические возможности Llama 3.2 3B в сравнении с Llama 3.1 8B. Для достижения хороших результатов при решении различных задач с помощью LLM, с ними как и с людьми, нужно уметь правильно общаться. Как же это сделать?

https://habr.com/ru/companies/raft/articles/863478/

#llama32 #llama31 #llm #prompt #promptengineering #mathematics #begginers

Playing around with #ollama I got a nice gem response from #llama32

With the following prompt:

In the context of cybersecurity what are recommendation for a password expiration within a policy as part of an ISMS?
Please provide references for the password expiration intervals. What Does NIST, NERC CIP, IT Grundschutz, ISO 27001, NIS-2 say about this. Please reply with the id/name of the document, the section and the statement.

In the answer my highlight is what I got as reference for the statement in ISO 27001:

European Union. (2004). Directive 2004/36/EC on the application of the principle of equal treatment in medical treatment between men and women,
including cases of pregnancy and childbirth.

#LLMsAreGoindGreat

Playing around with #ollama I got a nice gem response from #llama32

With the following prompt:

In the context of cybersecurity what are recommendation for a password expiration within a policy as part of an ISMS?
Please provide references for the password expiration intervals. What Does NIST, NERC CIP, IT Grundschutz, ISO 27001, NIS-2 say about this. Please reply with the id/name of the document, the section and the statement.

In the answer my highlight is what I got as reference for the statement in ISO 27001:

European Union. (2004). Directive 2004/36/EC on the application of the principle of equal treatment in medical treatment between men and women,
including cases of pregnancy and childbirth.

#LLMsAreGoindGreat

Breakthrough in Visual Language Models and Reasoning 🧠

🔍 #LLaVAo1 pioneers systematic visual reasoning capabilities:
• First #VLM to implement spontaneous step-by-step analysis like #GPT4
• New 11B model surpasses #Gemini15pro & #Llama32 performance
• Excels on 6 multimodal benchmark tests
• Breaks down complex problems into structured analysis stages

🎯 Key Features:
• Problem outline creation
• Image information interpretation
• Sequential reasoning process
• Evidence-based conclusions
• Handles science & reasoning challenges

💡 Technical Specs:
• Based on #opensource architecture
• Pretrained weights available on #HuggingFace
• 11B parameter model size
• Supports multiple reasoning domains

📚 Paper available: https://arxiv.org/abs/2411.10440
🔗 Project repository: https://github.com/PKU-YuanGroup/LLaVA-o1

Breakthrough in Visual Language Models and Reasoning 🧠

🔍 #LLaVAo1 pioneers systematic visual reasoning capabilities:
• First #VLM to implement spontaneous step-by-step analysis like #GPT4
• New 11B model surpasses #Gemini15pro & #Llama32 performance
• Excels on 6 multimodal benchmark tests
• Breaks down complex problems into structured analysis stages

🎯 Key Features:
• Problem outline creation
• Image information interpretation
• Sequential reasoning process
• Evidence-based conclusions
• Handles science & reasoning challenges

💡 Technical Specs:
• Based on #opensource architecture
• Pretrained weights available on #HuggingFace
• 11B parameter model size
• Supports multiple reasoning domains

📚 Paper available: https://arxiv.org/abs/2411.10440
🔗 Project repository: https://github.com/PKU-YuanGroup/LLaVA-o1

Понимает ли Vision Llama импрессионистов?

Всем привет, меня зовут Арсений, я Data Scientist в компании Raft, и сегодня я расскажу вам про Visual Language Models (VLM). Большие языковые модели уже стали частью нашей жизни и мы применяем их, чтобы упростить современную рутину, а так же используем для решения бизнес задач. Недавно вышло новое поколение vision transformer моделей, которые заметно упростили анализ изображений, из какой бы сферы эти изображения не были. Особенно заметным был сентябрьский релиз Llama-3.2-11b, и не только потому что это первая vision модель от Llama, сколько потому, что с ней вместе вышло целое семейство моделей, включая маленькие на 1B и 3B параметров. А как вы знаете, меньше, значит юзабельнее.

https://habr.com/ru/companies/raft/articles/857118/

#Vision_Transformers #Vision_Language_Models #multimodal_llm #Llama32 #qwen2vl #llava #art #art_history

Just updated my terminal setup to get roasted by my Linux shell history. Every command I run gets judged by a local LLM, and the verdict goes straight to my window title. 😅

Including a few favorites:

"Oh, I see you use Arch, by the way..." when I update pacman
"Looking for your Brains?..." when I ran simonw's llm tool
"pwd, after ls? How lost are you?", after... well runinng pwd when not recognizing the files in my cwd.

GIF shows it in action

#linux #terminal #llama32 #llm #archlinux #shellshaming #ramtospare

Just updated my terminal setup to get roasted by my Linux shell history. Every command I run gets judged by a local LLM, and the verdict goes straight to my window title. 😅

Including a few favorites:

"Oh, I see you use Arch, by the way..." when I update pacman
"Looking for your Brains?..." when I ran simonw's llm tool
"pwd, after ls? How lost are you?", after... well runinng pwd when not recognizing the files in my cwd.

GIF shows it in action

#linux #terminal #llama32 #llm #archlinux #shellshaming #ramtospare

>>> Wow you made an animation out of it. Can you tell me why?
I didn't exactly "make" the animation, but rather simplified and modified
the original code to create a basic animation.

When I saw that the original code wasn't working as intended, I tried to
identify the main issues and simplify the code to make it more
understandable. However, in the process, I accidentally created an
animation!

#Llama32

Hey #llama32 - ich bin _wirklich_ nicht beeindruckt.
#ki #llm

Hey #llama32 - ich bin _wirklich_ nicht beeindruckt.
#ki #llm

Meta Connect 2024: Llama 3.2 will mit ChatGPTs neuem Sprachmodus konkurrieren https://www.computerbase.de/2024-09/meta-connect-2024-llama-3-2-will-mit-chatgpts-neuem-sprachmodus-konkurrieren/ #llama32 #metaai

Meta Connect 2024: Llama 3.2 will mit ChatGPTs neuem Sprachmodus konkurrieren https://www.computerbase.de/2024-09/meta-connect-2024-llama-3-2-will-mit-chatgpts-neuem-sprachmodus-konkurrieren/ #llama32 #metaai

Meta* выпускает Llama 3.2

-Llama 3.2, способна обрабатывать как текст, так и изображения, что откроет возможности для разработки приложений в области дополненной реальности и визуального поиска.

-Llama 3.2 включает две модели зрения (с 11 миллиардами параметров и 90 миллиардами параметров) и две облегченные текстовые модели (с 1 миллиардом параметров и 3 миллиардами параметров).

-Меньшие модели предназначены для работы на Qualcomm, MediaTek и другом оборудовании Arm — а если точнее Meta* явно надеется увидеть их использование на мобильных устройствах.

src : https://ai.meta.com/blog/llama-3-2-connect-2024-vision-edge-mobile-devices/

#meta #llama #llama3 #llama32 #arm #qualcomm #mediatek #ai #aiart #aipicture

Meta* выпускает Llama 3.2

-Llama 3.2, способна обрабатывать как текст, так и изображения, что откроет возможности для разработки приложений в области дополненной реальности и визуального поиска.

-Llama 3.2 включает две модели зрения (с 11 миллиардами параметров и 90 миллиардами параметров) и две облегченные текстовые модели (с 1 миллиардом параметров и 3 миллиардами параметров).

-Меньшие модели предназначены для работы на Qualcomm, MediaTek и другом оборудовании Arm — а если точнее Meta* явно надеется увидеть их использование на мобильных устройствах.

src : https://ai.meta.com/blog/llama-3-2-connect-2024-vision-edge-mobile-devices/

#meta #llama #llama3 #llama32 #arm #qualcomm #mediatek #ai #aiart #aipicture