#llama_3 — Public Fediverse posts
Live and recent posts from across the Fediverse tagged #llama_3, aggregated by home.social.
-
Потратил полгода на обучение своей ии с нуля, вот что вышло
Последние полгода я обучал свою небольшую нейросеть с нуля на одной rtx 4060. Сжег кучу времени, перебрал кучу данных и в итоге дошел до версии 2.1 — это крошечная LLM всего на 260 млн параметров. Зачем вообще было это делать? Мне просто стало интересно, можно ли научить такую микроскопическую нейронку (а более большую я обучить и не мог) хоть какой‑то логике. Почитать, чему научилась
https://habr.com/ru/articles/1049464/
#LLM #нейросети #петпроект #обучение_с_нуля #Llama_3 #RTX_4060 #генерация_текста
-
Когда компании пора строить свой LLM-кластер, а не пользоваться внешними API
На раннем этапе внедрения LLM в компании выглядят как быстрый выигрыш: подключается внешний API (например, ChatGPT), ускоряется работа с текстами, автоматизируются ответы, появляются первые сценарии аналитики и агентных пайплайнов через Make или n8n. До определённого масштаба этого достаточно. По мере роста компании LLM перестаёт быть вспомогательным инструментом и становится частью операционных процессов. В системе появляются чувствительные данные, требования к контролю доступа, необходимость стабильной работы, интеграции во внутренние сервисы и вопросы экономики при больших объёмах запросов. В этот момент модель «внешний API по подписке» начинает ограничивать развитие.
https://habr.com/ru/articles/1046115/
#llm #onpremise_ai #kubernetes #mlops #инференс_моделей #gpuкластеры #rag #llama_3 #aiинфраструктура #корпоративный_ai
-
Как я уместил «Войну и мир» в 10 ГБ видеопамяти, или почему нейросеть убивает героев и выдумывает Пьера Бездаровского
Что делать, если по литературе задали два тома "Войны и мира", а времени (или желания) читать нет? Конечно, запрячь нейросеть! Но как быть, если в твоем распоряжении всего 10 ГБ видеопамяти, а модель упорно пытается "убить" выживших героев и переименовывает Пьера Безухова в Бездаровского? В этой статье я поделюсь опытом запуска Saiga Llama 3 8B на домашнем железе, расскажу, как бороться с галлюцинациями через промпт-инжиниринг, и почему 7500 символов текста Толстого иногда весят столько же, сколько одна строчка жесткого правила в системном промпте. Внутри - анализ вероятностей токенов, лог работы модели и готовый код для суммаризации длинных текстов. Узнать, как я спас Николая Ростова от LLM
https://habr.com/ru/articles/1018136/
#llm #llama_3 #нейросети #машинное_обучение #промптинжиниринг #nlp #генерация_текста #python #война_и_мир #квантование
-
Как я собрал Telegram-бота-консультанта по железу на бесплатном стеке (RAG + Groq + python telegram bot)
Представьте консультанта в DNS/Ситилинке, который не навязывает «вот этот блок питания потому что остался на складе», а спокойно объясняет, чем один БП лучше другого под ваш билд, помнит, о чём вы спрашивали раньше и ещё просит вежливый фидбек. В статье рассказываю, как собрал такого консультанта в виде Telegram‑бота «Кремний» — RAG‑бота по железу на бесплатных инструментах (Telegram Bot API, Groq с Llama 3.1 8B, sentence‑transformers) и что за «чуть‑чуть боли» произошло с NumPy и Pterodactyl при деплое. Telegram‑бот‑консультант по железу
https://habr.com/ru/articles/969740/
#telegrambot #pythontelegrambot #RAG #LLM #Groq #Llama_3 #машинное_обучение #нейросети #NumPy #PyTorch
-
[Перевод] ИИ-консерва: как мы «взламывали» LLM-модели, чтобы извлечь датасеты и рассуждения
Представьте, что каждая обученная языковая модель — это жёсткий диск, на котором записаны все данные её обучения, но в сжатом и зашифрованном виде. Традиционное взаимодействие с моделью — это как чтение отдельных файлов через не всегда предсказуемый интерфейс. А теперь представьте, что у вас появился инструмент, который позволяет провести дефрагментацию и декомпрессию этого диска, извлекая данные обратно в чистом, структурированном виде. Над созданием такого инструмента — LLM-deflate — автор и работал последнее время.
https://habr.com/ru/companies/bothub/articles/955630/
#llmdeflate #llm #извлечение_датасетов #stanford_alpaca #nvidia_nemotron #qwen3coder #gptoss #llama_3
-
LLM Llama 3 — небольшое погружение в детали
Привет Хабр! В этой статье я попробую немного разобрать код LLM Llama 3 . Полностью проанализировать каждую строку кода не получится, но самые важные и базовые концепции мы все-таки разберем насколько это возможно.
https://habr.com/ru/articles/879468/
#llmмодели #llm #llama3 #llama_3 #искусственный_интеллект #нейросети
-
Мультимодальные приложения на Llama 3.2 и Llama Stack
Недавний релиз Llama 3.2 с мультимодальными версиями 11B и 90B открывает возможности для создания AI приложений, анализирующих визуальный ввод. Мультимодальные модели были и раньше, но это первая официальная версия Llama с такими функциями. Модель может быть использована для распознавания объектов и текста на изображении, как это делает GPT-4o. Довольно интересен технический рецепт создания мультимодальной Llama 3.2. За основу была взята предыдущая версия - 3.1, обычная текстовая LLM. Логично, если принять во внимание, что конечная цель - извлекать признаки изображения и “транслировать” их в текстовые токены. К LLM добавили image encoder, это модуль, который встраивает представление картинки-ввода в векторное пространство. А также слои image adapter’а - для того, чтобы полученные визуальные признаки передавать в языковую модель. Подробнее об энкодерах и адаптерах изображений можно прочитать, например, в статье Bordes et al. 2024 - введение в визуально-языковые модели. Обучают VLM на парах изображение-текст, именно так обучали и Llama 3.2. Причем в несколько этапов - сначала на большом корпусе данных, а затем применили файнтюнинг на меньшей, но более качественной выборке. Как показывает прошлый опыт работы с моделями Llama 3, такой подход дает хорошие результаты. Базовая модель, обученная на большом корпусе данных (например, 15трлн токенов Llama 3), хорошо генерализуется при файнтюнинге и меньше подвержена оверфиттингу. Пример - моя модель ruslandev/llama-3-8b-gpt-4o-ru1.0 , которая после обучения на небольшом, но качественном датасете превзошла GPT-3.5 на русскоязычном бенчмарке.
https://habr.com/ru/articles/852168/
#mlops #нейронные_сети #reinforcementlearning #llama #llama_3 #llm #nlp #genai #generative_models #генеративные_модели
-
Подборка бесплатных чат-ботов с ChatGPT на русском в Телеграм в 2024 году
Сегодня существует огромное количество сервисов с нейросетями, но доступ к ним для русской аудитории сильно ограничен. VPN вариант не для всех. Однако это не означает, что нужно себе отказывать в таком полезном инструменте. Я создал подборку из 10 лучших ботов с нейросетями, работающих в Telegram, а значит, VPN вам больше не нужны. Подробны обзор со всеми плюсами и минусами, а также скринами ответов. Прежде чем переходить к топу ботов, предлагаем ознакомиться с кратким функционалом распространенных нейросетей. Тогда вам проще будет ориентироваться.
https://habr.com/ru/articles/848898/
#chatgpt #chat_gpt_бесплатно #midjourney_бесплатно #llama_3 #чат_жпт #chat_gpt_на_русском
-
LLaMa 3.2 Multimodal Web UI
LLaMa 3.2 Multimodal Web UI — это мультимодальный интерфейс для работы с моделью LLaMa 3.2 на платформе Ollama, поддерживающий текстовые данные и изображения.
Он предоставляет пользователям возможность задавать вопросы и получать ответы в текстовом, кодовом и визуальном форматах, оптимизирован для настольных и мобильных устройств и протестирован на Ubuntu.
src: https://github.com/iamgmujtaba/llama3.2-webUI
#ai #openai #llama #llama3 #llama_3 #web #ollama #linux #webui
-
Llama 3.1 и Mistral Large 2
В прошлом месяце вышли две интересных модели - Llama 3.1 , улучшенная версия Llama 3 , и Mistral Large 2. Самое заметное отличие Llama 3.1 от предыдущих моделей - у нее есть версия 405B- 405 миллиардов обучаемых параметров. Это самая большая открытая языковая модель, и опубликованные метрики показывают ее производительность на уровне GPT-4. Тесты проводились как на общих бенчмарках, например MMLU, так и специализированных - на код и математику. Для меня особенно интересными показались улучшенные мультиязычные возможности этой модели, так как я давно экспериментирую с обучением LLM на мультиязычных данных, моя последняя модель ruslandev/llama-3-8b-gpt-4o-ru1.0 превзошла GPT-3.5 на русскоязычной версии бенчмарка MT-Bench . Llama 3.1 поддерживает семь языков, кроме английского - французский, немецкий, хинди, итальянский, португальский, испанский и тайский . Русского в списке нет, как легко заметить, но это не значит, что в корпусе базовой модели нет примеров на русском. Есть, и предостаточно, это становится очевидно при файнтюнинге. У меня есть мой собственный датасет для файнтюнинга ruslandev/tagengo-rus-gpt-4o , который я сгенерировал из преимущественно русскоязычных промптов датасета Tagengo с помощью GPT-4o. Теперь о минусах модели Llama 3.1 - файнтюнинг 405B версии обойдется дорого, так как даже при сжатии в 4bit необходимо выделить около 200 ГБ VRAM для такой задачи. Поэтому я файнтюнил версию 8b на вышеупомянутом датасете, арендуя две видеокарты A100 на облачном сервисе immers.cloud . Но я не заметил особого превосходства версии 3.1 над третьей версией. Даже наоборот, я столкнулся с несколькими проблемами - например, 3.1 после файнтюнинга на моем датасете показала тенденцию прерывать генерацию, не завершив ответ - до причины я так и не докопался, но у Llama 3 такой проблемы не было.
https://habr.com/ru/articles/835692/
#языковая_модель #llm #ml #машинное+обучение #искусственный_интеллект #llama #llama_3 #mistral #mistral_ai
-
Цикл разработки LLM
В этой статье я использую мой опыт обучения больших языковых моделей (смотрите серию видео на канале Ruslan Dev ), чтобы выявить и описать основные фазы разработки собственной LLM. На сегодняшний день разработчики GenAI моделей, как правило, используют веса базовых (foundational) моделей, а не обучают нейросеть с нуля. В качестве данных для обучения часто используются ответы state-of-the-art LLM, таких как GPT-4 . Этот подход получил распространение с тех пор, как создатели Stanford Alpaca показали, что инференс небольшой модели наподобие Llama 7B можно приблизить по качеству к GPT-3 путем файнтюнинга на ответах последней. С тех пор и коммерческие, и опенсорс-модели шагнули вперед. Я работал с базовой моделью Llama-3 , обученной на беспрецедентно огромном корпусе из 15 триллионов текстовых токенов, что дает широкие возможности для файнтюнинга. А датасет для обучения я собирал с помощью последней модели OpenAI - GPT-4o . Как видите, переменные изменились, но уравнение осталось то же - подход Альпаки работает по-прежнему.
https://habr.com/ru/articles/825180/
#искусственный_интеллект #нейросети #машинное+обучение #llama_3 #языковая_модель
-
Developing an LLM: Building, Training, Finetuning (A 1h Video Explainer)
https://www.youtube.com/watch?v=kPGTx4wcm_w
#ycombinator #Large_Language_Models #LLMs #AI_Research #Machine_Learning #GPT #Llama_3 -
Как подружить Llama-3 и YouTube имея всего 40 строк кода
Сделаем Телеграм бота которому можно кинуть ссылку на YouTube видео и поговорить с ним о содержимом этого видео.
-
Обзор новых Open Source LLM. Или как локально запустить аналог ChatGPT
На прошедшей неделе вышло сразу несколько новых Open Source LLM. Разбираемся, что в них особенного, а также как и зачем их запускать локально.
https://habr.com/ru/articles/818183/
#llama_3 #gpt #chatgpt #rag #ollama #llm #microsoft #hugging_face #mistral #python
-
Llama 3-70b в своем Телеграм боте — бесплатно, безлимитно и всего 20 строк кода
Да, всего 20 строк кода и бот: 1) по качеству ответов будет соизмерим с ChatGPT-4; 2) будет отвечать очень быстро т.к. подключим мы его через Groq который в среднем в 10 раз быстрее других аналогичных сервисов; 3) будет поддерживать диалог и запоминать последние сообщения.
-
LLM Leaderboard за апрель 2024
Привет, Хабр! Сегодня мы поговорим о том, какие LLM лучше всего работают на бизнес-задачах. AI-хайп находится на локальном пике, похоже, что весь мир только и делает, что внедряет AI-фичи в свои продукты, собирает миллионы на разработку еще одной оболочки для ChatGPT, заполняет свои ряды AI-тулами и, кажется, предоставляет работу роботам, пока сами попивают кофе в старбаксе.
https://habr.com/ru/articles/810969/
#llm #nlp #ai #openai #gpt #llama_3 #mistral #mixtral #бенчмарк #ии