#llama_3 — Public Fediverse posts

Когда компании пора строить свой LLM-кластер, а не пользоваться внешними API

На раннем этапе внедрения LLM в компании выглядят как быстрый выигрыш: подключается внешний API (например, ChatGPT), ускоряется работа с текстами, автоматизируются ответы, появляются первые сценарии аналитики и агентных пайплайнов через Make или n8n. До определённого масштаба этого достаточно. По мере роста компании LLM перестаёт быть вспомогательным инструментом и становится частью операционных процессов. В системе появляются чувствительные данные, требования к контролю доступа, необходимость стабильной работы, интеграции во внутренние сервисы и вопросы экономики при больших объёмах запросов. В этот момент модель «внешний API по подписке» начинает ограничивать развитие.

https://habr.com/ru/articles/1046115/

#llm #onpremise_ai #kubernetes #mlops #инференс_моделей #gpuкластеры #rag #llama_3 #aiинфраструктура #корпоративный_ai

[Перевод] ИИ-консерва: как мы «взламывали» LLM-модели, чтобы извлечь датасеты и рассуждения

Представьте, что каждая обученная языковая модель — это жёсткий диск, на котором записаны все данные её обучения, но в сжатом и зашифрованном виде. Традиционное взаимодействие с моделью — это как чтение отдельных файлов через не всегда предсказуемый интерфейс. А теперь представьте, что у вас появился инструмент, который позволяет провести дефрагментацию и декомпрессию этого диска, извлекая данные обратно в чистом, структурированном виде. Над созданием такого инструмента — LLM-deflate — автор и работал последнее время.

https://habr.com/ru/companies/bothub/articles/955630/

#llmdeflate #llm #извлечение_датасетов #stanford_alpaca #nvidia_nemotron #qwen3coder #gptoss #llama_3