#облачные_llm — Public Fediverse posts

Пора переезжать на локальные LLM. Или нет?

Нет большой разницы в инструментах, когда речь идет о создании простеньких чат-ботов. Но когда вы работаете над продуктом посерьезнее, например создаете сложного AI-агента или работаете с чувствительными данными, облачные LLM начинают выставлять большие счета. И не только финансовые. Что если переход на локальную инфраструктуру (вроде Ollama) это решение, которое не просто поможет сэкономить, но изменит саму динамику разработки?

https://habr.com/ru/companies/otus/articles/1006670/

#ollama #локальные_LLM #локальный_инференс #облачные_LLM #AIагенты #гибридная_инфраструктура #гибридные_модели

Локальная LLM: гадкий утенок в мире прекрасных лебедей

Всем привет! Я — Иван, инженер по разработке AI-систем CodeInside. Мы разрабатываем и внедряем кастомные AI-решения — от интеллектуальных поисковых систем на основе RAG до специализированных AI-агентов и ассистентов для автоматизации процессов в бизнесе и промышленности. В этой статье я расскажу о результатах тестирования локальных и облачных LLM в RAG-сценариях. Мы сравнили их точность, полноту, достоверность и скорость работы, чтобы понять, насколько локальные модели готовы к реальным задачам и в каких случаях они могут быть не хуже — а иногда и лучше — облачных аналогов.

https://habr.com/ru/articles/937228/

#llm #llama_33_70b #gpt41_mini #gemini_25_flash #deepseek_r1 #Mistral_Small_3224B #Qwen3Coder30BA3B #onpremise #облачные_llm #локальные_llm