#бям — Public Fediverse posts

Astra Studio: создаем enterprise веб-приложение для взаимодействия с ИИ с нуля.Часть 1: Архитектура и философия проекта

Astra Studio - веб приложение для взаимодействия с LLM, MCP, RAG, Agents. Статья представляет собой подробный обзор архитектуры и философии проекта Astra Studio — платформы с открытым исходным кодом для создания корпоративных веб-приложений на базе искусственного интеллекта. Основной акцент сделан на решении ключевой проблемы регулируемых отраслей: необходимости внедрения современных больших языковых моделей (LLM) при строгом запрете на передачу данных во внешние облачные сервисы. Автор, Константин Некрасов, объясняет мотивацию создания собственного решения, указывая на недостатки существующих инструментов (Open WebUI, Dify, LangFlow), которые либо не обеспечивают полноценной локальной работы, либо лишены продвинутых функций RAG и корпоративной интеграции. В тексте детально описана микросервисная архитектура системы, состоящая из девяти основных компонентов: Backend на FastAPI: оркестрация агентов, аутентификация, управление проектами. Frontend на React 19 + Material-UI: адаптивный интерфейс с глубокой кастомизацией. Сервис LLM: абстракция над различными провайдерами (Ollama, vLLM, API). Система RAG (два сервиса): векторный поиск (pgvector), лексический поиск (BM25), гибридный и графовый поиск, а также уникальное иерархическое индексирование для больших документов. OCR (Sura OCR): распознавание текста со сканов. Голосовые сервисы: WhisperX (распознавание), диаризация спикеров, Silero TTS (синтез речи). Хранилища: MongoDB, PostgreSQL, MinIO. Особое внимание уделено агентной архитектуре на базе LangGraph, включающей агента-оркестратора и специализированных агентов (работа с документами, память, MCP, планирование). Описана интеграция с протоколом Model Context Protocol (MCP) для подключения внешних систем (GitHub, базы данных, CRM) без изменения кода платформы, а также возможности генерации изображений через ComfyUI. Статья затрагивает вопросы безопасности: интеграцию с LDAP/SSO, JWT-токены, изоляцию данных между проектами, аудит действий и защиту от brute-force атак. Приведены инструкции по развертыванию через Docker Compose, минимальные системные требования и roadmap развития проекта, включая планы по выпуску Helm-чартов для Kubernetes.

https://habr.com/ru/articles/1060596/

#AI #webapp #llm #astrachat #astra_chat #большие_языковые_модели #бям #агенты #rag #mcp

Astra Studio: создаем enterprise веб-приложение для взаимодействия с ИИ с нуля.Часть 1: Архитектура и философия проекта

Astra Studio - веб приложение для взаимодействия с LLM, MCP, RAG, Agents. Статья представляет собой подробный обзор архитектуры и философии проекта Astra Studio — платформы с открытым исходным кодом для создания корпоративных веб-приложений на базе искусственного интеллекта. Основной акцент сделан на решении ключевой проблемы регулируемых отраслей: необходимости внедрения современных больших языковых моделей (LLM) при строгом запрете на передачу данных во внешние облачные сервисы. Автор, Константин Некрасов, объясняет мотивацию создания собственного решения, указывая на недостатки существующих инструментов (Open WebUI, Dify, LangFlow), которые либо не обеспечивают полноценной локальной работы, либо лишены продвинутых функций RAG и корпоративной интеграции. В тексте детально описана микросервисная архитектура системы, состоящая из девяти основных компонентов: Backend на FastAPI: оркестрация агентов, аутентификация, управление проектами. Frontend на React 19 + Material-UI: адаптивный интерфейс с глубокой кастомизацией. Сервис LLM: абстракция над различными провайдерами (Ollama, vLLM, API). Система RAG (два сервиса): векторный поиск (pgvector), лексический поиск (BM25), гибридный и графовый поиск, а также уникальное иерархическое индексирование для больших документов. OCR (Sura OCR): распознавание текста со сканов. Голосовые сервисы: WhisperX (распознавание), диаризация спикеров, Silero TTS (синтез речи). Хранилища: MongoDB, PostgreSQL, MinIO. Особое внимание уделено агентной архитектуре на базе LangGraph, включающей агента-оркестратора и специализированных агентов (работа с документами, память, MCP, планирование). Описана интеграция с протоколом Model Context Protocol (MCP) для подключения внешних систем (GitHub, базы данных, CRM) без изменения кода платформы, а также возможности генерации изображений через ComfyUI. Статья затрагивает вопросы безопасности: интеграцию с LDAP/SSO, JWT-токены, изоляцию данных между проектами, аудит действий и защиту от brute-force атак. Приведены инструкции по развертыванию через Docker Compose, минимальные системные требования и roadmap развития проекта, включая планы по выпуску Helm-чартов для Kubernetes.

https://habr.com/ru/articles/1060596/

#AI #webapp #llm #astrachat #astra_chat #большие_языковые_модели #бям #агенты #rag #mcp

Astra Studio: создаем enterprise веб-приложение для взаимодействия с ИИ с нуля.Часть 1: Архитектура и философия проекта

Astra Studio - веб приложение для взаимодействия с LLM, MCP, RAG, Agents. Статья представляет собой подробный обзор архитектуры и философии проекта Astra Studio — платформы с открытым исходным кодом для создания корпоративных веб-приложений на базе искусственного интеллекта. Основной акцент сделан на решении ключевой проблемы регулируемых отраслей: необходимости внедрения современных больших языковых моделей (LLM) при строгом запрете на передачу данных во внешние облачные сервисы. Автор, Константин Некрасов, объясняет мотивацию создания собственного решения, указывая на недостатки существующих инструментов (Open WebUI, Dify, LangFlow), которые либо не обеспечивают полноценной локальной работы, либо лишены продвинутых функций RAG и корпоративной интеграции. В тексте детально описана микросервисная архитектура системы, состоящая из девяти основных компонентов: Backend на FastAPI: оркестрация агентов, аутентификация, управление проектами. Frontend на React 19 + Material-UI: адаптивный интерфейс с глубокой кастомизацией. Сервис LLM: абстракция над различными провайдерами (Ollama, vLLM, API). Система RAG (два сервиса): векторный поиск (pgvector), лексический поиск (BM25), гибридный и графовый поиск, а также уникальное иерархическое индексирование для больших документов. OCR (Sura OCR): распознавание текста со сканов. Голосовые сервисы: WhisperX (распознавание), диаризация спикеров, Silero TTS (синтез речи). Хранилища: MongoDB, PostgreSQL, MinIO. Особое внимание уделено агентной архитектуре на базе LangGraph, включающей агента-оркестратора и специализированных агентов (работа с документами, память, MCP, планирование). Описана интеграция с протоколом Model Context Protocol (MCP) для подключения внешних систем (GitHub, базы данных, CRM) без изменения кода платформы, а также возможности генерации изображений через ComfyUI. Статья затрагивает вопросы безопасности: интеграцию с LDAP/SSO, JWT-токены, изоляцию данных между проектами, аудит действий и защиту от brute-force атак. Приведены инструкции по развертыванию через Docker Compose, минимальные системные требования и roadmap развития проекта, включая планы по выпуску Helm-чартов для Kubernetes.

https://habr.com/ru/articles/1060596/

#AI #webapp #llm #astrachat #astra_chat #большие_языковые_модели #бям #агенты #rag #mcp

[Перевод] Вопросы для собеседований по RL в 2026 году

Уже который раз я наблюдаю одну и ту же картину: человек проходит в аспирантуру, но затем почти сразу же во время весенней волны найма устраивается на высокооплачиваемую должность в отрасли. Меня подобное натолкнуло на мысль сразу пойти работать в индустрию. Поэтому я поискал по Zhihu и прошёлся примерно по всем рассказам о собеседованиях, связанным с обучением с подкреплением (reinforcement learning), сопоставил их со свежими обсуждениями и собственными наблюдениями, а затем подготовил из этого выжимку на 35 самых интересных вопросов. Считайте получившееся своего рода бенчмарком для собеседований по RL.

https://habr.com/ru/articles/1055446/

#обучение_с_подкреплением #reinforcement_learning #RL #машинное_обучение #большие_языковые_модели #вопросы #собеседования #БЯМ #подготовка_к_собеседованиям #вопросы_на_собеседования

[Перевод] Вопросы для собеседований по RL в 2026 году

Уже который раз я наблюдаю одну и ту же картину: человек проходит в аспирантуру, но затем почти сразу же во время весенней волны найма устраивается на высокооплачиваемую должность в отрасли. Меня подобное натолкнуло на мысль сразу пойти работать в индустрию. Поэтому я поискал по Zhihu и прошёлся примерно по всем рассказам о собеседованиях, связанным с обучением с подкреплением (reinforcement learning), сопоставил их со свежими обсуждениями и собственными наблюдениями, а затем подготовил из этого выжимку на 35 самых интересных вопросов. Считайте получившееся своего рода бенчмарком для собеседований по RL.

https://habr.com/ru/articles/1055446/

#обучение_с_подкреплением #reinforcement_learning #RL #машинное_обучение #большие_языковые_модели #вопросы #собеседования #БЯМ #подготовка_к_собеседованиям #вопросы_на_собеседования

[Перевод] Вопросы для собеседований по RL в 2026 году

Уже который раз я наблюдаю одну и ту же картину: человек проходит в аспирантуру, но затем почти сразу же во время весенней волны найма устраивается на высокооплачиваемую должность в отрасли. Меня подобное натолкнуло на мысль сразу пойти работать в индустрию. Поэтому я поискал по Zhihu и прошёлся примерно по всем рассказам о собеседованиях, связанным с обучением с подкреплением (reinforcement learning), сопоставил их со свежими обсуждениями и собственными наблюдениями, а затем подготовил из этого выжимку на 35 самых интересных вопросов. Считайте получившееся своего рода бенчмарком для собеседований по RL.

https://habr.com/ru/articles/1055446/

#обучение_с_подкреплением #reinforcement_learning #RL #машинное_обучение #большие_языковые_модели #вопросы #собеседования #БЯМ #подготовка_к_собеседованиям #вопросы_на_собеседования

Промптинг и суеверия. Что (не) надо добавлять к запросу в ChatGPT

Американцы обожают играть на деньги и смотреть красочное шоу. Это самое примитивное и оттого ошибочное объяснение популярности программы The Price Is Right. Если вы никогда не видели эту передачу дневного американского телевидения, представьте себе многолетнюю светскую церемонию потребления, где зрителей зовут на сцену и награждают за умение ориентироваться в ценниках. Зритель из зала слышит заветную фразу «Come on down!», выбегает к подиуму и соревнуется в угадывании стоимости бытовых товаров. Впервые формат появился в 50-х годах прошлого века, а в 1972 году The Price Is Right подобновили и начали транслировать днём по будням на канале CBS . Но идёт передача не в прайм-тайм, а в 10:00 или 11:00 утра. Несмотря на её странное время показа, знакома она всем американцам. Смотрят её не только пенсионеры и домохозяйки, её хотя бы раз видели затемпературившие дети, которые вместо школы остались дома. Реальный секрет долгожительства программы — смешение доброжелательности ведущих, простоты правил с бытовой темой и разнообразные мини-игры. Одна из таких — Plinko, которая выглядит как детская забава. Участник получает плоские жетоны и, стоя наверху большой вертикальной доски со штырьками, сбрасывает их в прорези сверху. Жетон, ударясь о штырьки, хаотически меняет траекторию и внизу попадает в одну из девяти ячеек с разными суммами.

https://habr.com/ru/articles/946816/

#ChatGPT #большие_языковые_модели #промптинг #советы #промпты #БЯМ #ИИ #искусственный_интеллект #добавления_к_промпту #машинное_обучение

[Перевод] ИИ-шлак убивает Интернет?

Инструменты на искусственном интеллекте меняют то, как люди находят информацию в Интернете, и это происходит быстрее , чем издатели успевают адаптироваться. Когда пользователи задают вопросы чат-ботам вместо поисковых систем, они получают ответы, а не ссылки для перехода. Это перестраивает экономику интернета, а особенно — экономику новостных изданий, которые тратят деньги на сбор информации, но уже не могут монетизировать эту работу. За последние годы миллионы пользователей переключились с поисковиков на ИИ-чат-инструменты для поиска рекомендаций и получения ответов в реальном времени. Такие сервисы, как ChatGPT, Claude и Perplexity, теперь напрямую отвечают на вопросы, которые раньше отправляли читателей к первичным онлайн-источникам, которым они привыкли доверять. По мере того как пользователи отходят от проверенных новостных источников, они все больше доверяют системам ИИ, натренированным имитировать авторитет, — инструментам, которые выкачивают ответы из сети, но не несут ответственности.

https://habr.com/ru/articles/942976/

#искусственный_интеллект #ИИ #большие_языковые_модели #БЯМ #бизнес #аналитика #компании #копирайт #журналистика #обучение_ИИ

Вкусы и предпочтения больших языковых моделей

У больших языковых моделей есть системы ценностей . БЯМ по-разному отзываются о чужих текстах или даже человеческой жизни, а их оценочные суждения и качество ответов отличаются в зависимости от упоминаемой расы, пола и национальности человека. Не вызывает никаких сомнений, что подобную предвзятость систем на искусственном интеллекте нужно искоренять. Однако также у моделей есть предпочтения. Разные БЯМ называют любимыми разные песни, кино и книги. ИИ одного провайдера предпочитает одну разновидность мороженого, у конкурентов языковая модель любит десерты другого вкуса. Ответы на подобные вопросы глубоко субъективны, одного морально правильного нет. Можно даже сказать, что вкусы — это частный случай систем ценностей. Разница в том, что явных угроз подобные артефакты выравнивания не несут. Какая разница, предпочитает ли БЯМ джаз или рок?

https://habr.com/ru/articles/942362/

#большие_языковые_модели #GPT4 #GPT35 #Claude #OpenAI #вкусы_больших_языковых_моделей #БЯМ #Anthropic #музыка #кино

Исследование METR: использование Cursor замедляет опытных разработчиков на 19 %

Считается устоявшейся истиной, что инструменты автодополнения кода и прочая помощь от больших языковых моделей помогают программировать быстрее. Исследование организации METR ставит это фактоид под сомнение и даже демонстрирует обратный эффект. В рамках анализа труда 16 программистов обнаружилось, что ИИ замедляет человека на 19 %. Это противоречит мнению экспертов индустрии машинного обучения, экономистов и самих участников эксперимента. Важно, что проверка шла не на очередных бенчмарках или предложениях решать алгоритмические задачи на скорость, а в обычной работе людей.

https://habr.com/ru/articles/927072/

#METR #Model_Evaluation_Threat_Research #научные_исследования #большие_языковые_модели #БЯМ #Сursor #программирование #GitHub #Git #автодополнение_кода

Исследование: генеративный ИИ повышает производительность труда разработчиков на 26,08 %

Исследовательская работа утверждает , что использование инструментов с искусственным интеллектом помогает разработчикам выполнять на 26,08 % больше задач. На тысячах разработчиков из Microsoft, Accenture и некой анонимной компании проводили эксперимент: примерно половине сотрудников выдали доступ к Copilot, а другим пользоваться инструментом не разрешали. Сравнение данных двух групп говорит о положительном эффекте от написания кода с помощью искусственного интеллекта.

https://habr.com/ru/articles/844850/

#программирование #GitHub_Copilot #GPT35 #GPT4 #БЯМ #большие_языковые_модели #автодополнение_кода #исследования #статистика #Microsoft

Как мы тестировали большие языковые модели для модерации отзывов

В приложении «Магнит: акции и доставка» можно оставлять отзывы на товары. Отзывы модерируются: мы публикуем те, которые считаем полезными для других покупателей, — они должны описывать потребительские свойства товара. Отклоняем все остальные: как правило, это жалобы на ценники, сервис в магазине, условия хранения либо просто нерелевантные тексты. Отзывы с жалобами обрабатывают службы поддержки и сервиса. Рассказываем о том, как мы попробовали применять большие языковые модели, чтобы автоматизировать модерацию отзывов.

https://habr.com/ru/companies/magnit/articles/806933/

#llm #magnit_tech #бям #chatgpt #yandexgpt #gigachat #llama

Метод Binoculars обещает высокую точность обнаружения текста от больших языковых моделей

ChatGPT пишет не хуже человека, но можно ли обнаружить «машинность» в тексте? Хотя некоторым компаниям было бы выгоднее представить всё так, будто результат работы языковых моделей неотличим от человеческого, исследования в этом направлении активно ведутся. Авторы научной статьи «Spotting LLMs With Binoculars: Zero-Shot Detection of Machine-Generated Text» ( arXiv:2401.12070 ) утверждают, что их метод имеет низкий уровень ложноположительных срабатываний (0,01 %), правильно обнаруживает текст от языковых моделей в 90 % случаев и работает для нескольких семейств современных продуктов.

https://habr.com/ru/articles/789466/

#LLM #БЯМ #large_language_model #большая_языковая_модель #large_language_models #большие_языковые_модели #OpenAI #Binoculars #ИИ #искусственный_интеллект #обнаружение_машинного_текста #антиспам #GPTZero #DetectGPT #Ghostbuster #ChatGPT #GPT3 #GPT4 #Falcon #Falcon7B #Falcon7Binstruct

Исследователи заставили ChatGPT процитировать данные, на которых он учился

Несколько похожая, но иная атака от @andrewmccalip Научная работа «Scalable Extraction of Training Data from (Production) Language Models» ( arXiv:2311.17035 ) анализирует извлечение данных датасетов обучения из различных языковых моделей. Исследователи проверили как локальные модели, так и коммерческое решение от OpenAI. С помощью атаки на выравнивание удалось заставить ChatGPT процитировать данные, на которых обучали GPT-3.5.

https://habr.com/ru/articles/777970/

#ChatGPT #OpenAI #GPT35 #GPT35Turbo #GPT35_Turbo #выравнивание_ИИ #alignment #AI_alignment #большие_языковые_модели #БЯМ #large_language_models #LLM #датасеты_обучения #исследования