#large_language_models — Public Fediverse posts

Графы знаний в юридическом домене: как не потерять сложность при построении RAG-системы

Ни одна современная AI-система в юридическом домене не обходится без RAG: юридические данные слишком специфичны, слишком изменчивы и никогда слишком редко составляли значимую часть обучающей выборки LLM, чтобы доверять ей без внешней базы знаний. Обычно при построении RAG-системы используют модуль поиска, основанный на векторных БД. Однако в таких сложно организованных областях знаний, как юридическая, архитектура, основанная на поиске в хранилище "плоских" эмбеддингов, может не справиться. Векторный поиск позволяет находить семантически близкие (схожие) фрагменты текстов, тогда как юридический домен также требует понимания многочисленных связей между сущностями , рассеянными по множеству документов . Кажется, что область знаний, организованная таким образом, идеально может быть представлена в виде графа знаний, особенно после появления современных инструментов, позволяющих автоматически строить такие графы на тысячах документов и использовать их в качестве хранилища знаний для RAG-систем. Однако все имеет свою цену: неполнота или неточность построенного графа может свести на нет все вложенные ресурсы и оставить вас с системой, которая хуже "наивного" векторного поиска. Какие преимущества поиска по графу знаний по сравнению с классическим векторным поиском, а также каковы критерии, когда использование графового поиска действительно необходимо для построения RAG-системы в юридическом домене?

https://habr.com/ru/articles/1012556/

#RAG #retrievalaugmented_generation #ai #artificial_intelligence #llm #large_language_models #vector_database #graph_database #knowledge_graphs #graphrag

Графы знаний в юридическом домене: как не потерять сложность при построении RAG-системы

Ни одна современная AI-система в юридическом домене не обходится без RAG: юридические данные слишком специфичны, слишком изменчивы и никогда слишком редко составляли значимую часть обучающей выборки LLM, чтобы доверять ей без внешней базы знаний. Обычно при построении RAG-системы используют модуль поиска, основанный на векторных БД. Однако в таких сложно организованных областях знаний, как юридическая, архитектура, основанная на поиске в хранилище "плоских" эмбеддингов, может не справиться. Векторный поиск позволяет находить семантически близкие (схожие) фрагменты текстов, тогда как юридический домен также требует понимания многочисленных связей между сущностями , рассеянными по множеству документов . Кажется, что область знаний, организованная таким образом, идеально может быть представлена в виде графа знаний, особенно после появления современных инструментов, позволяющих автоматически строить такие графы на тысячах документов и использовать их в качестве хранилища знаний для RAG-систем. Однако все имеет свою цену: неполнота или неточность построенного графа может свести на нет все вложенные ресурсы и оставить вас с системой, которая хуже "наивного" векторного поиска. Какие преимущества поиска по графу знаний по сравнению с классическим векторным поиском, а также каковы критерии, когда использование графового поиска действительно необходимо для построения RAG-системы в юридическом домене?

https://habr.com/ru/articles/1012556/

#RAG #retrievalaugmented_generation #ai #artificial_intelligence #llm #large_language_models #vector_database #graph_database #knowledge_graphs #graphrag

Графы знаний в юридическом домене: как не потерять сложность при построении RAG-системы

Ни одна современная AI-система в юридическом домене не обходится без RAG: юридические данные слишком специфичны, слишком изменчивы и никогда слишком редко составляли значимую часть обучающей выборки LLM, чтобы доверять ей без внешней базы знаний. Обычно при построении RAG-системы используют модуль поиска, основанный на векторных БД. Однако в таких сложно организованных областях знаний, как юридическая, архитектура, основанная на поиске в хранилище "плоских" эмбеддингов, может не справиться. Векторный поиск позволяет находить семантически близкие (схожие) фрагменты текстов, тогда как юридический домен также требует понимания многочисленных связей между сущностями , рассеянными по множеству документов . Кажется, что область знаний, организованная таким образом, идеально может быть представлена в виде графа знаний, особенно после появления современных инструментов, позволяющих автоматически строить такие графы на тысячах документов и использовать их в качестве хранилища знаний для RAG-систем. Однако все имеет свою цену: неполнота или неточность построенного графа может свести на нет все вложенные ресурсы и оставить вас с системой, которая хуже "наивного" векторного поиска. Какие преимущества поиска по графу знаний по сравнению с классическим векторным поиском, а также каковы критерии, когда использование графового поиска действительно необходимо для построения RAG-системы в юридическом домене?

https://habr.com/ru/articles/1012556/

#RAG #retrievalaugmented_generation #ai #artificial_intelligence #llm #large_language_models #vector_database #graph_database #knowledge_graphs #graphrag

Графы знаний в юридическом домене: как не потерять сложность при построении RAG-системы

Ни одна современная AI-система в юридическом домене не обходится без RAG: юридические данные слишком специфичны, слишком изменчивы и никогда слишком редко составляли значимую часть обучающей выборки LLM, чтобы доверять ей без внешней базы знаний. Обычно при построении RAG-системы используют модуль поиска, основанный на векторных БД. Однако в таких сложно организованных областях знаний, как юридическая, архитектура, основанная на поиске в хранилище "плоских" эмбеддингов, может не справиться. Векторный поиск позволяет находить семантически близкие (схожие) фрагменты текстов, тогда как юридический домен также требует понимания многочисленных связей между сущностями , рассеянными по множеству документов . Кажется, что область знаний, организованная таким образом, идеально может быть представлена в виде графа знаний, особенно после появления современных инструментов, позволяющих автоматически строить такие графы на тысячах документов и использовать их в качестве хранилища знаний для RAG-систем. Однако все имеет свою цену: неполнота или неточность построенного графа может свести на нет все вложенные ресурсы и оставить вас с системой, которая хуже "наивного" векторного поиска. Какие преимущества поиска по графу знаний по сравнению с классическим векторным поиском, а также каковы критерии, когда использование графового поиска действительно необходимо для построения RAG-системы в юридическом домене?

https://habr.com/ru/articles/1012556/

#RAG #retrievalaugmented_generation #ai #artificial_intelligence #llm #large_language_models #vector_database #graph_database #knowledge_graphs #graphrag

Выжимаем максимум из опенсорсных моделей и готовим Text2SQL

В любой крупной компании есть повторяющийся сценарий. Аналитик сидит над экспериментом или моделью, строит А/В тесты и дашборды, и в этот момент приходит бизнес и просит быстро посмотреть «продажи жвачки за вчера». Аналитик переключается, пишет запрос, отдаёт результат, а через десять минут прилетает почти такой же вопрос. Потом ещё один и ещё. День заканчивается, а свои задачи стоят и покрываются ржавчиной. Так выглядит ручной доступ к данным. Бизнес понимает, что нужные данные в хранилище есть, но не всегда может их быстро получить. А аналитик становится «бутылочным горлышком», через которое проходит большой поток запросов. Мы хотели упростить работу с данными. Чтобы пользователь задавал вопрос, сервис превращал его в SQL, выполнял в хранилище и возвращал аналитический ответ. Чтобы рутина уходила в инструмент, а аналитик переставал быть «бутылочным горлышком». Вроде ничего нового, но в реальной инфраструктуре вскрывается много интересного: специфическая лексика, свойственная каждому из направлений бизнеса, громоздкие витрины, опыт работы с легаси системами и поведение LLM, которую сначала надо надрессировать.

https://habr.com/ru/companies/oleg-bunin/articles/981494/

#text2sql #large_language_models #open_source_llm #qwen #gpt #аналитика_данных #bird #spider #prompt_engineering #prompt_injection

Лоботомия нейросети: удалил 7 слоёв из LLM — она стала на 30% быстрее

Эксперимент по хирургическому удалению слоёв из языковой модели Современные LLM переобучены — многие слои делают одно и то же. Я проверил эту гипотезу на практике: взял TinyLlama (1.1B параметров, 22 слоя) и измерил, как удаление каждого слоя влияет на perplexity. Результаты: • Удаление 1 среднего слоя: +10% скорость, -4% качество • Удаление 7 «безопасных» слоёв: +32% скорость, -2.5% качество • Удаление первого слоя: модель полностью ломается Неожиданно: Layer 2 важнее Layer 0 (perplexity +6.67 vs +3.92 при удалении). Статья с кодом на PyTorch, графиками и практическими рекомендациями — какие слои можно удалять для ускорения инференса.

https://habr.com/ru/articles/983636/

#LLM #Large_Language_Models #Layer_Pruning #оптимизация_нейросетей #TinyLlama #PyTorch #inference_optimization #трансформеры #ускорение_моделей #ShortGPT

Generative AI with Large Language Models in C#in 2026
https://devblogs.microsoft.com/dotnet/generative-ai-with-large-language-models-in-dotnet-and-csharp/

#microsoft #NET #AI #Azure #C #azure_openai #ChatGPT #Csharp #generative_ai #large_language_models #rag #semantic_kernel

Generative AI with Large Language Models in C#in 2026
https://devblogs.microsoft.com/dotnet/generative-ai-with-large-language-models-in-dotnet-and-csharp/

#microsoft #NET #AI #Azure #C #azure_openai #ChatGPT #Csharp #generative_ai #large_language_models #rag #semantic_kernel

От мозга к мультиагентным системам: как устроены Foundation Agents нового поколения

Аналитический центр red_mad_robot разобрал объёмную научную статью «Advances and Challenges in Foundation Agents» от группы исследователей AI из передовых международных университетов и технологических компаний. Работа предлагает новый взгляд на текущее состояние и развитие «интеллектуальных агентов», которые могут адаптироваться к множеству задач и контекстов. Рассказываем, какие идеи лежат в основе Foundation Agents, с какими проблемами предстоит столкнуться, и что ждёт нас в будущем.

https://habr.com/ru/companies/redmadrobot/articles/930916/

#ai #machine_learning #deep_learning #large_language_models #multiagent_systems #reinforcement_learning #prompt_engineering #rag #alignment #jailbreak

Large language models are improving exponentially
https://spectrum.ieee.org/large-language-model-performance
#ycombinator #2030 #ai_capabilities #exponential_growth #large_language_models #metr #task_completion_time #type_departments

Large Language Models Are Improving Exponentially
https://spectrum.ieee.org/large-language-model-performance
#ycombinator #2030 #ai_capabilities #exponential_growth #large_language_models #metr #task_completion_time #type_departments

Использование больших языковых моделей (LLM) в Access Management

Может ли искусственный интеллект революционизировать управление доступом? Есть ли подводные камни? Высокие затраты, риск «галлюцинаций», производительность в реальном времени, эффективность - что перевешивает? В данной статье мы разберемся, как можно применить LLM к управлению доступом для повышения эффективности и стоит ли.

https://habr.com/ru/articles/915564/

#access_management #llm #большие_языковые_модели #аутентификация #авторизация #аудит_безопасности #машинное_обучение #галлюцинации_ии #large_language_models #ai

Использование больших языковых моделей (LLM) в Access Management

Может ли искусственный интеллект революционизировать управление доступом? Есть ли подводные камни? Высокие затраты, риск «галлюцинаций», производительность в реальном времени, эффективность - что перевешивает? В данной статье мы разберемся, как можно применить LLM к управлению доступом для повышения эффективности и стоит ли.

https://habr.com/ru/articles/915564/

#access_management #llm #большие_языковые_модели #аутентификация #авторизация #аудит_безопасности #машинное_обучение #галлюцинации_ии #large_language_models #ai

Использование больших языковых моделей (LLM) в Access Management

Может ли искусственный интеллект революционизировать управление доступом? Есть ли подводные камни? Высокие затраты, риск «галлюцинаций», производительность в реальном времени, эффективность - что перевешивает? В данной статье мы разберемся, как можно применить LLM к управлению доступом для повышения эффективности и стоит ли.

https://habr.com/ru/articles/915564/

#access_management #llm #большие_языковые_модели #аутентификация #авторизация #аудит_безопасности #машинное_обучение #галлюцинации_ии #large_language_models #ai

Использование больших языковых моделей (LLM) в Access Management

Может ли искусственный интеллект революционизировать управление доступом? Есть ли подводные камни? Высокие затраты, риск «галлюцинаций», производительность в реальном времени, эффективность - что перевешивает? В данной статье мы разберемся, как можно применить LLM к управлению доступом для повышения эффективности и стоит ли.

https://habr.com/ru/articles/915564/

#access_management #llm #большие_языковые_модели #аутентификация #авторизация #аудит_безопасности #машинное_обучение #галлюцинации_ии #large_language_models #ai

#KWIBlog:
In her text “New Reading Scenes,” former Thyssen@KWI Fellow
@KatiaSchwerzmann investigates the role of reading in the context of new developments in AI, stressing the need for ongoing investment in close and critical reading that considers AI practices and limitations.

🔎 https://blog.kulturwissenschaften.de/new-reading-scenes/

#LLM #large_language_models #AI #Closereading @sfb1567

Llama 4 Smells Bad
https://fastml.com/llama-4-smells-bad/
#ycombinator #machine_learning #data_analysis #data_science #classification #regression #vowpal_wabbit #spearmint #random_forest #time_series #large_language_models

Llama 4 Smells Bad
https://fastml.com/llama-4-smells-bad/
#ycombinator #machine_learning #data_analysis #data_science #classification #regression #vowpal_wabbit #spearmint #random_forest #time_series #large_language_models

Llama 4 Smells Bad
https://fastml.com/llama-4-smells-bad/
#ycombinator #machine_learning #data_analysis #data_science #classification #regression #vowpal_wabbit #spearmint #random_forest #time_series #large_language_models

Llama 4 Smells Bad
https://fastml.com/llama-4-smells-bad/
#ycombinator #machine_learning #data_analysis #data_science #classification #regression #vowpal_wabbit #spearmint #random_forest #time_series #large_language_models

Как мы обучили Mistral 7B русскому языку и адаптировали для объявлений Авито

Привет! Я Настя Рысьмятова, руковожу командой LLM в Авито . Эта статья — про то, какие задачи мы решаем с помощью языковых моделей и как адаптируем их под себя. Мой опыт будет интересен прежде всего тем, кто тоже занимается большими языковыми моделями в крупных продуктовых компаниях. А всем остальным любопытно будет узнать, как модели учатся и решают конкретные задачи Авито — например, помогают пользователям писать тексты объявлений.

https://habr.com/ru/companies/avito/articles/852958/

#LLM #large_language_models #large_language_model #nlp #ai #avito

Serving AI from the Basement – 192GB of VRAM Setup
https://ahmadosman.com/blog/serving-ai-from-basement/
#ycombinator #Ahmad_Osman #Ahmad_M_Osman #Software_Engineer #Machine_Learning #Large_Language_Models #LLM #Homelab #AI_Server #Full_stack_web_development #Python_programming #Software_Developer_Blog #Data_Science #Home_Lab_Projects #Home_lab_setup_for_AI #Egyptian_in_the_US_software_engineer #Web_Development

Быстрее, выше, сильнее в распознавании речи: SpeechKit, SaluteSpeech или SpeechFlow?

Меня зовут Екатерина, я IT-архитектор в ML-команде SimbirSoft , специализируюсь на темах по обработке естественного языка. Сегодня мы обсудим особенности решения задач распознавания речи. Проверим наши предположения на собственных аудиоданных, которые будем переводить из акустического сигнала в текст тремя передовыми коммерческими системами: Yandex SpeechKit , SaluteSpeech от Сбера и SpeechFlow от Bluepulse. Статья будет полезна тем, кто интересуется тенденциями развития машинного обучения или хочет присмотреться к возможностям и уязвимым местам существующих решений для их внедрения в бизнес-приложения. Погрузиться ⚡

https://habr.com/ru/companies/simbirsoft/articles/833882/

#nlp_(natural_language_processing) #обработка_естественного_языка #stt #asr #yandex_speechkit #salutespeech #hugging_face #large_language_models #nlp

[Перевод] Эволюция языковых моделей для генерации текста с высоты птичьего полёта

В этой статье я хотел бы поделиться своими заметками о том, как языковые модели развивались в последние десятилетия. Этот текст может послужить туториалом для новичков и помочь понять ключевые концепции языковых моделей на протяжении их истории. Стоит отметить, что я не углубляюсь в детали реализации и математические аспекты, однако уровень описания достаточен для правильного понимания эволюции LMs.

https://habr.com/ru/articles/828968/

#языковые_модели #большие_языковые_модели #генерация_текста #трансформеры #large_language_models #text_generation #transformers #evolution #эволюция

Insights from over 10,000 comments on "Ask HN: Who Is Hiring" using GPT-4o
https://tamerc.com/posts/ask-hn-who-is-hiring/
#ycombinator #Natural_Language_Processing #Data_Science #Large_Language_Models #Web_Scraping

Slack Combines ASTs with LLMs to Automatically Convert 80% of 15,000 Unit Tests
https://www.infoq.com/news/2024/06/slack-automatic-test-conversion/
#ycombinator #slack_automatic_test_conversion #Development #Architecture_Design #ML_Data_Engineering #Large_language_models #Integration_Testing #React #Slack #Test_Automation #Unit_Testing

Slack Combines ASTs with LLMs to Automatically Convert 80% of 15,000 Unit Tests
https://www.infoq.com/news/2024/06/slack-automatic-test-conversion/
#ycombinator #slack_automatic_test_conversion #Development #Architecture_Design #ML_Data_Engineering #Large_language_models #Integration_Testing #React #Slack #Test_Automation #Unit_Testing

Slack Combines ASTs with LLMs to Automatically Convert 80% of 15,000 Unit Tests
https://www.infoq.com/news/2024/06/slack-automatic-test-conversion/
#ycombinator #slack_automatic_test_conversion #Development #Architecture_Design #ML_Data_Engineering #Large_language_models #Integration_Testing #React #Slack #Test_Automation #Unit_Testing

Slack Combines ASTs with LLMs to Automatically Convert 80% of 15,000 Unit Tests
https://www.infoq.com/news/2024/06/slack-automatic-test-conversion/
#ycombinator #slack_automatic_test_conversion #Development #Architecture_Design #ML_Data_Engineering #Large_language_models #Integration_Testing #React #Slack #Test_Automation #Unit_Testing

Nvidia Conquers Latest AI Tests
https://spectrum.ieee.org/mlperf-nvidia-conquers
#ycombinator #training #artificial_intelligence #large_language_models #llms #nvidia #intel #google #fine_tuning #graph_neural_networks #gpt_3 #stable_diffusion #mlperf

Meta Open-Sources Megalodon LLM for Efficient Long Sequence Modeling
https://www.infoq.com/news/2024/06/meta-llm-megalodon/
#ycombinator #meta_llm_megalodon #ML_Data_Engineering #Large_language_models #Generative_AI #Neural_Networks #Deep_Learning

Meta Open-Sources Megalodon LLM for Efficient Long Sequence Modeling – InfoQ
https://www.infoq.com/news/2024/06/meta-llm-megalodon/
#ycombinator #meta_llm_megalodon #ML_Data_Engineering #Large_language_models #Deep_Learning #Generative_AI #Neural_Networks

Интерактивный NPC на Unreal Engine

Всем привет. Я хочу с вами поделиться результатами эксперимента по созданию интерактивного NPC на Unreal Engine 5 . Speech recognition , Text-to-speech , LLM модели, LipSync , MetaHuman и все это без использования сторонних сервисов . Видео работы и ссылка на демо версию прилагается. Если вам интересно увидеть результат и обсудить перспективы интерактивных NPC в игровой индустрии - добро пожаловать под кат.

https://habr.com/ru/articles/807561/

#speech_recognition #text_to_speech #large_language_models #unreal_engine_5 #metahuman #gamedev #игры

Интерактивный NPC на Unreal Engine

Всем привет. Я хочу с вами поделиться результатами эксперимента по созданию интерактивного NPC на Unreal Engine 5 . Speech recognition , Text-to-speech , LLM модели, LipSync , MetaHuman и все это без использования сторонних сервисов . Видео работы и ссылка на демо версию прилагается. Если вам интересно увидеть результат и обсудить перспективы интерактивных NPC в игровой индустрии - добро пожаловать под кат.

https://habr.com/ru/articles/807561/

#speech_recognition #text_to_speech #large_language_models #unreal_engine_5 #metahuman #gamedev #игры

Интерактивный NPC на Unreal Engine

Всем привет. Я хочу с вами поделиться результатами эксперимента по созданию интерактивного NPC на Unreal Engine 5 . Speech recognition , Text-to-speech , LLM модели, LipSync , MetaHuman и все это без использования сторонних сервисов . Видео работы и ссылка на демо версию прилагается. Если вам интересно увидеть результат и обсудить перспективы интерактивных NPC в игровой индустрии - добро пожаловать под кат.

https://habr.com/ru/articles/807561/

#speech_recognition #text_to_speech #large_language_models #unreal_engine_5 #metahuman #gamedev #игры

Tinder Owner Signs ChatGPT Deal. Enjoy the AI Dating Tidal Wave
https://gizmodo.com/tinder-owner-signs-chatgpt-deal-enjoy-the-ai-dating-ti-1851275100
#ycombinator #Tinder #ChatGPT #Business #Finance #Artificial_intelligence #OpenAI #Online_dating #Bernard_Kim #Microsoft_Build #Cybernetics #Computational_neuroscience #Chatbot #Artificial_general_intelligence #match_group #Will_Wu #Large_language_models #Gizmodo

Quantinuum Researchers Shine a Light Into AI’s ‘Black Box’ https://thequantuminsider.com/?p=2360629 #Quantum_Computing_Business #Research #Uncategorized #AI #arXiv #interpretability #large_language_models #LLM #Quantinuum #quantumdaily Insider Brief Quantinuum researchers published a paper reveals a shift towards creating artificial intelligence (AI) frameworks that users can understand and trust. The team is addressing concerns about the vagueness of AI’s decision-making process, often referre

Метод Binoculars обещает высокую точность обнаружения текста от больших языковых моделей

ChatGPT пишет не хуже человека, но можно ли обнаружить «машинность» в тексте? Хотя некоторым компаниям было бы выгоднее представить всё так, будто результат работы языковых моделей неотличим от человеческого, исследования в этом направлении активно ведутся. Авторы научной статьи «Spotting LLMs With Binoculars: Zero-Shot Detection of Machine-Generated Text» ( arXiv:2401.12070 ) утверждают, что их метод имеет низкий уровень ложноположительных срабатываний (0,01 %), правильно обнаруживает текст от языковых моделей в 90 % случаев и работает для нескольких семейств современных продуктов.

https://habr.com/ru/articles/789466/

#LLM #БЯМ #large_language_model #большая_языковая_модель #large_language_models #большие_языковые_модели #OpenAI #Binoculars #ИИ #искусственный_интеллект #обнаружение_машинного_текста #антиспам #GPTZero #DetectGPT #Ghostbuster #ChatGPT #GPT3 #GPT4 #Falcon #Falcon7B #Falcon7Binstruct

OpenAI Pissed Off Developers by Phasing Out Plugins for GPTs
https://gizmodo.com/openai-pissed-off-developers-by-phasing-out-plugins-for-1851124124
#ycombinator #OpenAI #OPENAI #Generative_pre_trained_transformer #APPLE #Sam_Altman #Steve_Jobs #Instacart #GPT_4 #Chatbot #Artificial_general_intelligence #Technology #Internet #Steve_Wozniak #Expedia #Logan_Kilpatrick #Kayak #Microsoft_Build #Grunt #Large_language_models #ChatGPT #Gizmodo

Исследователи заставили ChatGPT процитировать данные, на которых он учился

Несколько похожая, но иная атака от @andrewmccalip Научная работа «Scalable Extraction of Training Data from (Production) Language Models» ( arXiv:2311.17035 ) анализирует извлечение данных датасетов обучения из различных языковых моделей. Исследователи проверили как локальные модели, так и коммерческое решение от OpenAI. С помощью атаки на выравнивание удалось заставить ChatGPT процитировать данные, на которых обучали GPT-3.5.

https://habr.com/ru/articles/777970/

#ChatGPT #OpenAI #GPT35 #GPT35Turbo #GPT35_Turbo #выравнивание_ИИ #alignment #AI_alignment #большие_языковые_модели #БЯМ #large_language_models #LLM #датасеты_обучения #исследования

OpenAI Finally Allows ChatGPT Complete Internet Access
https://gizmodo.com/chatgpt-receives-full-access-to-internet-1850936811
#ycombinator #OpenAI #ChatGPT #OPENAI #Draft_ChatGPT_and_Wikipedia #Bing #Artificial_intelligence #Generative_pre_trained_transformer #Microsoft_Bing #GPT #Microsoft_Build #DALL_E #Microsoft #Draft_Google_sresponse_to_ChatGPT #Technology #Internet #Chatbots #Large_language_models #Gizmodo