#question_answering — Public Fediverse posts
Live and recent posts from across the Fediverse tagged #question_answering, aggregated by home.social.
-
Как я победил в RAG Challenge: от нуля до SoTA за один конкурс
Когда новичок пытается построить свою первую вопросно-ответную LLM систему, он быстро узнаёт, что базовый RAG - это для малышей и его нужно "прокачивать" модными техниками: Hybrid Search, Parent Document Retrieval, Reranking и десятки других непонятных терминов. Глаза разбегаются, наступает паралич выбора, ладошки потеют. А что, если попробовать их все? Я решил потратить на подготовку к соревнованию 200+ часов и собственноручно проверить каждую из этих методик. Получилось настолько удачно, что я выиграл конкурс во всех номинациях. Теперь рассказываю, какие техники оказались полезными, а какие нет, и как повторить мой результат.
https://habr.com/ru/articles/893356/
#RAG #Docling #векторный_поиск #retrieval_augmented_generation #question_answering #LLM #FAISS #GPT #ChatGPT #парсинг_PDF
-
Git: Очередной лист Вопросов и Ответов
В статье я постарался затронуть базовые темы в виде вопрос/ ответ на горячо любимые темы на собеседованиях и не только.
https://habr.com/ru/articles/813513/
#git #github #gitlab #gitflow #github_flow #interview #questions #question_and_answers #question_answering
-
Lingua Franca — Машинный перевод с учётом именованных сущностей для вопросно-ответных систем
Машинный перевод может улучшить существующие вопросно‑ответные системы (англ. Question Answering — QA), которые имеют ограниченные языковые возможности, позволяя им поддерживать несколько языков. Однако у машинного перевода есть один основной недостаток: часто такие системы не справляются с переводом именованных сущностей, которые нельзя перевести дословно. Например, немецкое название фильма «The Pope Must Die» переводится как «Ein Papst zum Küssen», что дословно означает «Папа для поцелуев». На Русском языке название фильма звучит так: «Папа должен похудеть». Поскольку правильность именованных сущностей критична для вопросно‑ответных систем, необходимо как можно лучше обеспечить правильность их перевода. В данной статье я представляю наш метод машинного перевода, учитывающий именованные сущности, под названием «Lingua Franca». Он использует графы знаний для использования хранящейся там символьной информации с целью обеспечения правильности перевода именованных сущностей. И да, это работает!
https://habr.com/ru/articles/791616/
#машинный_перевод #именованые_сущности #machine_translation #named_entities #question_answering #вопросно_ответный_поиск #графы_знаний #knowledge_graphs #information_retrieval
-
Предсказать ошибку. Как методы оценки неопределенности помогают повышать качество seq2seq-моделей
Всем привет! Меня зовут Артём Важенцев , я аспирант в Сколтехе и младший научный сотрудник AIRI. Наша группа занимается исследованием и разработкой новых методов оценивания неопределенности для языковых моделей. Этим летом мы опубликовали две статьи на ACL 2023 . Про одну из них я уже рассказывал в одном из предыдущих текстов — там мы описали новый гибридный метод оценивания неопределенности для задачи выборочной классификации текстов. Другая же статья про то, как мы адаптировали современные методы оценивания неопределенности на основе скрытого представления модели для задачи генерации текста, а так же показали их высокое качество и скорость работы для задачи обнаружения примеров вне обучающего распределения. Ниже я хотел бы подробнее рассказать об используемых методах и результатах, которые мы получили.
https://habr.com/ru/companies/airi/articles/787340/
#uncertainty_estimation #natural_language_processing #machine_translation #question_answering #summarization #seq2seq
-
ChatGPT плохо отвечает на «простые вопросы». Как это починить?
Привет, Хабр! Меня зовут Антон Разжигаев, я аспирант в Сколтехе и участник научной группы Fusion Brain (AIRI), работающей над мультимодальными подходами. В этой статье я расскажу о нашей последней работе — Multilingual Triple Match — системе для поиска ответов на фактологические вопросы, которая по своей точности обходит даже ChatGPT.