#разметка_данных — Public Fediverse posts

Сеня девелопер уходит → CNER Developer приходит: как мы дообучили GigaAM-v3

Наша программа для диктовки Glas работает на GigaAM-v3. С обычной русской речью модель справлялась хорошо, а на IT-терминах спотыкалась. Docker превращался в «докер», Python — в «Пайтон». Иногда исчезали целые слова: живую фразу «Мой ИИ редко ошибается» модель записала как «Мои редко ошибается». Мы дообучили рабочую модель на 25 часах живой речи. На 525 отложенных коротких записях WER снизился с 8,81% до 5,76% — примерно на 35% относительно исходного значения. Доля правильно написанных терминов выросла с 43,8% до 86,7%. Скорость почти не изменилась. Это версия 0.01, пока бета. Есть и ухудшения: модель чаще пропускает слова, а на обычной речи хуже воспроизводит регистр и пунктуацию. К тому же тест размечен тем же автоматическим конвейером, что и обучение, с выборочной ручной проверкой. Часть выигрыша может объясняться совпадением стиля разметки.

https://habr.com/ru/articles/1095524/

#распознавание_речи #asr #whisper #speechtotext #wer #finetuning #разметка_данных #дообучение #gigaam #rnnt

Как мы сделали простой офлайн‑разметчик для YOLO и COCO с семантической и panoptic‑сегментацией

В настоящий момент я работаю над проектом по детекции дефектов дорожно‑транспортной инфраструктуры. Находимся на самом начальном этапе, подбираем модели для детекции. Мы начинали работы с моделями детекции — как‑то по инерции с предыдущего проекта. Но этого опыта и знаний (а также обученных ранее моделей) оказалось недостаточно для решения поставленных задач. Тогда мы обратились к сегментационным моделям. И сразу возник вопрос об адекватном инструменте для разметки данных. Если вы обучали свою модель детекции или сегментации, то знаете: самое долгое — не обучение, а разметка. Готовые инструменты делятся на две группы. Серверные (CVAT, Label Studio) умеют всё, но их нужно разворачивать и поддерживать. Эти инструменты замечательны, но очень непростые в освоении и затратные с аппаратной точки зрения. Существующие простые десктопные вроде labelImg ставятся за минуту и очень удобные в освоении, но не обладают нужным функционалом — умеют в основном размечать прямоугольники (bbox). И стало понятно, что нам нужна была середина: программа, которая запускается на ноутбуке без сервера и делает разметку bbox и полигональную разметку. Сделали простую программку, которая делала то, что надо. Но дальше — больше: сначала понадобились повёрнутые рамки (OBB), потом маски, затем многопользовательский режим, а под конец — семантическая и panoptic‑сегментация. И всё это нужно было выгружать в форматы, которые без доработки едят YOLO, Detectron2 и Mask2Former. Так появился YOLO Annotator. Код открыт (GPL-3.0), ниже — что он умеет и как устроен изнутри.

https://habr.com/ru/articles/1092398/

#coco #сегментация #компьютерное_зрение #датасет #yolo #разметка_данных #pyqt6 #panoptic_segmentation

Как мы собрали ИИ-конвейер для разметки продуктового фидбэка

Привет! На связи Андрей Безруков из команды

https://habr.com/ru/companies/avitoads/articles/1085718/

#ииагенты #мультиагентные_системы #разметка_данных #классификация_текстов #продуктовая_аналитика #uxисследования #таксономия #оценка_качества #prompt_engineering

Как мы измеряли рекламные обещания регулярками и почему первая выгрузка соврала вдвое

Нам понадобились свои данные о том, как устроены страницы, продающие франшизы. Не мнение, не подборка скриншотов, а числа, которые можно пересчитать через полгода и сравнить. Готовых датасетов по этой нише нет, поэтому мы написали скрипт: он забирает шестнадцать страниц, ищет на них набор признаков и складывает результат в JSON. Первая выгрузка выглядела убедительно. Потом мы открыли страницы глазами и обнаружили, что по одному признаку скрипт ошибся больше чем вдвое. Эта статья про то, где именно регулярное выражение находит слово, но не находит смысл, и что с этим делать, если полностью уйти от регулярок нельзя.

https://habr.com/ru/articles/1083070/

#регулярные_выражения #парсинг #разметка_данных #качество_данных #python #выборка #контентанализ #ошибки_разметки

Почему датасет без единой ошибки может быть плохим датасетом

Представьте себе грустного школьника, которому приходится решать тысячи задач по математике. Учебник в целом хороший, но примерно в одном проценте случаев в нем напечатаны неправильные ответы. Ученик все равно занимается по этому учебнику и в конце концов начинает решать все новые и новые задачи. Интуитивно кажется, что результат должен быть хуже, чем при обучении по идеальному учебнику. И обычно так и происходит: неправильные данные действительно вредят обучению. Но есть любопытный нюанс, что при определенных условиях небольшое количество ошибок в обучающих данных может не только не помешать, но и привести к лучшему качеству на новых данных. Звучит парадоксально: если учиться на неправильных ответах, откуда вообще может взяться улучшение? Об этом и поговорим.

https://habr.com/ru/companies/selectel/articles/1078306/

#машинное_обучение #искусственный_интеллект #нейронные_сети #качество_данных #датасет #разметка_данных #переобучение #регуляризация #selectel

Этот искусственный искусственный искусственный интеллект

В начале 1780-х состоятельные парижане отправляли свое белье стираться через Атлантику на Гаити. Дело в том, что, помимо высокой стоимости локальных услуг, после стирки французское белье откровенно желтило, а вот привезенное из Сен-Доминго, где экваториальное солнце в паре с местным индиго давало недостижимую в Европе голубоватую белизну, наоборот, притягивало взгляды и говорило о статусе владельца. Забавно, как схема с аутсорсом в экзотические страны работает до сих пор: разметку текстов для популярных LLM отдают дешевой рабочей силе из условной Нигерии. Но поскольку дешевая рабочая сила обычно еще и хитрая, сервисы по ручной разметке текстов типа "Механический турок" столкнулись с тем, что от 30% до 50% исполнителей сами стали прогонять задания через бесплатные китайские нейросети. В итоге, в начале июля 2026 года, Amazon повесил на сайте Mechanical Turk баннер, что перестает принимать новых клиентов, ознаменовав окончание мини-эпохи. Еще более иронично, что платформа 21 год работала под неофициальным слоганом "Искусственный искусственный интеллект". И, судя по всему, пришло время еще одного уровня абстракции.

https://habr.com/ru/companies/beget/articles/1069966/

#ии #машинное_обучение #разметка_данных #mechanical_turk #rlhf #аутсорсинг #llm #робототехника #датасеты #история_технологий

Точность 99,2% и ни одной найденной опухоли: во что обходится компьютерное зрение в медицине

Разговор всегда начинается одинаково. «Вы же делаете детекцию брака на конвейере: там деталь и дефект, тут снимок и опухоль, разница в датасете. Дайте модель, которая находит рак, точность нужна процентов 98, ну 99, чтобы наверняка». Логика в этом есть, и я не иронизирую. Архитектурно между дефектом сварного шва и узлом в легком действительно нет пропасти, обе задачи это поиск аномалии на картинке. Человек напротив рассуждает правильно ровно до того момента, пока не произносит слово «точность». В шведском исследовании MASAI, самом крупном рандомизированном испытании ИИ в скрининге на сегодня, участвовали 105 934 женщины. Возьмем группу, где маммограммы смотрели с ИИ-поддержкой: 53 043 участницы, рак за время наблюдения нашли у 420 из них. Распространенность 0,79%. Теперь пишем модель. Она принимает снимок и возвращает «норма». Всегда. Никакого обучения, три строчки на питоне, разработка тридцать секунд. Ее точность на этой выборке 99,21%. Заказчик просил 98–99. Константа выдает 99,2 и не находит ни одной опухоли. Дальше я честно считаю такой проект целиком. Во сколько встает разметка, если размечать умеет только врач. Почему эталон, по которому учат модель, сам расходится в четверти случаев. Где сеть выучивает больницу вместо болезни. Что требуют три регулятора, кто отвечает за ошибку и кто за все это платит. И когда оно дойдет до пациента. Читать разбор

https://habr.com/ru/articles/1063756/

#компьютерное_зрение #медицинский_ИИ #машинное_обучение_в_медицине #лучевая_диагностика #разметка_данных #специфичность #скрининг_рака #маммография #FDA #регуляторика_медизделий

Как я устал от CVAT и в соло написал десктопный инструмент для авторазметки датасетов на PyQt5

Надоело разворачивать CVAT через докер и мириться с лагами браузера? Я расскажу свою историю, как от простецкого аннотатора собранного на коленке написал мощную легковесную отечественную альтернативу на PyQt5 и OpenGl, с пакетной авторазметкой и иерархией классов.

https://habr.com/ru/articles/1053394/

#cvat #pyqt5 #разметка_данных #yolo #computer_vision #open_source #авторазметка #active_learning #Локальный_софт

Компьютерное зрение против рутины: как мы ускорили анализ поведения лабораторных мышей

Наверняка вы слышали, что большинство биомедицинских исследований в мире проводится на лабораторных грызунах. Это неслучайно: ДНК мыши и человека совпадают на 97,5%, у нас около 30 000 общих генов. Именно мыши помогают находить лекарства от рака, исследовать болезнь Альцгеймера и, как в нашем случае, изучать механизмы стресса и агрессии. Учёные из Института цитологии и генетики (ИЦиГ) СО РАН в новосибирском Академгородке ведут масштабное исследование. Его цель — понять связь между хроническим стрессом, иммунитетом и патологической агрессией. Но есть проблема: чтобы оценить результаты экспериментов, нужно отсмотреть сотни часов видеозаписей поведения животных. Ручная обработка таких данных — долгий и кропотливый труд. На разметку 10 минут видео у научного сотрудника уходит около часа напряжённой работы: нужно сидеть с секундомером, ставить видео на паузу и фиксировать каждое действие мыши в таблицу. Совместными усилиями команд Центра технологий для общества Yandex Cloud и Yandex Crowd Solutions мы решили помочь автоматизировать этот процесс. В результате нам удалось сэкономить учёным более 500 часов рутинной работы, освободив это время для настоящей науки. В статье расскажем, как объединили облачные технологии, краудсорсинг и энтузиазм, чтобы решить неочевидную, но критически важную проблему фундаментальной науки: собрали команду из студентов и экспертов, организовали разметку специфических данных, внедрили open‑source‑модель компьютерного зрения DeepLabCut и докрутили её собственными ML‑эвристиками.

https://habr.com/ru/companies/yandex/articles/1043570/

#яндекс #биология #наука #компьютерное_зрение #ии #ai #ml #машинное_обучение #разметка_данных

Когда нашим дорогим инженерам сильно надоело 5 раз проверять документацию за подрядчиками

Мы разрабатываем CV-системы (машинное зрение для производств). А ещё мы принимаем на поддержку решения, которые для нас делают подрядчики. Подрядчики присылают нам документацию, и дальше начинается бюрократический ад. Это наша общая боль, которая на протяжении двух лет медленно, но верно подтачивала боевой дух команды. Эта боль — проверка документации. Это не брошюра, это увесистый документ на десятки страниц. В нём описаны функциональные и нефункциональные требования к системе, бизнес-метрики, ожидания по точности, сроках и способах её измерения, формат сдачи отчётности и многое другое. Наша задача — провести ревью этого ТЗ и отчётной документации. Это непохоже на ревью кода. Это похоже на рутинный чек-лист потому, что есть все разделы, есть все базовые критерии, числа друг другу не противоречат и так далее. И это должны делать очень дорогие специалисты — вместо реальных задач. Количество итераций проверки одного документа — от 2 до 5. Серьёзно. Формулировки бывают настолько запутанными, что приходится писать кучу уточняющих вопросов. Ещё есть ТЗ на разметку, там вообще становится понятно, почему Скайнет восстал. Например, надо обвести все надписи на вагоне. А если там мелом написано ХУZ, это должно попасть в распознавание? И вот инженеры сидят и принимают такие решения по каждой мелочи. Заставлять инженера, который может писать сложнейшие алгоритмы, по три дня вычитывать по шаблону один и тот же документ — это жестокая история. Правда, очень важная. Просто ничего не делать — не получится. Мы взялись это автоматизировать LLM’ками, но должны были избежать рисков, связанных с передачей информации о наших внутренних процессах на третью сторону и по галлюцинациям. И ещё пару, сейчас расскажу, что вышло.

https://habr.com/ru/companies/nlmk/articles/989166/

#LLM #машинное_зрение #промптинжиниринг #автоматизация #разметка_данных #ревью_документации #производство #завод

[Перевод] Месть дата-сайентиста: почему LLM не отменили нашу профессию

LLM упростили запуск AI-функций до нескольких вызовов API, и дата-сайентисты будто бы выпали из критического пути. На практике именно здесь начинаются самые дорогие ошибки: команды берут готовые метрики, доверяют LLM-судьям и строят evals на синтетике, которая не похожа на прод. В статье — пять типичных ловушек современной AI-разработки и разбор того, почему умение смотреть в данные снова становится ключевой инженерной компетенцией. Разобрать ловушки

https://habr.com/ru/companies/otus/articles/1043824/

#harness #Data_Science #датасайентист #оценка_моделей #llm #llmasajudge #метрики_качества #анализ_ошибок #разметка_данных #mlops

Как шахматный подход помог разобраться с фотолентой Яндекс Диска

Когда вы загружаете фотографии на Яндекс Диск, они не просто лежат в облаке: ML‑модели анализируют снимки, группируют их в альбомы и выбирают хайлайты для фотоленты в Яндекс Диске. Но чтобы улучшать такую систему, нужно уметь измерять качество её работы. И здесь начинается проблема: модель выбирает «красивые» и «удачные» кадры, а эстетика — вещь субъективная. Одному важны насыщенные цвета, другому — композиция, третьему — эмоции и лица в кадре. Если попросить асессоров ставить оценки от 1 до 10, мы быстро получим не объективную шкалу, а смесь личных вкусов, разной строгости и шума. Поэтому мы подошли к задаче не как к обычной разметке, а как к исследованию. Вместо абсолютных оценок использовали шахматный подход. Каждая фотография стала «игроком», который соревнуется с другими по 16 признакам эстетики — цветам, фокусу, геометрии, эмоциональности и другим параметрам. Это позволило получить не просто рейтинг кадров, а инструмент для анализа того, какие визуальные признаки учитывают ML‑модели Диска. Всем привет! Я Всеволод Мещеряков из службы разметки Yandex Crowd Solutions. Мы собираем и размечаем фото, видео, тексты — в общем, готовим данные, на которых учатся ML‑модели. В этой статье расскажу, как подход из мира шахмат помог нам связать субъективное восприятие фотографий с математическими оценками и сделать фотоленту Яндекс Диска ещё красивее.

https://habr.com/ru/companies/yandex/articles/1042040/

#разметка_данных #машинное_обучение #ml #обучение_моделей #разметка_фотографий #алгоритмы

Подсчёт долей фракций руды на конвейере: SAM2 для разметки, YOLO и проблемы с перекрытием

На производственной площадке стоит камера над лентой конвейера, она снимает поток , а система считает доли трёх цветовых фракций — серо-белой, оранжевой, розовой — и пишет результат в JSON для следующего этапа обработки. Цвет фракции используется как косвенный признак химического состава — технолог по нему оценивает качество партии. Заказчику нужна всего одна цифра — доля оранжевой фракции . Для предприятия эта фракция самая интересная по составу, остальные классы имеют второстепенное значения. Эту цифру нужно предоставлять в режиме 24/7, без расхождений между сменами. Камера стоит в закрытом помещении внутри здания. Освещение искусственное, прожектора фиксированные. Естественного света нет, влажность стабильна, поэтому большинство стандартных проблем компьютерного зрения на улице — блики на мокрых камнях, изменение цвета по времени суток, тени от солнца — в нашем случае не возникают и в статье обсуждаться не будут.

https://habr.com/ru/articles/1034836/

#sam #instance_segmentation #yolo #SAM2 #машинное_обучение #машинное_зрение #computer_vision #разметка_данных #data_labeling

Спецлаб-Гамбит: Удобная программа разметки объектов нейросети под системы видеонаблюдения

Для разработчиков умных камер, умных видеорегистраторов и нейросетевой видеоаналитики ПО видеонаблюдения нужна нейросеть, способная работать в реальных условиях наших улиц. А там никто с профессиональной камерой не ходит, правильный ракурс не настраивает, свет не выставляет, без сжатия не снимает и вообще все делает вопреки здравому смыслу учебников ВГИК. Гамбит, конечно, подойдет для любых других задач, но здесь сделан упор на удобство сбора материала ИЗ систем видеонаблюдения и на разметку датасета с целью создания нейросетей ДЛЯ систем видеонаблюдения. Гамбит не столько для отшлифованных фоток и рилсов из Интернета, а как раз наоборот – для не особо качественных видеозаписей из архивов видеонаблюдения. В Спецлабе называют такой контент «диким». Прочитать описание и Скачать бесплатно...

https://habr.com/ru/companies/speclab/articles/1034750/

#разметка_данных #разметка_изображений #нейронные_сети #нейронные_сети_и_машинное_обучение #датасет #dataset

Почему AI-проекты ломаются на данных: как качественные датасеты повышают NPS, CTR и конверсию

Без качественного датасета даже сильная модель не улучшает бизнес-метрики — от NPS поддержки до конверсии интернет-магазина. В этом интервью Ильнур Файзиев, руководитель

https://habr.com/ru/companies/doubletapp/articles/1011314/

#датасеты #ai #разметка_данных #разметка_датасета #разметка_изображений #компьютерное_зрение #обучение_нейронных_сетей #автоматизация_бизнеса #автоматизация_бизнеспроцессов #автоматизация_предприятий

Разметка данных: самая дорогая часть машинного обучения

Доброго времени суток, «Хабр»! В предыдущей своей статье я рассматривал различные функции потерь - важную часть машинного обучения. Но даже такие функции совершенно беспомощны перед лицом беспорядка. Сегодня мы рассмотрим то, что предшествует любой тренировке - разметку данных. Как и в предыдущей статье, приведу простенькое сравнение. Если модель - ученик, то разметка данных своего рода учебник, по которому она занимается. При этом создание такого учебника часто оказывается трудоемким, медленным и дорогостоящим этапом всего цикла ML-проекта. Принимайте стратегические удобное положение, ну а я начинаю свое повествование.

https://habr.com/ru/companies/bothub/articles/985662/

#разметка_данных #ai #ии #нейросеть #машинное_обучение #Data_Science #dataset #quality_assurance #active_learning #Weak_Supervision

[Перевод] Оценки продукта в три простых шага

Когда в продукте появляется LLM‑фича, спорить о качестве «на глаз» быстро становится дороже самой разработки: каждый новый промпт, ретривер или модель меняет поведение, а воспроизводимость улетучивается. В этой статье — прагматичный рецепт, как превратить оценку качества в инженерную процедуру: собрать небольшой датасет с фейлами, откалибровать LLM‑оценщиков под отдельные критерии и завести eval‑harness, который будет ловить регрессии при каждом изменении конфигурации. Перейти к статье

https://habr.com/ru/companies/otus/articles/984876/

#продуктовые_оценки #оценка_качества #LLMоценщик #калибровка_оценщика #разметка_данных #бинарные_метки #evalharness

Взгляд разметчика данных

Дисклеймер: ниже будет описан личный опыт и точка зрения человека-исполнителя. Устройство всей процедуры разметки в статье не раскрывается. Все совпадения сущностей случайны. Названия компаний не упоминаются в целях соблюдения NDA. В статье не будут подниматься вопросы оплаты труда и разбираются только основные рабочие моменты. Всем добрый день! Одно время я работал разметчиком данных на разные компании и довольно долго, примерно 5 лет. Так как компании были разные, то и размечать приходилось разное: сайты, картинки, звуки. Только с видео не довелось поработать. С одной стороны, эта работа довольно рутинная и однообразная. С другой стороны - нет. Потому что на разметку попадались разные документы с разной целью. Однако целью данной статьи не документы, а общие закономерности и подводные камни на этом нудном пути с точки зрения непосредственного исполнителя. Разметка данных используется для обучения различных алгоритмов, чаще всего на основе нейросетей. Она применяется разных отраслях, включая такие сложные, как медицина. Без разметки невозможно обучение моделей, так как нет явной целевой переменной и от качества разметки напрямую зависит качество модели. Я имею опыт работы Data Scientist-ом и даже диплом получил, поэтому понимаю, насколько важна разметка. Более того, сейчас, работая с медицинскими датасетами, я всё чаще задумываюсь: а насколько вообще можно доверять той или иной разметке, даже если её ставит врач? Итак, приступим к теме нашего разговора.

https://habr.com/ru/articles/983886/

#разметка_данных #разметка_изображений #аннотация_данных #качество_данных #опыт_работы #бинарная_классификация #дата_сайенс #data_science

Garbage In — Garbage Out: ошибки в разметке данных и как они ломают ML-системы

На Хабре тысячи статей про OCR, IDP, ML и искусственный интеллект. Все они сходятся в одном: «качественная разметка данных — ключ к точности модели». Но что это значит на практике? Меня зовут Снежана Игнатенко, я руковожу отделом разметки данных в SL Soft AI. Каждый день моя команда работает с самыми разными документами: печатными, рукописными, строгими формами, свободными текстами, сканами и фотографиями, в которых встречаются печати, подписи, штампы, затертые области, перекосы и артефакты. Наша задача — создавать качественный, точный и контекстно корректный набор размеченных данных, который служит фундаментом для всех интеллектуальных систем класса IDP. В этой статье я приглашаю вас заглянуть за кулисы разметки данных и понять, как она формирует точность и надежность любых интеллектуальных систем.

https://habr.com/ru/companies/slsoft/articles/976814/

#разметка_данных #ocr #idp #разметка_датасета #data_labeling #data_annotation #training_data

Как искусственный интеллект судит спортивные поединки

Я Иван, президент федерации кендо в Удмуртии, а ещё руковожу разработкой системы с AI-видеоаналитикой. Мне захотелось добавить к мастерству судейства поединков точность искусственного интеллекта. Объединил спорт и работу, и теперь наш ИИ-продукт можно использовать на поединках по кендо. Расскажу, как и почему мы это сделали.Почему я решил объединить кендо с ИИ-технологиями.

https://habr.com/ru/articles/976838/

#искусственный_интеллект #компьютерное_зрение #видеоаналитика #машинное_обучение #нейронные_сети #распознавание_объектов #разметка_данных #спорт #внедрение_ИИ #CV

Сравнение инструментов разметки данных для CV: Label Studio & CVAT & Roboflow — опыт разметки 6000+ изображений

Если вы хоть раз обучали модель компьютерного зрения, вы знаете, как качество данных решает всё. На первый взгляд кажется, что задачи у всех инструментов одинаковые: поставить рамку, провести полигон, экспортировать данные, но в реальности всё упирается в детали:

https://habr.com/ru/articles/969000/

#CVAT #label_studio #roboflow #cv #разметка_данных #workflow #анализ_данных #обзор_программ #интерфейс_пользователя #сбор_данных

«Манускрипт. Распознать нельзя забыть: как мы научили нейросеть читать рукописи XIX века»

Manuscript OCR — открытая нейросеть для чтения рукописей XIX века Мы обучили свою OCR-модель распознавать дореформенную кириллицу, нестандартные почерки и сложные сканы. Всё — на собственных данных, с нуля. В статье — как мы это сделали и ссылки на репозиторий с кодом. Открыть рукопись

https://habr.com/ru/articles/961062/

#ocr #нейросеть #исторические_данные #разметка_данных #синтетические_данные #распознавание_текста

Балконы и полигоны: как мы разметили 12 000 квартир для генерации 3D-туров

Те, кто имел дело с покупкой и продажей недвижимости, знает, что просмотры — очень хлопотное занятие. Неудивительно, что для экономии времени появляются предложения посмотреть квартиру онлайн или с помощью 3D‑тура. О таких виртуальных экскурсиях мы сегодня и поговорим. В сентябре Яндекс Недвижимость рассказала о 3D‑турах для новостроек. С момента начала тестирования в июле на сервисе было сгенерировано более четверти миллиона виртуальных экскурсий по строящимся квартирам. Чтобы это стало возможным, мы обучили нейросеть анализировать планировки и превращать их в трёхмерные визуализации. Но чтобы это стало возможным, нужно было проделать большую и кропотливую работу, чтобы нейросеть понимала, где отрисовывать окно или класть плитку на пол. Меня зовут Катя Шибанова, я работаю архитектором краудсорсинговых решений (CSA) в службе разметки данных Yandex Crowd Solutions . Недавно к нам обратились коллеги из Яндекс Недвижимости: нужно было помочь с разметкой для обучения модели компьютерного зрения, которую используют для создания 3D‑туров. Об этом интересном проекте и будет мой рассказ. Я расскажу, чем опасны миллиметровые зазоры между полигонами в разметке, почему помимо типов помещений (кухня, спальня, санузел и тому подобное) нужно размечать структурно важные элементы — двери, окна, несущие стены, а также почему приоритизация геометрической согласованности важнее «средней» точности по пикселям.

https://habr.com/ru/companies/yandex/articles/954650/

#разметка_данных #яндекс #краудсорсинг #машинное_обучение #нейросети #недвижимость #3dтехнологии

Данные не кончатся: как LLM навсегда изменили сбор и разметку мультимодальных данных и привели нас к SynthOps

Привет! Эта статья посвящена синтетическим данным и тому, как сбор данных и их разметка изменились навсегда. Поговорим про мультимодальную синтетику (аудио и изображения), генераторы, валидаторы, примеры классных генераций, датасеты, роль LLMок в этих процессах и трансформацию привычных пайпланов в концепцию SynthOps, которая требует других подходов по работе с данными. Я достаточно долгое время разрабатывал софт для разметки всего и вся любой сложности, рассказывал про то как LLMки пришли на замену (или помощь) людям в текстовых и мультимодальных данных, а потом позанимался генерацией разного роды синты. Обо всем это и хочется рассказать.

https://habr.com/ru/articles/950874/

#синтетические_данные #синтетика #ииагенты #aiагенты #мультимодальность #llm #ллм #картинки #разметка_данных #разметка

Когда YOLO не спасает: как один параметр может испортить всё

История о том, почему в ML побеждают не те, у кого самая большая модель, а те, кто понимает, что они делают.

https://habr.com/ru/articles/943516/

#покер #онлайнпокер #карты #computer_vision #yolo #object_detection #детекция_объектов #разметка_данных #датасет #оптимизация_моделей

200 000+ снимков мусора: что мы узнали о датасетах

В нашей работе хватает безумных задач. Мы создали первого в России цифрового PR-менеджера, разрабатывали виртуальную примерочную и делали много чего еще, о чем не всегда можно рассказать. Но когда мы взялись за создание ИИ-сортировщика мусора MARQUS, поняли — будет совсем жестко. Не так давно мы создали систему сортировки ТКО (Твердых коммунальных отходов) MARQUS, которая делит отходы на бумагу, металл, пластик, стекло и т.д. Система использует искусственный интеллект и специальные сенсоры, чтобы распознавать различные типы отходов прямо на конвейере и направлять их в соответствующие секции для переработки. В процессе разработки MARQUS мы столкнулись с задачей — найти или собрать подходящие датасеты, так как без них эффективность нейронной сети резко снижается, если вообще приближается к нулю. Мы перепробовали множество подходов, пересмотрели доступные датасеты с готовой разметкой и потратили достаточное количество времени и денег, чтобы честно признаться — на обучении нейронок сэкономить не получится, но обо всем по порядку.

https://habr.com/ru/articles/924696/

#управление_проектами #искусственный_интеллект #Машинное_обучение #открытые_данные #разметка_датасета #сбор_данных_для_ии #парсинг_данных #разметка_данных

Как мы научили нейросеть узнавать 10 000 лошадей «в лицо» и чуть не сошли с ума

В нашей работе хватает безумных задач. Мы собирали датасеты с уличными драками, где сами вживались в роль дебоширов перед камерами, и делали много чего еще, о чем не всегда можно рассказать. В общем, мы в своей работе привыкли к странным задачам. Но когда к нам пришли с просьбой научить искусственный интеллект узнавать «в лицо» 10 000 лошадей, мы поняли — будет интересно...

https://habr.com/ru/articles/924358/

#нейросети_для_табунов_и_конюшен #сбор_данных_для_ИИ #парсинг_данных #нейросети_для_агропрома #нейросети_для_ферм #разметка_данных #разметка_датасета

Как мы сделали полезным крупнейший русскоязычный датасет запросов к LLM

Привет! Меня зовут Роман Куцев, я основатель LLM Arena . У нас каждый день сотни людей общаются с языковыми моделями, тестируют, сравнивают, задают вопросы. В какой-то момент стало ясно: в этих логах — не просто сессии пользователей. Это — живая картина того, как люди используют LLM в реальности. Так родилась идея: собрать открытый, структурированный датасет промптов и дать AI-комьюнити инструмент, с которым можно не просто смотреть, но и исследовать, фильтровать, понимать логику запросов юзеров к LLM. Изучая Arena Explorer от LMSYS, мы сначала хотели взять их путь за основу. Но быстро стало понятно — мы можем и должны пойти дальше. И построили систему, которая обусловлена русскоязычным контекстом, с другим уровнем прозрачности и внимания к качеству.

https://habr.com/ru/articles/920150/

#llm #llmarena #датасет #dataset #ai #ии #разметка_данных #валидация_данных

Benchmark — разрушитель LLM'ок, или Как мы собрали свой мультиязычный SWE-Bench

В статье представлено многоязычное расширение SWE-Bench от команды

https://habr.com/ru/companies/doubletapp/articles/916388/

#AI #ML #DS #SWE #bench #ML4se #Dataset #Датасет #Разметка_данных #benchmark

Разметка данных с использованием LLM

Всем привет! Меня зовут Артем Ерохин. Я работаю в X5 Tech в направлении продуктивизации ИИ. В прошлом году у меня был доклад про разметку данных с LLM . И я решил преобразовать этот доклад в статью, попутно обновив некоторые цифры и тезисы (такова уж скорость прогресса в этой области).

https://habr.com/ru/companies/X5Tech/articles/891830/

#LLM #искусственный_интеллект #машинное+обучение #ии #разметка_данных #machine_learning #синтетические_данные #natural_language_processing