#детекция — Public Fediverse posts

TAPe+ML v3 на arXiv: превосходим SOTA в классификации, детекции и сегментации при <100 тыс. параметров

Мы опубликовали на arXiv статью TAPe+ML: A Compact Structured Representation for Multi-Task Computer Vision . В ней собраны результаты TAPe+ML v3 на задачах классификации, object detection, instance segmentation, индексации и поиска сцен в видео, а также в промышленном OOD-пилоте. Статья на arXiv: TAPe+ML: A Compact Structured Representation for Multi-Task Computer Vision Ключевые результаты TAPe+ML v3 88,1% Top-1 на ImageNet-1k, 65,3 mAP50–95 в детекции COCO, 58,4 Mask mAP50–95 в COCO instance segmentation, 98,2% покрытия объектов масками на LVIS — при размере ядра модели менее 100 тыс. параметров. TAPe+ML v3 объединяет классификацию, детекцию и сегментацию в одном компактном ядре. В представленных в статье сравнениях она превосходит крупные SOTA-модели по ключевым метрикам: RF-DETR и YOLO в детекции, RF-DETR-Seg и YOLO26-X-Seg в сегментации; на ImageNet-1k достигает уровня крупнейших foundation-моделей при разнице в параметрах на несколько порядков. Поглазеть на результаты

https://habr.com/ru/articles/1086426/

#tape+ml #искусственный_интеллект #машинное_обучение #компьютерное_зрение #классификация #сегментация #детекция #yolo #dinov3 #edge

TAPe+ML: детекция, классификация и теперь и сегментация SOTA‑уровня в 0.1M параметров

Мы собрали модель, которая одновременно решает детекцию, классификацию и сегментацию, и при этом остается радикально легче и экономичнее по ресурсам, чем любые современные SOTA‑архитектуры. На COCO и RF100‑VL мы получаем качество детекции уровня крупных transformer‑детекторов при сотнях раз меньшем числе параметров, а на LVIS – покрытие и точность масок, недостижимые для YOLO‑семейства без переобучения, все это в режиме близком к real‑time на массовом железе. В терминах «качество / параметры / латентность» наша модель находится в области, где у крупных конкурентов просто нет сопоставимых точек: либо они хуже по качеству при сопоставимой скорости, либо требуют на порядки больше параметров и железа, чтобы выйти на похожие цифры. Посмотреть и воспользоваться

https://habr.com/ru/articles/1061414/

#компьютерное_зрение #детекция #классификация #сегментация #tape #yolo #rfdetr #dino #искусственный_интеллект #машинное_обучение

Видеоаналитика СИЗ на палубе: как перестать генерировать ложные нарушения из-за качки и бликов

Как мы достроили вокруг детектора СИЗ слой событий: привязка к человеку, сквозной ID через ReID, статусы present/absent/unknown и устранение дублей — чтобы длящееся нарушение оставалось одним событием, а плохой кадр не превращался в ложный алерт.

https://habr.com/ru/articles/1054032/

#СИЗ #компьютерное_зрение #видеоаналитика #детекция #трекинг #reid #дедупликация_событий #охрана_труда

TAPe‑дневник, день 6: синтетика, эмбеддинги и первый уход от трансформеров

В этой статье продолжаем онлайн‑дневник экспериментов с TAPe‑подходом к компьютерному зрению на COCO. Здесь – про обучение эмбеддингов на полностью синтетических TAPe‑данных, 74% точности классификации на 5k val‑изображениях и первые выводы о том, почему стандартные трансформеры нам не подходят. Долой трансформеры

https://habr.com/ru/articles/1015514/

#машинное_обучение #трансформеры #детекция #эмбеддинги #синтетические_данные #классификация_изображений #компьютерное_зрение #selfsupervised #attention #tape+ml

История YOLO – самой известной архитектуры компьютерного зрения

YOLO расшифровывается как You Only Look Once. Это широко известная архитектура компьютерного зрения, которая знаменита в том числе своим огромным количеством версий: первая из них вышла в 2016 году и решала только задачу детекции объектов на изображении, а последняя – одиннадцатая – появилась в сентябре этого года и уже представляет из себя целую фундаментальную модель, которую можно использовать для классификации, трекинга объектов на видео, задач pose estimation и тд. Все это – в реальном времени . Да, за 8 лет своего существования YOLO стала своеобразным трансформером во вселенной компьютерного зрения : ее любят и используют повсеместно. Эта статья – полноценная техно-история YOLO. Мы расскажем, что представляет из себя задача детекции, как работала самая первая YOLO и как ее дорабатывали во всех последующих версиях.

https://habr.com/ru/articles/865834/

#компьютерное_зрение #yolo #архитектура #машинное+обучение #глубокое_обучение #нейросети #computer_vision #детекция

Сканирование документов на планшетах Kvadra: как мы создавали и обучали алгоритм

Привет, Хабр! Меня зовут Владислав, я CV Engineer в компании

https://habr.com/ru/companies/yadro/articles/865470/

#computer_vision #глубокое_обучение #нейросети #нейронные_сети #детекция #поиск_объектов

Как мы в Яндексе делаем роборуку с искусственным интеллектом

Ещё 10–20 лет назад многие думали, что роботы под управлением искусственного интеллекта возьмут на себя всю тяжёлую и опасную работу на предприятиях. Однако нейросети нашли применение в офисах, колл‑центрах, службе поддержки и даже стали полезны людям из творческих профессий — копирайтерам, дизайнерам, программистам. Тем не менее создание роботов, которые могут самостоятельно выполнять сложные физические манипуляции с материальными объектами, остаётся трудной и нерешённой задачей. В этой статье я расскажу, как команда ML R&D в отделе робототехники Маркета создаёт роборуку и обучает нейросети, благодаря которым робот взаимодействует с физическим миром.

https://habr.com/ru/companies/yandex/articles/851592/

#Роботы #ии #яндекс #автоматизация #робототехника #ml #детекция

DETR: Бесконечная история

Всем привет, с вами команда Layer ! Мы рады сообщить, что совсем скоро выйдет наша новая исследовательская работа, посвященная поиску моментов в видео, релевантных пользовательскому запросу. Мы хотим сделать эту работу как можно более доступной для каждого, кто хочет глубже разобраться в теме. Поэтому мы решили написать этот небольшой туториал, посвященный семейству моделей DETR, так как они используются не только для детекции котиков на картинках, но и в таких необычных доменах, как детекция моментов в видео. Мы уверены, что среди читателей многие знакомы с основами DETR, однако подозреваем, что не все могли следить за её развитием. Всё‑таки по сравнению с YOLO, DETRу пиара явно не достает. В этой статье мы предлагаем краткий обзор эволюции модели, чтобы помочь вам лучше ориентироваться в новых исследованиях. Если же вы впервые слышите о DETR или хотите освежить свои знания, то бегом читать — тык , если после прочтения остались вопросы, то можно ознакомиться с этими видео — тык , тык . Давайте детальнее разберёмся, что ждёт вас в этом туториале. Сначала мы рассмотрим недостатки оригинальной версии DETR, а затем перейдём к архитектурным улучшениям, которые либо устранили эти проблемы, либо заметно их сгладили. Начнём с Deformable DETR — модели, которая оптимизировала вычисления. Затем обратим внимание на Conditional DETR и DAB DETR — архитектуры, которые существенно переосмыслили роль queries в модели. Далее мы погрузимся в особенности DN‑DETR, который стабилизирует one‑to‑one matching . После этого детально разберём DINO DETR — модель, которая объединяет и улучшает идеи DN‑DETR и DAB‑DETR, а также переизобретает RPN для детекционных трансформеров. И в завершение нашего путешествия мы познакомимся с CO‑DETR, который объединил классические детекторы, такие как ATSS, Faster RCNN, и модели типа DETR, установив новые SOTA метрики на COCO.

https://habr.com/ru/companies/sberdevices/articles/847324/

#detr #machine_learning #deep_learning #detection #tutorial #машинное_обучение #глубокое_обучение #нейронные_сети #детекция

You Only Look Once… But it Sees Everything! Обзор YOLO детекторов. Часть 1

Вступление Детекция объектов в реальном времени является важнейшей задачей и охватывает большое количество областей, таких как беспилотные транспортные средства, робототехника, видеонаблюдение, дополненная реальность и многие другие. Сейчас такая задача решается с помощью двух типов алгоритмов: one-step алгоритм детекции, например You Only Look Once (YOLO), и two-steps алгоритм, например Faster Region-Based Convolutional Neural Network (Faster R-CNN). Двухстадийный подход имеет ряд недостатков: долгое обучение и инференс, плохое качество детекции маленьких объектов, неустойчивость к различным размерам входных данных. Одностадийный алгоритм детекции подразумевает одновременное выполнение детекции и классификации, что обеспечивает end-to-end обучение с сохранением высоких показателей как точности, так и скорости.

https://habr.com/ru/articles/836306/

#детекция #yolo #computer_vision #detection #you_only_look_once #bounding_box #data_science

ViT для новичков: как нейросети научились определять зависимости в изображениях

В этой статье мы попытаемся рассказать про трансформерную архитектуру VIT и предысторию его формирования. Сегодня не совсем понятно, почему этот "формат" нейронок настолько эффективен. Некоторые говорят механизм внимания, но некоторые практики делают больше ставок в области Computer Vision на MetaFormer. https://github.com/sail-sg/poolformer Нейросети остаются для нас “теневым” процессом, подобным черному ящику. И изучение Deep Learning уже напоминает больше не математику, а биологию, где мы следим за поведением нашего детища.

https://habr.com/ru/articles/810817/

#трансформеры #vit #компьютерное_зрение #computer_vision #классификация #детекция #сегментация #нейросети

Детекция объектов. YOLO. Часть 2

Кто такой YOLO? 🤔 Когда пытаешься разобраться в работе YOLO по статьям в интернете, постоянно натыкаешься на примерно такое объяснение: «Алгоритм делит изображение сеткой SxS, где каждому элементу этой сетки соответствует N ббоксов с координатами, предсказаниями классов и тд...». Но лично мне становилось только непонятнее от такого высокоуровнего описания.. Ведь в исследованиях часто всё происходит примерно так: перебирают гипотезы, пока не получат приемлемый результат, а потом уже придумывают красивое описание. Поэтому для ясности хочется в данной статье рассказать, как вообще приходили к идеям, которые ложились в основу YOLOv1 и последующих версий.

https://habr.com/ru/articles/792926/

#yolo #yolov1 #yolov2 #yolov3 #детекция #компьютерное_зрение #detection

Детекция объектов. R-CNN, Fast R-CNN, Faster R-CNN. Часть 1

Кто такой детектор? Данная статья посвящена постановке задачи детекции и обзору первых двухстадийных детекторов, таких как: R-CNN, Fast R-CNN и Faster RCNN.

https://habr.com/ru/articles/789942/

#детекция #computer_vision #detection #bounding_box #RCNN

[Перевод] Заблуждения о семантической сегментации

Семантическая сегментация — это задача компьютерного зрения, заключающаяся в помещении в один класс связанных элементов изображения. Семантическая сегментация состоит из трёх этапов: Классификация: обнаружение и классификация определённого объекта на изображении. Локализация: нахождение предмета и отрисовка вокруг него ограничивающего прямоугольника. Сегментация: процесс группировки пикселей в локализованном изображении при помощи маски сегментации. Существует множество подтипов семантической сегментации, но все они возникают вследствие выбора пары параметров из двух категорий: размерности данных и разрешения выходных аннотаций.

https://habr.com/ru/articles/740824/

#машинное_обучение #CV #разметка_данных #сегментация #детекция

Практический пример использования модели детекции изображений

Всем доброго дня. Совсем недавно я закончила продвинутый курс от Deep Lerning. Курс объемный, много свежей информации. Мне, как закончившей прикладную математику и часто по работе соприкасающейся с искусственным интеллектом (нейросетки, генетика, fuzzy logics) было не сильно сложно, но мега-увлекательно за счет того, что ребята очень заинтересованные и рассказывали про свежие интересные модели, еще и на русском языке. Приятно видеть, что ИИ-сфера в нашей стране тоже не стоит на месте. Хотелось сделать своими руками что-нибудь эдакое полезное и одновременно мега-современное и вот что я придумала. У нас есть частный дом, там есть дворовые коты, которых надо кормить и в мое отсутствие. А так же есть еще птицы, кроты, чужие вездесущие собаки и другая живность, которых не стоит кормить, если не хотим, чтобы они у нас все поселились. Так вот, а что, если прикрутить модель детекции изображений к умной кормушке? Далее было бы здорово научиться использовать голосовые команды, например, на закрытие кормушки. И чтобы не писать никаких специальных программ, воспользуемся телеграмм-ботами, телеграмм стоит почти в каждом телефоне. В данной статье я сделала акцент именно на том, как пользоваться моделями детекции изображений на практике.

https://habr.com/ru/articles/774850/

#искусственный_интеллект #детекция