#visionlanguage_models — Public Fediverse posts

Как научить ИИ понимать графики: разбираем новый набор данных ChartNet от MIT

Привет, Хабр! Меня зовут Павел, я ML-инженер и исследователь в области ИИ. Недавно наткнулся на исследование, посвященное проблеме понимания графиков визуально-языковыми моделями (Vision-Language Model, VLM), и решил подробнее разобраться в этой теме. В наши дни большое количество научных, деловых и политических данных представляется в формате графиков, однако современные VLM решают задачу их анализа лишь частично. Одна из главных причин этого — отсутствие масштабных и разнообразных наборов данных для обучения и тестирования. Исследователи из MIT и IBM Research предложили оригинальное решение — ChartNet, мультимодальный датасет для обучения моделей анализу и интерпретации графиков. Разберемся, как он устроен и насколько эффективен.

https://habr.com/ru/companies/ru_mts/articles/1058226/

#ChartNet #понимание_графиков #мультимодальные_модели #VisionLanguage_Models #датасеты_для_ИИ #анализ_графиков #компьютерное_зрение #машинное_обучение #MIT #IBM_Research

Как Vision-Language Models учатся работать с 3D-миром

Привет, Хабр! Сегодня поговорим о том, как роботы работают с предметами в реальной жизни. Современные роботы умеют выполнять множество простых операций, но терпят катастрофический провал в задачах, требующих понимания трехмерных пространственных отношений и физической осуществимости действий. Попробуем разобраться, как с помощью vision-language models (VLM) роботы учатся работать с предметами в пространстве.

https://habr.com/ru/companies/ru_mts/articles/1035508/

#VLM #VisionLanguage_Models #робототехника #компьютерное_зрение #3Dмоделирование #spatial_reasoning #retrievalaugmented_generation #NVIDIA #манипуляторы #искусственный_интеллект