#vision_language_models — Public Fediverse posts

Unlimited-OCR от Baidu: читает страницу как картинку

Как вы себе представляете работу OCR? Страничка сканируется, программа находит области с буквами, распознает их и выдает текст. Старый добрый Tesseract так и пашет. А вот новый baidu/Unlimited-OCR делает финт ушами: он вообще не ищет буквы. Он берет всю страницу как картинку , жмет ее в горстку визуальных токенов и скармливает языковой модели, которая разворачивает их обратно в структурированный текст. Звучит как извращение, но… работает. Это прямой наследник идеи DeepSeek-OCR . Сегодня коротко разложу: что это, как устроено, что умеет и как запустить у себя. Будет полезно всем, кто хочет распознавать многостраничные документы за одну проходку или вписать такую функцию в свой проект.

https://habr.com/ru/companies/cloud_ru/articles/1069028/

#OCR #распознавание #LLM #обработка_изображений #скользящее_окно #deepseek_ocr #imagetotext #transformers #vision_language_models

Как собрать Physical AI-конвейер на манипуляторе за 30 тысяч рублей: ROS2, LeRobot и end-to-end imitation learning

Вокруг Physical AI сейчас много шума, но если отбросить красивые слова, у большинства разработчиков до сих пор нет главного — воспроизводимого конвейера на реальном роботе, который можно поднять своими руками, покрутить, записать данные, обучить policy и вернуть её обратно в железо. Обычно всё рассыпается на отдельные куски: где-то есть teleop, где-то есть датасеты, где-то крутится ML-модель, но цельного ROS2-native пути от демонстрации до исплнения почти не видно. В статье вы получите решение, как собрать такой манипулятор самостояетельно и запустить все необходимые программные компоненты из open-source ROS2 пакетов.

https://habr.com/ru/articles/1010178/

#ros2 #lerobot #робототехника #манипулятор #искусственный_интеллект #machinelearning #deeplearning #vla #vision_language_models

Vision Language Models Are Biased
https://vlmsarebiased.github.io/
#ycombinator #VLM #Vision_Language_Models #Bias #Computer_Vision #Counting

Понимает ли Vision Llama импрессионистов?

Всем привет, меня зовут Арсений, я Data Scientist в компании Raft, и сегодня я расскажу вам про Visual Language Models (VLM). Большие языковые модели уже стали частью нашей жизни и мы применяем их, чтобы упростить современную рутину, а так же используем для решения бизнес задач. Недавно вышло новое поколение vision transformer моделей, которые заметно упростили анализ изображений, из какой бы сферы эти изображения не были. Особенно заметным был сентябрьский релиз Llama-3.2-11b, и не только потому что это первая vision модель от Llama, сколько потому, что с ней вместе вышло целое семейство моделей, включая маленькие на 1B и 3B параметров. А как вы знаете, меньше, значит юзабельнее.

https://habr.com/ru/companies/raft/articles/857118/

#Vision_Transformers #Vision_Language_Models #multimodal_llm #Llama32 #qwen2vl #llava #art #art_history