#открытые_данные — Public Fediverse posts
Live and recent posts from across the Fediverse tagged #открытые_данные, aggregated by home.social.
-
Как мы собираем ингушский язык: словарь, корпус и ИИ в одном проекте
Ингушский язык — один из нахских языков кавказской семьи, родной для примерно 400–500 тысяч человек. На нём говорят в Ингушетии, частично в Чечне и диаспоре по всей России. Язык живой и имеет государственный статус, но его цифровое присутствие долго оставалось минимальным: разрозненные PDF-словари, несколько сообществ в соцсетях, почти ничего пригодного для повседневного использования. Так появился PaydaDosh — открытая лингвистическая платформа, которая сегодня является крупнейшим онлайн-словарём ингушского языка.
https://habr.com/ru/articles/1024816/
#ингушский_язык #лингвистика #словарь #малые_языки #лексикография #корпус_текстов #NLP #открытые_данные
-
Только 12,5% игр в «Стиме» получают пользовательский отклик
Data-driven разбор рынка Steam 2021–2025 Каждый год десятки тысяч разработчиков выходят в Steam с надеждой, что их игра «найдет аудиторию». Платформа кажется демократичной: опубликуй игру, заплати сбор — и ты рядом с хитами. Но так ли хорошо у них дела? Данные говорят, что на деле Steam — это жесточайший рынок за внимание игроков, где либо ты привлек игроков на старте, либо тебя, вероятнее всего, ждет забвение… Представляю результат анализа данных из Steam за 2021–2025 годы (≈65 000 игр) .
-
Новые финансовые бенчмарки для LLM. Лаборатории ИИ «Финама»
В Лаборатории искусственного интеллекта «Финама» мы изучаем и развиваем применение ИИ в домене финансов: от бенчмаркинга LLM до прикладных сценариев в трейдинге и управлении рисками. Сегодня хотим поделиться с вами нашим исследовательским проектом. В последнее время мы все чаще встречаем новости вроде “ИИ от OpenAI взял «золото» Международной олимпиады по информатике” . Главное преимущество такого формата оценки — уверенность, что задания оригинальные и что, при обучении модели они не встречались в идентичном виде. Наша лаборатория поставила себе задачу узнать — насколько обширны знания LLM в области экономики, финансов и трейдинга. Вначале мы тестировали модели на открытых Question Answering (QA) бенчмарках (FinQA, ConvFinQA, TATQA), но столкнулись с несоответствием результатов на бенчмарках и в реальном hands-on тестировании. В результате мы пришли к идее использовать для оценки LLM форматы, близкие к существующим сертификационным экзаменам, которые сдают инвесторы для подтверждения своей квалификации CFA-like Level 1, 2, 3 ( Chartered Financial Analyst ) и CMT-like Level 2 ( Chartered Market Technician ). Для проверки того, знают ли модели специфику российского рынка, мы собрали бенчмарк на основе олимпиады « Высшая лига » по трекам «Финансы и инвестиции» и «Мировая экономика». В открытом доступе ( GitHub ) опубликованы не только результаты наших замеров, но и единый фреймворк, поддерживающий как наши новые бенчмарки, так и уже существующие. Надеемся, это поможет развитию LLM4Trading!
https://habr.com/ru/companies/finam_broker/articles/989842/
#искусственный_интеллект #llmмодели #финансовые_бенчмарки #cfa #трейдинг #машинное_обучение #оценка_моделей #российский_рынок #fintech #открытые_данные
-
200 000+ снимков мусора: что мы узнали о датасетах
В нашей работе хватает безумных задач. Мы создали первого в России цифрового PR-менеджера, разрабатывали виртуальную примерочную и делали много чего еще, о чем не всегда можно рассказать. Но когда мы взялись за создание ИИ-сортировщика мусора MARQUS, поняли — будет совсем жестко. Не так давно мы создали систему сортировки ТКО (Твердых коммунальных отходов) MARQUS, которая делит отходы на бумагу, металл, пластик, стекло и т.д. Система использует искусственный интеллект и специальные сенсоры, чтобы распознавать различные типы отходов прямо на конвейере и направлять их в соответствующие секции для переработки. В процессе разработки MARQUS мы столкнулись с задачей — найти или собрать подходящие датасеты, так как без них эффективность нейронной сети резко снижается, если вообще приближается к нулю. Мы перепробовали множество подходов, пересмотрели доступные датасеты с готовой разметкой и потратили достаточное количество времени и денег, чтобы честно признаться — на обучении нейронок сэкономить не получится, но обо всем по порядку.
https://habr.com/ru/articles/924696/
#управление_проектами #искусственный_интеллект #Машинное_обучение #открытые_данные #разметка_датасета #сбор_данных_для_ии #парсинг_данных #разметка_данных
-
200 000+ снимков мусора: что мы узнали о датасетах
В нашей работе хватает безумных задач. Мы создали первого в России цифрового PR-менеджера, разрабатывали виртуальную примерочную и делали много чего еще, о чем не всегда можно рассказать. Но когда мы взялись за создание ИИ-сортировщика мусора MARQUS, поняли — будет совсем жестко. Не так давно мы создали систему сортировки ТКО (Твердых коммунальных отходов) MARQUS, которая делит отходы на бумагу, металл, пластик, стекло и т.д. Система использует искусственный интеллект и специальные сенсоры, чтобы распознавать различные типы отходов прямо на конвейере и направлять их в соответствующие секции для переработки. В процессе разработки MARQUS мы столкнулись с задачей — найти или собрать подходящие датасеты, так как без них эффективность нейронной сети резко снижается, если вообще приближается к нулю. Мы перепробовали множество подходов, пересмотрели доступные датасеты с готовой разметкой и потратили достаточное количество времени и денег, чтобы честно признаться — на обучении нейронок сэкономить не получится, но обо всем по порядку.
https://habr.com/ru/articles/924696/
#управление_проектами #искусственный_интеллект #Машинное_обучение #открытые_данные #разметка_датасета #сбор_данных_для_ии #парсинг_данных #разметка_данных
-
200 000+ снимков мусора: что мы узнали о датасетах
В нашей работе хватает безумных задач. Мы создали первого в России цифрового PR-менеджера, разрабатывали виртуальную примерочную и делали много чего еще, о чем не всегда можно рассказать. Но когда мы взялись за создание ИИ-сортировщика мусора MARQUS, поняли — будет совсем жестко. Не так давно мы создали систему сортировки ТКО (Твердых коммунальных отходов) MARQUS, которая делит отходы на бумагу, металл, пластик, стекло и т.д. Система использует искусственный интеллект и специальные сенсоры, чтобы распознавать различные типы отходов прямо на конвейере и направлять их в соответствующие секции для переработки. В процессе разработки MARQUS мы столкнулись с задачей — найти или собрать подходящие датасеты, так как без них эффективность нейронной сети резко снижается, если вообще приближается к нулю. Мы перепробовали множество подходов, пересмотрели доступные датасеты с готовой разметкой и потратили достаточное количество времени и денег, чтобы честно признаться — на обучении нейронок сэкономить не получится, но обо всем по порядку.
https://habr.com/ru/articles/924696/
#управление_проектами #искусственный_интеллект #Машинное_обучение #открытые_данные #разметка_датасета #сбор_данных_для_ии #парсинг_данных #разметка_данных
-
200 000+ снимков мусора: что мы узнали о датасетах
В нашей работе хватает безумных задач. Мы создали первого в России цифрового PR-менеджера, разрабатывали виртуальную примерочную и делали много чего еще, о чем не всегда можно рассказать. Но когда мы взялись за создание ИИ-сортировщика мусора MARQUS, поняли — будет совсем жестко. Не так давно мы создали систему сортировки ТКО (Твердых коммунальных отходов) MARQUS, которая делит отходы на бумагу, металл, пластик, стекло и т.д. Система использует искусственный интеллект и специальные сенсоры, чтобы распознавать различные типы отходов прямо на конвейере и направлять их в соответствующие секции для переработки. В процессе разработки MARQUS мы столкнулись с задачей — найти или собрать подходящие датасеты, так как без них эффективность нейронной сети резко снижается, если вообще приближается к нулю. Мы перепробовали множество подходов, пересмотрели доступные датасеты с готовой разметкой и потратили достаточное количество времени и денег, чтобы честно признаться — на обучении нейронок сэкономить не получится, но обо всем по порядку.
https://habr.com/ru/articles/924696/
#управление_проектами #искусственный_интеллект #Машинное_обучение #открытые_данные #разметка_датасета #сбор_данных_для_ии #парсинг_данных #разметка_данных
-
Как мы строили систему для проверки людей и компаний
Это моя первая статья на Хабре. Формат нащупываю. Хотелось бы сразу с кейсами и диаграммами, но решил начать с простого — краткий разбор архитектуры нашего сервиса и того, как мы пришли к текущему состоянию. Сервис — это проверка физических и юридических лиц по открытым источникам. Пользователь вводит ИНН или ФИО и получает отчёт: есть ли долги, исполнительные производства, признаки банкротства, участие в сомнительных организациях и так далее. Отчёт собирается на лету по 10+ источникам. Система существует давно. Код — не идеален. Архитектура — не микросервисная. Docker и Kubernetes у нас не прижились, зато есть реальный боевой опыт. Ниже — краткий разбор, как оно устроено, какие ошибки мы прошли и как всё это выживает под нагрузкой.
https://habr.com/ru/articles/916624/
#проверка_контрагентов #открытые_данные #архитектура_системы #агрегаторы_данных #saas #госданные #b2c #b2b #источники_данных #автоматизация
-
Анализ тенденций арт-рынка
Арт‑рынок непонятен для многих и работает по своим неписанным законам, которые иногда непонятны даже для самих участников рынка. Более того, процессы, происходящие в этой сфере зачастую противоречат сами себе, и бывает сложно делать верные выводы и строить прогнозы. Но, что точно не вызывает сомнений — что коронокризис дал арт‑рынку тот самый пинок , который сдвинул с места очень консервативную неповоротливую прекрасную, но смотрящую свысока на всех вокруг, машину арт‑рынка. После взлета онлайн‑продаж 2020–2021 гг. существенная часть арт‑рынка стала использовать те же инструменты, что другие классические рынки товаров:
-
Как я за год написал шесть больших научных статей и несколько маленьких
Без «литературных негров» и чатГПТ — личный рассказ об инструментах, технологиях и приёмах, которые помогли мне не вылететь из аспирантуры и догнать коллег. Открытые данные, Python, R, RMarkdown, Quarto, git и немного ИИ в помощь исследователю.
https://habr.com/ru/articles/898038/
#научные_исследования #научная_работа #научные_статьи #открытые_данные #публикации #rmarkdown #deepl #rstudio #git #r_lang
-
SOAP, XML и Python: получаем данные с zakupki.gov.ru
Эта статья написана для начинающих пользователей, которые хотят разобраться в работе сервиса отдачи информации zakupki.gov.ru. Мы шаг за шагом разберем, как получить токен для физического лица, как выглядит XML-документ для запроса и как написать простую программу на Python для взаимодействия с сервисом. Это не руководство от профессионала, а скорее дневник выживания: как не сойти с ума, пока пытаешься подружиться с сервисом zakupki.gov.ru.
-
Оголяем «данные» и что из этого вышло
Однажды я задался целью создать устройство, которое измеряло бы качество воздуха — не просто как-то, а с высокой точностью. Проект по разработке устройства привел к созданию NeboAir — недорогого датчика, который претендует на высокую точность. В этом материале я расскажу об испытаниях в реальных условиях и о том, что получилось в итоге.
https://habr.com/ru/articles/848320/
#открытые_данные #стартап #экология #визуализация_данных #графики #графики_и_диаграммы #исследование #наука #наука_о_данных #наука_и_технологии
-
Open Street Map — OSINT-инструмент для маркетологов
Собрать базу телефонов / email для холодных контактов можно несколькими способами: 1) купить готовую базу 2) написать и запустить парсер сайтов по списку 3) собирать в режиме ручного поиска в интернете Все перечисленные способы имеют свои преимущества и недостатки. В статье мы разобрали еще один способ, тоже не идеальный, но с двумя большими плюсами — быстро и бесплатно.
-
Open Research Knowledge Graph: новый подход к научной коммуникации
На сегодняшний день для представления и обмена результатами исследований мы используем методы, которые были разработаны много веков назад. С момента зарождения современной науки (публикации первого научного журнала "Transactions of the Royal Philosophical Society", 1665 г.) мы используем все тот же метод передачи научных знаний – статьи. Немецкая национальная научно-техническая библиотека TIB и исследовательский центр L3S при Университете Лейбница в Ганновере изобретают новый подход к научной коммуникации. Вместо того чтобы представлять исследования в виде статичных PDF файлов, они работают над динамическим графом знаний - Open Research Knowledge Graph , где научные идеи, подходы и методы представлены в структурированном машиночитаемом формате.
https://habr.com/ru/articles/796553/
#научные_статьи #граф_знаний #открытые_данные #научная_коммуникация #семантика
-
Новости из мира OpenStreetMap за январь
Медитируем под звуки правок, запасаемся тайлами, ищем места из аниме и готовимся к 20-летию OpenStreetMap. Погрузиться
https://habr.com/ru/articles/792426/
#openstreetmap #карты #новости #дайджест #открытые_данные #сообщество
-
Новости из мира OpenStreetMap за декабрь
Новогодние подарки, выборы, долой OAuth 1.0, OSM в науке, QGIS и на бумаге, а также 700-ый выпуск weeklyOSM!
https://habr.com/ru/articles/784856/
#openstreetmap #карты #дайджест #открытые_данные #новости #сообщество #qgis
-
Новости из мира OpenStreetMap за ноябрь
Ограничения в API, главная конференция сообщества, природный стиль в Organic Maps и много-много карт от участников #30DayMapChallenge
https://habr.com/ru/articles/779440/
#openstreetmap #карты #дайджест #открытые_данные #новости #сообщество