#морфология — Public Fediverse posts

Полмиллиона словоформ для ингушского языка, у которого не было ни анализатора, ни корпуса

У ингушского глагола «деша» на нашей карточке 98 форм — от инфинитива до уступительного перфекта отрицательного , а всего по словарю их вышло полмиллиона . Строить пришлось с нуля: ни морфоанализатора, ни размеченного корпуса для языка не существовало, а учебники спорят друг с другом даже о числе спряжений. Рассказываю, как каждая форма отвечала на главный вопрос — «а ты вообще существуешь?» — и почему половина работы оказалась не про морфологию, а про эпистемологию. Разобраться, существует ли форма

https://habr.com/ru/articles/1076156/

#ингушский_язык #морфология #парадигмы #морфоанализатор #малоресурсные_языки #лингвистика #словарь #корпус_текстов #NLP #SQLite

Математика букв: Wordle и теория информации

Что общего между кроссвордом, тетрисом и пазлом? Все они являются играми-головоломками, которые заставляют игрока шевелить извилинами. Какие-то головоломки построены на применении внимания и усидчивости, какие-то тестируют знания и память, какие-то заставляют формировать стратегию. Но есть и такие, что кажутся на первый взгляд весьма случайными и полагающимися больше на удачу, нежели на точный расчет. К таким относиться Wordle — головоломка, в которой необходимо угадать слово из 5 букв за 6 попыток. Ученые из Бингемтонского университета (Вестал, штат Нью-Йорк, США), используя теорию информации, разработали стратегию для игры в Wordle, которая позволяет «угадывать» слова с точностью 99%. В чем секрет данной стратегии и насколько она сложна? Ответы на эти вопросы мы найдем в докладе ученых.

https://habr.com/ru/companies/ua-hosting/articles/1050786/

#математика #теория_информации #статистика #слова #буквы #wordle #алгоритмы #головоломки #научнопопулярное #морфология

# Морфоанализатор ингушского языка: как мы научили словарь понимать словоформы — и что изменилось за два месяца

В апреле я писал тут про PaydaDosh — открытый словарь и корпус ингушского языка. Та статья была про «вот, собрали всё в одном месте»: 66 тысяч статей, параллельный корпус, ИИ в разделе вопросов. С тех пор прошло два месяца, и проект перестал быть просто словарём. Мы начали строить грамматику — движок, который понимает, как устроено ингушское слово. Это статья про то, как мы это делаем технически: почему ингушская морфология — это больно, как устроен разбор словоформ, где он ломается и что мы с этим делаем. Плюс короткий обзор всего, что наросло вокруг за эти недели — корпус, инструменты, сообщество и первые встречи с академическим институтом. Сразу оговорюсь про честность. Движок работает, но он в бете. Часть форм строится по правилам и может содержать неточности. Я буду показывать и то, что получилось, и то, что пока промахивается — потому что для малого языка вторая часть важнее первой. ДӀахо (читать далее)

https://habr.com/ru/articles/1050186/

#ингушский_язык #лингвистика #словарь #малые_языки #морфология #морфоанализатор #лексикография #омономия #корпус_текстов #NLP

Тридцать лет libmorph

К тридцатилетию публикации проекта 1994 года, который остаётся самым скорострельным морфологическим анализатором. Давным-давно, когда Рунет только появлялся, морфологические анализаторы и системы контроля орфографии уже производили вау-эффект: они не только сводили разные словоформы к основной (словарной), но и зачастую умели их склонять/спрягать, описывали грамматику вхождений и предлагали варианты замены ошибочных начертаний. Да и чуть позже, при появлении первого русского морфологического поиска в Интернет – это был Апорт! – на выставках тоже равнодушных не было. Тогда и родился libmorph.

https://habr.com/ru/articles/1024132/

#морфология #морфологический_анализатор #libmorph #libmorphrus

Искусственный интеллект и клетки крови

Болезни и травмы являются вечными спутниками любого живого организма на протяжение всей его истории существования. Будь то десять тысяч, сто лет или сейчас, мы сталкиваемся с ними, пытаемся понять и излечить, а еще лучше избежать. За века исследований наше понимание собственного теле и всех его функций стало намного более обширным, однако уверенно заявить, что мы знаем абсолютно все, мы не можем. Понимание того, как работают клетки, в частности клетки крови, является крайне важным для предотвращения и/или успешного лечения множества заболеваний. Ученые из Кембриджского университета (Великобритания) разработали систему искусственного интеллекта, которая способна точнее докторов определять нарушения морфологии клеток крови. Как именно работает система, насколько она точнее человеческого взгляда, и каково ее будущее? Ответы на эти вопросы мы найдем в докладе ученых.

https://habr.com/ru/companies/ua-hosting/articles/987374/

#машинное_обучение #искусственный_интеллект #кровь #клетки #морфология #биология #медицина #диагностика #здоровье #анализ_изображений

Токенизация, как ключ к языковым моделям для низкоресурсных языков

Привет Хабр, меня зовут Эдуард, и я хочу поделиться своими наблюдениями о том, как статистические алгоритмы извлекают грамматику из текстов.

https://habr.com/ru/articles/973324/

#морфология #машинное_обучение #низкоресурные_языки #кабардинский #mistral7b #helsinkinlp

Как я создал платформу для изучения иврита: от идеи до работающего сервиса

Я построил полноценную образовательную платформу для изучения иврита — с интерактивными тренажерами, умным словарем на 4000+ слов и системой подписок. В статье рассказываю о нетривиальных технических решениях, архитектурных выборах и ошибках, которые пришлось исправлять по ходу. Продукт: hebrewglot.com Стек: Next.js 15, TypeScript, PostgreSQL + SQLite, Stripe, NextAuth Погнали

https://habr.com/ru/articles/963834/

#иврит #nextjs #typescript #веб_разработка #postgresql #интернационализация #морфология #израиль #языки

Как мы воскресили русский NLP и сократили потребление памяти на 90%

Как мы воскресили русский NLP и сократили потребление памяти на 90% Форкнули четыре ключевых библиотеки русского NLP (pymorphy, razdel, slovnet, natasha), которые не обновлялись годами. Сократили потребление памяти на 90%, ускорили загрузку в 30 раз, повысили точность токенизации с 70% до 95%. Всё работает offline, 100% совместимо с оригинальными API. Экосистема MAWO — production-ready инструменты для работы с русским текстом. Помните ли вы тот момент, когда открываешь проект для обработки русского текста и видишь знакомую картину? В requirements.txt красуется pymorphy2, последний коммит в репозитории датирован 2015 годом, Python 3.12 ругается на deprecated методы, а production ждать не будет. Знакомо? Тогда эта история для вас.

https://habr.com/ru/articles/963748/

#python #nlp #opensource #морфология #natasha #pymorphy #mawo #русский_язык

SteosMorphy: опенсорс замена давно умершему PyMorphy2

PyMorphy2 - самая популярная библиотека для обработки слов в русском языке. Однако последний коммит в репозиторий этой библиотеки был сделан более 5 лет назад, а её установка на Python версии 3.11+ вызывает трудности, что делает использование данной библиотеки в нынешнее время максимально затруднительным. Предлагаю рассмотреть новую Open Source библиотеку SteosMorphy , которая является аналогом PyMorphy, но делает всё быстрее и круче! Ознакомиться

https://habr.com/ru/articles/949604/

#pymorphy #steosmorphy #обработка_языка #nlp #nlp_обработка_текста #pymorphy2 #обработка_слов #морфология #python #golang

Заставляем компьютер видеть цвета без нейросетей: сегментация изображений по старинке

Привет, Хабр! В предыдущей части мы рассматривали базовые методы цифровой обработки изображений для задачи сегментации спутникового снимка. В этой статье рассмотрим ещё парочку методов решения этой задачи, всё ещё «классических», то есть без применения машинного обучения или нейросетей. Помогут нам во всём разобраться, как и в прошлый раз, язык программирования Julia и среда технических расчётов Engee !

https://habr.com/ru/companies/etmc_exponenta/articles/921784/

#обработка_изображений #сегментация #сегментация_изображений #спутниковые_снимки #julia #engee #морфология #бинаризация #фильтрация_изображений

Старый конь борозды не испортит: классические методы обработки изображений все ещё актуальны

Что такое цифровая обработка изображений? Зачем нам вообще знать про алгоритмы обработки, когда есть фотошоп и фильтры в телефоне? Или всё можно отдать нейросети и получить крутой результат? И при чём тут Julia, наконец? Будем разбираться! Мы запускаем серию статей про обработку изображений с использованием языка Julia и вычислительной среды Engee . Задача – ответить на часто встречающиеся вопросы вроде актуальности этого направления компьютерной науки, задач, решаемых методами обработки изображений, применения и реализации стандартных и «умных» алгоритмов. В первой части ознакомимся с основами на примере сегментации спутникового снимка.

https://habr.com/ru/companies/etmc_exponenta/articles/896826/

#Julia #Engee #MATLAB #обработка_изображений #сегментация #спутниковые_снимки #морфология #бинаризация #предобработка #фильтрация_изображений

Кабель из бактерий и полимерная слизь

Если мы чего-то не видим — это не значит, что его нет. Данный принцип отлично описывает микромир, населенный вирусами, грибками и бактериями. Многие из них безобидны или даже приносят пользу, однако есть и те, что несут вред. Дабы бороться с вредными бактериями и способствовать развитию полезных, нужно четко понимать процессы и механизмы, опосредствующие их рост, развитие и размножение. В частности, важным фактором является среда обитания. Ученые из Калифорнийского технологического института (Пасадина, США) провели исследование бактерий, обитающий в полимерных жидкостях (например, слизь), установив, что они формируют необычные канатоподобные структуру. Как было сделано данное открытие, в чем необычность этих бактерий, и какова польза от данного открытия? Ответы на эти вопросы мы найдем в докладе ученых.

https://habr.com/ru/companies/ua-hosting/articles/875946/

#бактерии #морфология #динамика_жидкостей #полимеры #слизь #медицина #здоровье #биология #микроорганизмы

Прародитель T1000: алгоритм динамической морфологии мягких роботов

Первые роботы, чей внешний вид напоминал Железного Дровосека, постепенно уступают дорогу мягким роботам, спектр применения которых растет с каждым новым исследованием. Мягкие роботы могут оперировать в условиях и средах, которые были бы недостижимы их жестким собратьям. Однако, развитие и совершенствование мягкой робототехники далеко от завершения. К примеру, ученые из Массачусетского технологического института (Кембридж, США) разработали новый метод машинного обучения, который позволит динамически управлять роботами с адаптируемой морфологией. В чем суть данного метода, насколько он эффективен, и где могут быть применены «желеобразные» роботы? Ответы на эти вопросы мы найдем в докладе ученых.

https://habr.com/ru/companies/ua-hosting/articles/814741/

#алгоритмы #машинное_обучение #мягкие_роботы #искусственный_интеллект #роботы #робототехника #локомоция #морфология #изменение_формы