#abbyy — Public Fediverse posts

Прочитал статью про #ABBYY и их лингвистическую вундервафлю. Мне близка и интересна машинная интерпретация языка, пусть я и не лингвист и по работе никогда чем-то похожим не занимался - всё на уровне хобби - бредящие твиттерботы, полуручная заготовка "сырья" для них, всё это ( https://github.com/strizhechenko/epythets ) почему-то показалось мне ух каким весёлым.

В интерфейсах есть такой элемент - #дерево элементов. Реестр в Windows, список папок в thunderbird, проводник, что там ещё. До тех пор:
- пока от него не хотят много - проблем нет
- пока его структуру кто-то целенаправленно контроллирует - проблем почти нет.

И вот их подход был в виде "правильной формальной древовидной структуры, требующей обслуживания" и в статье говорится, что цепляние за эту концепцию в качестве основы системы-переводчика их и погубило (ну пока не погубило, но в процессе, #нейросети обгоняют в экономическом плане, или штат лингвистов или стопка видеокарт, которая матрицы перемножит и случится чудо, стагнация, все дела).

Я несколько раз видел, как компании, разрабатывающие продукты, отказываются от них в пользу полнотекстового поиска.

Когда от дерева начинают *хотеть многого*, особенно если это веб-приложение, например, показывать метаинформацию об элементе, типа число непрочитанных писем внутри папки - его пересчёт становится дороже. Если элементы дерева имеют разные типы и считают доп. информацию по-разному - пересчёт тоже дорожает. А самое неприятное - если этим деревом пользуются несколько пользователей и число элементов в нём растёт, растёт, нужно где-то хранить и как-то передавать список развёрнутых узлов, чтобы пересчитывать не вообще всё и при этом помнить, что клиент держит развёрнутым, а что нет... Чувствуете комбинаторный взрыв, которому кэширование и предвычисление - как мёртвому припарка?

Проблема два - контроль за структурой. Увы, #деревья - это как улицы. Чисто там, где:
- не мусорят
- убирают
- никто не живёт (частный случай п. 1)

Может я луддит, который за эти самые деревья цепляется (один из примеров - структура каталогов в моих заметках-планировщике-дневнике), но блин, дерево - прекрасная вещь. Да, на систематизацию уходит время, но до чего же приятно найти нужный элемент, когда забыл его названия и не можешь придумать по каким словам ещё искать, просто подумав, где бы ты его расположил. В моём случае ещё и "когда" помогает - я обычно заметки маркирую датой в названии (то есть тут даже find + grep помогли бы).

Берегите деревья!

#интерфейсы #структуры

https://iphylo.blogspot.com/2023/08/document-layout-analysis.html #ABBYY #CRF #DjVu #DocumentLayout #HOCR

Some notes to self on document layout analysis. I’m revisiting the problem of taking a PDF or a scanned document and determining its structure (for example, where is the title, abstract, bibliography, where are the figures and their captions, etc.). There are lots of papers on this topic, and lots of tools.

https://iphylo.blogspot.com/2023/08/document-layout-analysis.html #ABBYY #CRF #DjVu #DocumentLayout #HOCR

Some notes to self on document layout analysis. I’m revisiting the problem of taking a PDF or a scanned document and determining its structure (for example, where is the title, abstract, bibliography, where are the figures and their captions, etc.). There are lots of papers on this topic, and lots of tools.