#семантический_анализ — Public Fediverse posts

Как я строю нейросимвольное извлечение условий из тендерных документов

Рабочее название прототипа: Tender Semantic Engine (TSE) Если фрагмент оказался неправильным ответом на один вопрос, сначала стоит проверить, не является ли он правильным ответом на другой. Задача, которая только кажется простой Я разрабатываю настольную систему для работы с тендерами. Один из ее модулей должен читать комплект закупочной документации и переносить в карточку тендера конкретные условия: порядок оплаты, аванс, срок и место поставки, гарантию, обеспечение, штрафы и другие обязательства сторон. Обычно один комплект состоит из договора, технического задания, спецификаций, приложений и Excel-таблиц. В текущем контуре обрабатываются Word, Excel и PDF с текстовым слоем. Сканированные документы и OCR пока рассматриваются как отдельная задача. Сначала кажется, что достаточно регулярных выражений, ключевых слов, классификатора или современной LLM. Но основная проблема не в том, чтобы найти предложение со словами «поставка», «оплата» или «гарантия». Нужно понять, какое действие оно выражает и к какому условию относится числовое значение.

https://habr.com/ru/articles/1084984/

#NLP #LLM #извлечение_информации #семантический_анализ #онтологии #нейросимвольные_системы #тендерная_документация #knowledge_graph #машинное_обучение #Qwen

Ассемблер смыслов: от алгоритмов Маркова к кириллическому байткоду

Как естественный язык может стать мнемоническим интерфейсом для низкоуровневых вычислений.* Между человеческой мыслью и машинным кодом всегда лежала пропасть. Чтобы заставить процессор выполнить действие, мы проходим через синтаксис высокого уровня, компиляцию, линковку и виртуальные машины, но так было не всегда. В середине XX века Андрей Марков предложил нормальные алгоритмы , названные впоследствии НАМ, где вычисления описывались как последовательность подстановок символов. Позже появились предметно-ориентированные языки (DSL), пытавшиеся адаптационно приблизить код к задаче. Суть идеи была ясна, чем ближе язык описания к смыслам операции, тем лучше сама трансляция. Я пошел по этому пути дальше ,не сразу и сейчас, уже много лет идея крутилась в голове и все никак не могла достучаться до реализации. И вот наконец предположил, что нам не нужно изобретать новый синтаксис. Достаточно поновому использовать уже существующий инструмент — русский язык. Оказалось, что 33 буквы русского алфавита обладают удивительным свойством: они могут служить готовыми мнемониками для базовых операций процессора (x86/ARM). Это не новый язык программирования. Это семантический метаязык , позволяющий человеку выступать в роли компилятора, а машине — в роли интерпретатора чистого смысла.

https://habr.com/ru/articles/1083132/

#ассемблер #архитектура_процессора #dsl #алгоритмы_маркова #семантический_анализ #компиляторы #нейросимволический_ии

«Эмбеддинги на примерах с собаками», или как работать с векторными представлениями: книги и руководства по теме

Мы в

https://habr.com/ru/companies/beeline_cloud/articles/1033544/

#beeline_cloud #эмбеддинги #векторные_представления #семантический_анализ #семантический_поиск

Разработка нового статического анализатора: PVS-Studio JavaScript

Вот уже 18 лет статический анализатор кода PVS-Studio находится на рынке. За это время он обзавёлся поддержкой языков C, C++, C# и Java. Разумеется, останавливаться на этих языках мы не планируем, и в этой статье расскажем про разработку нового JavaScript/TypeScript анализатора, который выйдет уже совсем скоро.

https://habr.com/ru/companies/pvs-studio/articles/1023894/

#pvsstudio #opensource #javascript #typescript #java #gRPC #static_analysis #статический_анализ #AST #семантический_анализ