#spacy — Public Fediverse posts
Live and recent posts from across the Fediverse tagged #spacy, aggregated by home.social.
-
Извлечение и обработка требований из документов с помощью NLP-инструментов
Приветствую всех читателей Хабр. Думаю, многим знаком этот сценарий: появляется задача — и первая мысль: «скормлю все LLM, она разберётся». Поначалу получается красиво, всё работает и есть первые результаты. Потом начинаешь проверять детали и замечаешь, что модель местами добавляет текст от себя. Потом смотришь на затрачиваемое время и понимаешь, что при текущей скорости обработка всего объёма документов закончится через год. Именно в такой ситуации я оказался, когда захотел обработать базу ГОСТов. Эта статья — про то, как я прошёл путь от « кидаем всё в LLM » до детерминированного пайплайна на классических NLP-инструментах . И про то, как в этом помогли те же самые языковые модели — но уже в роли консультантов, а не рабочей лошадки.
-
The clever people at explosion.ai (makers of #spaCy) have something new in the making, a framework to run NLP in collaboration with agentic AI. Sounds fascinating, but I yet have to read all the docs...
Homepage: https://beta.ellf.ai/
@ines 's Slides: https://speakerdeck.com/inesmontani/vibe-nlp-for-applied-nlp -
The clever people at explosion.ai (makers of #spaCy) have something new in the making, a framework to run NLP in collaboration with agentic AI. Sounds fascinating, but I yet have to read all the docs...
Homepage: https://beta.ellf.ai/
@ines 's Slides: https://speakerdeck.com/inesmontani/vibe-nlp-for-applied-nlp -
The clever people at explosion.ai (makers of #spaCy) have something new in the making, a framework to run NLP in collaboration with agentic AI. Sounds fascinating, but I yet have to read all the docs...
Homepage: https://beta.ellf.ai/
@ines 's Slides: https://speakerdeck.com/inesmontani/vibe-nlp-for-applied-nlp -
The clever people at explosion.ai (makers of #spaCy) have something new in the making, a framework to run NLP in collaboration with agentic AI. Sounds fascinating, but I yet have to read all the docs...
Homepage: https://beta.ellf.ai/
@ines 's Slides: https://speakerdeck.com/inesmontani/vibe-nlp-for-applied-nlp -
The clever people at explosion.ai (makers of #spaCy) have something new in the making, a framework to run NLP in collaboration with agentic AI. Sounds fascinating, but I yet have to read all the docs...
Homepage: https://beta.ellf.ai/
@ines 's Slides: https://speakerdeck.com/inesmontani/vibe-nlp-for-applied-nlp -
Что писала Цветаева о любви. Исследование лирики на Python
Как Марина Цветаева умела говорить о любви? Мне стало интересно исследовать творчество Цветаевой с помощью Python и вычислить те поэтические инструменты, которые она использует для выражения любви и описания таких чувств в поэзии. Некоторые открытия оказались весьма неожиданны.
https://habr.com/ru/articles/1019604/
#python #pymorphy2 #spacy #navec #чтение_книг #литература #поэзия #поэзия_и_проза #проза #научнопопулярное
-
Что писала Цветаева о любви. Исследование лирики на Python
Как Марина Цветаева умела говорить о любви? Мне стало интересно исследовать творчество Цветаевой с помощью Python и вычислить те поэтические инструменты, которые она использует для выражения любви и описания таких чувств в поэзии. Некоторые открытия оказались весьма неожиданны.
https://habr.com/ru/articles/1019604/
#python #pymorphy2 #spacy #navec #чтение_книг #литература #поэзия #поэзия_и_проза #проза #научнопопулярное
-
Что писала Цветаева о любви. Исследование лирики на Python
Как Марина Цветаева умела говорить о любви? Мне стало интересно исследовать творчество Цветаевой с помощью Python и вычислить те поэтические инструменты, которые она использует для выражения любви и описания таких чувств в поэзии. Некоторые открытия оказались весьма неожиданны.
https://habr.com/ru/articles/1019604/
#python #pymorphy2 #spacy #navec #чтение_книг #литература #поэзия #поэзия_и_проза #проза #научнопопулярное
-
Что писала Цветаева о любви. Исследование лирики на Python
Как Марина Цветаева умела говорить о любви? Мне стало интересно исследовать творчество Цветаевой с помощью Python и вычислить те поэтические инструменты, которые она использует для выражения любви и описания таких чувств в поэзии. Некоторые открытия оказались весьма неожиданны.
https://habr.com/ru/articles/1019604/
#python #pymorphy2 #spacy #navec #чтение_книг #литература #поэзия #поэзия_и_проза #проза #научнопопулярное
-
@sascha_wolfer Have you looked into Holmes? It’s build on top of #spacy and I remember it being able to extract tokens from compound words: https://github.com/richardpaulhudson/holmes-extractor
-
Использование библиотеки spaCy для поиска сущностей в тексте
Снова приветствую всех читателей Хабр. В предыдущей статье был приведен пример создания кода проекта для задачи автоматизации обработки данных, в результате чего получилось подготовить нужную информацию по модели данных ЛОЦМАН: PLM. Эти данные планируется использовать для построения механизмов обработки поисковых запросов пользователей к базе ЛОЦМАН:PLM — в частности, для распознавания сущностей в тексте запроса. Это позволит понимать, на какие объекты модели данных ссылается пользователь: изделия, их параметры, типы документов и так далее. Для решения новой задачи я решил опробовать возможности библиотеки spaCy , в которой сущности можно распознавать на основе заранее заданных паттернов. В ходе экспериментов с библиотекой и её модулями EntityRuler и SpanRuler я столкнулся с рядом особенностей, и в данной статье делюсь накопленным опытом и наработками — надеюсь, они окажутся полезными и для вас.
-
Использование библиотеки spaCy для поиска сущностей в тексте
Снова приветствую всех читателей Хабр. В предыдущей статье был приведен пример создания кода проекта для задачи автоматизации обработки данных, в результате чего получилось подготовить нужную информацию по модели данных ЛОЦМАН: PLM. Эти данные планируется использовать для построения механизмов обработки поисковых запросов пользователей к базе ЛОЦМАН:PLM — в частности, для распознавания сущностей в тексте запроса. Это позволит понимать, на какие объекты модели данных ссылается пользователь: изделия, их параметры, типы документов и так далее. Для решения новой задачи я решил опробовать возможности библиотеки spaCy , в которой сущности можно распознавать на основе заранее заданных паттернов. В ходе экспериментов с библиотекой и её модулями EntityRuler и SpanRuler я столкнулся с рядом особенностей, и в данной статье делюсь накопленным опытом и наработками — надеюсь, они окажутся полезными и для вас.
-
Использование библиотеки spaCy для поиска сущностей в тексте
Снова приветствую всех читателей Хабр. В предыдущей статье был приведен пример создания кода проекта для задачи автоматизации обработки данных, в результате чего получилось подготовить нужную информацию по модели данных ЛОЦМАН: PLM. Эти данные планируется использовать для построения механизмов обработки поисковых запросов пользователей к базе ЛОЦМАН:PLM — в частности, для распознавания сущностей в тексте запроса. Это позволит понимать, на какие объекты модели данных ссылается пользователь: изделия, их параметры, типы документов и так далее. Для решения новой задачи я решил опробовать возможности библиотеки spaCy , в которой сущности можно распознавать на основе заранее заданных паттернов. В ходе экспериментов с библиотекой и её модулями EntityRuler и SpanRuler я столкнулся с рядом особенностей, и в данной статье делюсь накопленным опытом и наработками — надеюсь, они окажутся полезными и для вас.
-
Использование библиотеки spaCy для поиска сущностей в тексте
Снова приветствую всех читателей Хабр. В предыдущей статье был приведен пример создания кода проекта для задачи автоматизации обработки данных, в результате чего получилось подготовить нужную информацию по модели данных ЛОЦМАН: PLM. Эти данные планируется использовать для построения механизмов обработки поисковых запросов пользователей к базе ЛОЦМАН:PLM — в частности, для распознавания сущностей в тексте запроса. Это позволит понимать, на какие объекты модели данных ссылается пользователь: изделия, их параметры, типы документов и так далее. Для решения новой задачи я решил опробовать возможности библиотеки spaCy , в которой сущности можно распознавать на основе заранее заданных паттернов. В ходе экспериментов с библиотекой и её модулями EntityRuler и SpanRuler я столкнулся с рядом особенностей, и в данной статье делюсь накопленным опытом и наработками — надеюсь, они окажутся полезными и для вас.
-
Весь такой перцептивный. Сенсорная атмосфера в прозе. Пример анализа художественного текста на Python
Анализ глаголов восприятия в прозе Паустовского с помощью Python: подход цифрового гуманитария для NLP-разработчиков.
https://habr.com/ru/articles/977210/
#проза #поэзия #писатель #python #pymorphy #tokenizer #spacy #wordnet
-
Весь такой перцептивный. Сенсорная атмосфера в прозе. Пример анализа художественного текста на Python
Анализ глаголов восприятия в прозе Паустовского с помощью Python: подход цифрового гуманитария для NLP-разработчиков.
https://habr.com/ru/articles/977210/
#проза #поэзия #писатель #python #pymorphy #tokenizer #spacy #wordnet
-
Весь такой перцептивный. Сенсорная атмосфера в прозе. Пример анализа художественного текста на Python
Анализ глаголов восприятия в прозе Паустовского с помощью Python: подход цифрового гуманитария для NLP-разработчиков.
https://habr.com/ru/articles/977210/
#проза #поэзия #писатель #python #pymorphy #tokenizer #spacy #wordnet
-
Весь такой перцептивный. Сенсорная атмосфера в прозе. Пример анализа художественного текста на Python
Анализ глаголов восприятия в прозе Паустовского с помощью Python: подход цифрового гуманитария для NLP-разработчиков.
https://habr.com/ru/articles/977210/
#проза #поэзия #писатель #python #pymorphy #tokenizer #spacy #wordnet
-
Пейзажная лирика глазами кода
Где заканчивается слово и начинается образ? Использую Python для поиска особенностей творчества К.Г. Паустовского.
-
Пейзажная лирика глазами кода
Где заканчивается слово и начинается образ? Использую Python для поиска особенностей творчества К.Г. Паустовского.
-
Пейзажная лирика глазами кода
Где заканчивается слово и начинается образ? Использую Python для поиска особенностей творчества К.Г. Паустовского.
-
Пейзажная лирика глазами кода
Где заканчивается слово и начинается образ? Использую Python для поиска особенностей творчества К.Г. Паустовского.
-
For anyone working in #DigitalHumanities, #spaCy is a powerful good old Python #NLP library for processing text: It can identify word types, base forms (lemmas), sentence structure (dependency parsing), recognize named entities (NER), etc. 1/
Spacy Analyzer - a Hugging Fac... -
#reggae #abstract #chill #spacy #no_ai_bullshit
It doesn't always have to be concrete; we would say this
album is more abstract, like a painting by Jackson Pollock.
We make music not entertainment.
U-Tube
https://youtube.com/playlist?list=OLAK5uy_mwO9JiVASD9RRL6v5nisvUKSPj-aD1Io4&si=a4W2THtEOxnhOtOM
Apple
https://music.apple.com/de/album/up-dub-session-ten/1837975105
Deezer
https://www.deezer.com/de/album/816713151
Ur fav isn´t listed, check diz.
https://frontl.ink/k5bm2nb -
Переводим fb2 книжки, с нейронками, для себя
Хотел написать классическую статью, ни разу не писал, ради интереса попросил ChatGPT и она все написала, стало скучно до жути, эта «классическая » статья будет под спойлером, она реально по теме, написана с двух запросов, а далее будет кратенько и технически что и зачем, со ссылками на примеры. Для технической части нужны знания python, llm, cuda и что такое OpenAI API.
https://habr.com/ru/articles/946870/
#перевод #переводы #fb2 #scifi #spacy #python #cuda #llm #llmмодели #llmприложения
-
[LangExtract](https://developers.googleblog.com/en/introducing-langextract-a-gemini-powered-information-extraction-library/) has got me curious, but I don't get what makes it different from a [spacy-llm/prodigy](https://prodi.gy/docs/large-language-models) setup. Is it just that I am spared the effort of chunking long input and/or constructing output JSON from entities and offsets by writing the corresponding python code myself?...
Ah, one more difference is that langextract is #OpenSource whereas prodigy is not (?). (On the other hand, prodigy has a better integration with a correction+training workflow.)
-
[LangExtract](https://developers.googleblog.com/en/introducing-langextract-a-gemini-powered-information-extraction-library/) has got me curious, but I don't get what makes it different from a [spacy-llm/prodigy](https://prodi.gy/docs/large-language-models) setup. Is it just that I am spared the effort of chunking long input and/or constructing output JSON from entities and offsets by writing the corresponding python code myself?...
Ah, one more difference is that langextract is #OpenSource whereas prodigy is not (?). (On the other hand, prodigy has a better integration with a correction+training workflow.)
-
[LangExtract](https://developers.googleblog.com/en/introducing-langextract-a-gemini-powered-information-extraction-library/) has got me curious, but I don't get what makes it different from a [spacy-llm/prodigy](https://prodi.gy/docs/large-language-models) setup. Is it just that I am spared the effort of chunking long input and/or constructing output JSON from entities and offsets by writing the corresponding python code myself?...
Ah, one more difference is that langextract is #OpenSource whereas prodigy is not (?). (On the other hand, prodigy has a better integration with a correction+training workflow.)
-
[LangExtract](https://developers.googleblog.com/en/introducing-langextract-a-gemini-powered-information-extraction-library/) has got me curious, but I don't get what makes it different from a [spacy-llm/prodigy](https://prodi.gy/docs/large-language-models) setup. Is it just that I am spared the effort of chunking long input and/or constructing output JSON from entities and offsets by writing the corresponding python code myself?...
Ah, one more difference is that langextract is #OpenSource whereas prodigy is not (?). (On the other hand, prodigy has a better integration with a correction+training workflow.)
-
[LangExtract](https://developers.googleblog.com/en/introducing-langextract-a-gemini-powered-information-extraction-library/) has got me curious, but I don't get what makes it different from a [spacy-llm/prodigy](https://prodi.gy/docs/large-language-models) setup. Is it just that I am spared the effort of chunking long input and/or constructing output JSON from entities and offsets by writing the corresponding python code myself?...
Ah, one more difference is that langextract is #OpenSource whereas prodigy is not (?). (On the other hand, prodigy has a better integration with a correction+training workflow.)
-
End of day conclusion: it sucks and there's going to be some false-positives that I probably can't get rid of.
A two phase "get what I want, get what I don't want, and subtract the latter from the former in case 'what I want' had false positives" have WORSE behaviour because "what I don't want" was returning far too much "what I want" as well.
SpaCy and part of speech tagging was more powerful and accurate and easier to manage (and more enjoyable to work with) BUT more prone to missing things or extracting slightly less natural terms (because I was trying not to extract excessively verbose and unnecessary terms)
-
CorpusExplorer (Update Q2 2025)
Das Q2-Update für 2025 hält folgende Änderungen/Neuerungen bereit:
- Neue Import-Formate:
- Rotterdam Exchange Format Initiative (REFI-QDA). Daten die z. B. als QDA-Tools als REFI-kompatibel exportiert werden, lassen sich importieren. QDA-Tools wie MaxQDA (o. ä.) erlauben es komplexe Annotationssets einzusetzen. Um eine Vergleichbarkeit auch bei tiefen Sets zu ermöglichen, verflacht der CorpusExplorer diese Sets.
- Songkorpus: Daten von https://songkorpus.de/ werden jetzt unterstützt.
- Neue Export-Formate:
- Es gibt jetzt das Export-Format „R-Friendly“ – dass ein Korpus so exportiert, dass es sich mit der Programmiersprache R leichter einlesen lässt.
- CEC (CorpusExplorerConsole):
- Neue Analyse „cooccurrence-network“ – die es erlaubt, ein Kookkurrenz-Netzwerk mittels community-detection zu analysieren und die Daten als Gephi-kompatibler Graph ausgibt.
- Die Funktion „layer-rename“ wurde optimiert.
- Wird die cec auf einem Linux-System von mehreren Nutzern gemeinsam verwendet, werden ab jetzt Fehler durch die parallele Nutzung vermieden.
- Allgemeine Verbesserungen:
- Einstellungen werden jetzt als JSON und nicht mehr XML serialisiert.
- Der Importer für KorAP-ZIP wurde verbessert, fehlerhafte Rohdaten führen jetzt nicht mehr zu einem intensiven RAM-Verbrauch.
- Vorbereitungen für die Bereitstellung des SpaCy-Tagger (Python).
- Allgemeine Korrekturen und Verbesserungen.
#communityDetection #KorAP #Linux #MaxQDA #QDA #R #REFI #REFIQDA #songkorpus #SpaCy
- Neue Import-Formate:
-
Что такое NER, зачем он нужен и когда не поможет
Про NER написано немало, но этот материал носит прикладной характер. Статья будет полезна тем, кто интересуется NLP и ищет разные подходы для решения узкопрофильных задач, требующих извлечения сущностей из текста. Для джунов это возможность пройти весь путь — от разметки данных до обучения собственной кастомной NER-модели, попутно понять типичные сложности и ограничения. Привет, меня зовут Александр Агеев, на протяжении года я занимался NER-моделями для определения сущностей на этикетках продуктов питания. Несмотря на мою любовь к NER, у этой технологии есть свои границы — кейсы, которые она не может решить хорошо, поэтому надо подключать другие инструменты. В статье я дам критерии применимости NER для решения практических задач.
https://habr.com/ru/articles/921698/
#нейросети_python #named_entity_recognition #ner #natural_language_processing #nlp #spacy #примеры_кода #обучение_моделей
-
PySBD est utilisable, également, en tant que « composant » greffé à #SpaCy
Lien : https://spacy.io/universe/project/python-sentence-boundary-disambiguation/
-
Learn how to OCR a PDF in Python and boost your PDF text extraction. Our spaCy Layout tutorial covers every step for an efficient Python OCR workflow. #OCR #Python #spaCy #PDFExtraction #TechTutorial
https://teguhteja.id/ocr-a-pdf-in-python-spacy-layout-tutorial/
-
Learn how to OCR a PDF in Python and boost your PDF text extraction. Our spaCy Layout tutorial covers every step for an efficient Python OCR workflow. #OCR #Python #spaCy #PDFExtraction #TechTutorial
https://teguhteja.id/ocr-a-pdf-in-python-spacy-layout-tutorial/
-
Learn how to OCR a PDF in Python and boost your PDF text extraction. Our spaCy Layout tutorial covers every step for an efficient Python OCR workflow. #OCR #Python #spaCy #PDFExtraction #TechTutorial
https://teguhteja.id/ocr-a-pdf-in-python-spacy-layout-tutorial/
-
Русский Маскарад — применение NER для защиты персональных данных
Всем привет! На связи команда хакатонщиков “Старые Бауманцы” и я - Саша Зазнобин. Сегодня хочу поговорить с вами о такой малоприятной теме как защита персональных данных. Если вы точно знаете, чего хотите от этой статьи - листайте в конец, там метрики разных моделей в табличном виде. С остальными продолжим вдумчивую беседу по порядку. Мировой ландшафт в этой части воистину впечатляет тут и 152-ФЗ в России, и более 20 разных законов действующих по своему в разных штатах США и Генеральный регламент ЕС о защите персональных данных. Единственное разумное объяснение всего это регуляторного фестиваля для меня - это то, что рептилойды-инопланетяне, тайно контролирующие землю, испугались рывка технологического прогресса в искусственном интеллекте и через эти законы пытаются затормозить прогресс. Все остальные объяснения звучат просто несостоятельно. Впрочем вернемся к основной теме. Итак, сегодня мы будем соблюдать закон о персональных данных (иначе говоря побеждать заговор рептилойдов) через маскировку персональных данных.То есть мы их будем выявлять и маскировать - а потом обрабатывать данные так как нашей душеньке угодно. Для этого существует отдельный класс задач в data science: Named Entity Recognition сокращенно (NER) — технология обработки естественного языка, направленная на выделение определенных сущностей в тексте, таких как имена людей, географические объекты, названия организаций, даты, номера телефонов и другие категории. Основная цель в рамках поставленной задачи NER для маскирования персональных данных — автоматически распознавать и скрывать (маскировать) чувствительную информацию в текстах.
-
Start the #PyConWeb25 with keynote by Ines Montani - founder of #SpaCy and #NLP expert - she is one of the coolest person I know in #Python community
-
"Estáticas básicas de texto com #Polars e #Spacy - #NLP 03 " #Python https://www.youtube.com/watch?v=FgsdmxILSFo
-
I'm having to do some work with OpenAI (comparing it against spaCy and HuggingFace for NLP and term extraction from text so that we're using the best tool for the job) and… HOLY HELL, this is an awful experience.
Prompt writing is "write and hope". There's little rhyme or reason to what it finds. It blatantly doesn't properly understand instructions and is in a "nudge it to the right bit of concept space" situation. And even at temperature 0, I'm still getting significant variety in what it extracts.
Is my spaCy code using POS tags perfect? No. Is it predictable? Yes. Can I extend it or add exclusions without unexpectedly breaking other stuff? Also yes. Is it currently the best performer? Yes, on recall. And it's faster.
-
Сортировка книг по тематикам скриптами Python
На момент написания этой заметки около половины из 16 тысяч книг в моей библиотеке — ИТшные, другая половина — медицинские. Две трети этих книг на английском, одна треть — на русском. Примерно раз в месяц я с телеграм-каналов докачиваю еще 1–2 тысячи книг, из которых реально новых — не более 100–200, остальное у меня уже есть. Кроме того, попадаются сканированные книги с околонулевой пользой, если их не распознавать. Всё это добро мне нужно регулярно дедуплицировать, раскладывать по тематическим папочкам, выкладывать в облако для коллег и при этом не тратить на это много времени. Готовых программ для таких задач я не нашел, поэтому, как мог, справлялся сам — писал скрипты на Python.
https://habr.com/ru/articles/867412/
#petproject #python #spacy #tfidf #обработка_данных #text_mining
-
NLP: когда машины начинают понимать нас (Часть 2)
В прошлой статье мы с вами изучили теоретические основы обработки естественного языка (NLP) и теперь готовы перейти к практике. В мире NLP выбор подходящего языка программирования и инструментов играет ключевую роль в успешной реализации проектов. Одним из наиболее популярных языков для решения задач в этой области является Python. Его простота, читаемость и поддержка мощных библиотек делают его идеальным выбором для разработчиков.
https://habr.com/ru/articles/864778/
#обработка_естественного_языка #nlp #natural_language_processing #machine_learning #машинное_обучение #искусственный_интеллект #python #пайтон #nltk #spacy
-
NLP: когда машины начинают понимать нас (Часть 2)
В прошлой статье мы с вами изучили теоретические основы обработки естественного языка (NLP) и теперь готовы перейти к практике. В мире NLP выбор подходящего языка программирования и инструментов играет ключевую роль в успешной реализации проектов. Одним из наиболее популярных языков для решения задач в этой области является Python. Его простота, читаемость и поддержка мощных библиотек делают его идеальным выбором для разработчиков.
https://habr.com/ru/articles/864778/
#обработка_естественного_языка #nlp #natural_language_processing #machine_learning #машинное_обучение #искусственный_интеллект #python #пайтон #nltk #spacy
-
Good news, everybody!
After a half day or so of digging into spaCy and re-learning the NLP/grammar stuff that I've not done in years, I built a quick demo that extracted the tens we want from the bios! And in another few hours I had an even better function using the syntax tree/children!
No ChatGPT. No stupid prompts. Just deterministic parsing of part of speech tags from an open source library.
It's amazing what you can do when you know your domain and tools 😉
-
Разбей и властвуй: как создать кастомный токенизатор в SpaCy
Привет, Хабр! В этой статье расскажем вам о том, как создавать собственные токенизаторы с SpaCy. Да-да, тот самый SpaCy , который мы все знаем и любим. Стандартные токенизаторы хороши, но иногда требуется что-то особенное. Например, разбивать текст на токены по специфическим правилам или обрабатывать экзотические языки программирования (да-да, я смотрю на тебя, Brainfuck).
