#nltk — Public Fediverse posts

CVE-2026-12243: NLTK 3.9.4 suffers from a HIGH severity path traversal bug — percent-encoded sequences like ..%2f bypass directory checks, allowing arbitrary file reads in NLP apps/Jupyter/CLI. Audit usages & restrict resource loading. https://radar.offseq.com/threat/cve-2026-12243-cwe-22-improper-limitation-of-a-pat-3eae11979fc43a41 #OffSeq #NLTK #Python

CVE-2026-12243: NLTK 3.9.4 suffers from a HIGH severity path traversal bug — percent-encoded sequences like ..%2f bypass directory checks, allowing arbitrary file reads in NLP apps/Jupyter/CLI. Audit usages & restrict resource loading. https://radar.offseq.com/threat/cve-2026-12243-cwe-22-improper-limitation-of-a-pat-3eae11979fc43a41 #OffSeq #NLTK #Python

Мадонёнок с огонёнком. Как Чуковский конструирует детскую речь

Корней Чуковский не только писал книги для детей, но исследовал. как дети воспринимают и осознают мир с помощью языка. Многие детские авторы позже использовали находки Чуковского в своих произведениях для детей и о детях. Мне стало интересно с помощью Python посмотреть, как Чуковский конструирует детскую речь и за счет чего у него это получается забавно и поучительно.

https://habr.com/ru/articles/1042410/

#python #pymorphy2 #nltk #чтение #литература #книги #проза #дети

Где была Алиса Селезнева. Искал ее адреса с помощью Python

С помощью Python провел исследование космических адресов Алисы Селезневой. Вокруг нее было так много планет, неплохо исследованных, а посетила она только малую часть из них.

https://habr.com/ru/articles/1011866/

#python #nltk #аналитика #визуализация_данных #данные #научнопопулярное #научнаяфантастика #научная_фантастика #читальный_зал #проза

В эмиграции Цветаеву окружала серость и сырость. Установлено NLTK анализом с помощью Python

На примере стихотворения "Рассвет на рельсах" можно увидеть эмоции и настроения марины Цветаевой после отъезда в эмиграцию. В нём преобладают серые унылые тона. Но в то же время есть вера восстановить Россию.

https://habr.com/ru/articles/997036/

#python #nltk #nltk_python #nlpмодели #pandas #seaborn #matplotlib #чтение #поэзия #поэзия_серебряного_века

🚨 CVE-2026-0846: HIGH severity absolute path traversal in nltk v3.9.2 (filestring()). Remote attackers can read files if user input isn’t sanitized. Patch when available & validate inputs! https://radar.offseq.com/threat/cve-2026-0846-cwe-36-absolute-path-traversal-in-nl-799595df #OffSeq #nltk #vuln #infosec

«Ветер истории» в «Двенадцати». Найдет ли его Python?

C помощью Python опроверг идею о ветре как о символе революции в поэме Александра Блока "Двенадцать". Поэма начинается со слов про ветер, написана про революцию и где-то внутри строк прячет загадочного Христа.

https://habr.com/ru/articles/991530/

#python #razdel #nlp #nltk #поэзия #чтение #литература #революция

Сравнил тоже! Нашел на Python разницу между «Бородино» и «Ледовым побоищем»

С помощью предобученной мультиязычной модели LaBSE и методов снижения размерности выяснил, что поэмы Лермонтова и Симонова, несмотря на столетнюю дистанцию, семантически близки. Подтвердил гипотезу, что русская патриотическая поэзия сохраняет устойчивое смысловое ядро, даже когда меняется стиль и идеология.

https://habr.com/ru/articles/979488/

#python #transformers #nlp #nltk #scikitlearn #нейросети #huggingface #torch #литература #поэзия

[Перевод] Работаем с NLP на Python

На тему Natural Processing Language написано множество статей, однако во многих из них рассказывается о том, как уже используется NLP в различных отраслях. Однако, что делать тем, кто только хочет начать использовать естественный язык для своих задач? В этой статье мы изучим основы обработки естественного языка на Python, используя подход «сначала код», используя Natural Language Toolkit (NLTK).

https://habr.com/ru/companies/otus/articles/967254/

#nlp #python #Обработка_естественного_языка #NLTK #предобработка_текста #токенизация #стемминг #лемматизация

Сердце не сыто. Python помогает раскрыть особенности мастерства поэта Вознесенского

Можно ли было читать советские стихи американцам? Пытаюсь выяснить это с помощью Python на примере Андрея Вознесенского.

https://habr.com/ru/articles/972880/

#python #tokenizer #stanford #pandas #nlp #nltk #чтение #поэзия #проза #говнокод

Я пена морская. Как BERT не справился с анализом простой поэзии

Небольшой опыт использования модели для определения эмоций. Я пытался найти эмоции у Цветаевой с помощью Python. Да не смог.

https://habr.com/ru/articles/971172/

#python #nltk #tokenizer #литература #чтение #поэзия #поэзия_серебряного_века #поэзия_и_проза #поэзия_и_поэты_серебряного_века #поэзия_и_интернет

Охлаждение после эмиграции. Грустные выводы исследования поэзии Бродского на Python

Жить в США стало лучше, но не веселее. После эмиграции поэт написал больше "холодных" стихов. Установлено математически точно с помощью кода.

https://habr.com/ru/articles/969522/

#python #nltk #парсинг #чтение #книги #литература

Пейзажная лирика глазами кода

Где заканчивается слово и начинается образ? Использую Python для поиска особенностей творчества К.Г. Паустовского.

https://habr.com/ru/articles/968362/

#python #mystem #pymorphy2 #nltk #spacy #razdel

Как Python раскрыл поэтический гений Маршака

Маршак хорошо переводил Шекспира, но насколько он был близок к оригиналу? Сохранен ли у него ритм, размер, смысл и структура? Установлю это математически точно с помощью Python.

https://habr.com/ru/articles/965552/

#python #nltk #nltk_python #tokenizer

#NLP: is there something in #nltk that allows me to parse word forms into their parts, where possible?

So words would get broken down into a tree. Like pos_tag and chunk, but without stopping at tokens or word forms.

Like "stemming", but without throwing away all the other parts.

#NLP: is there something in #nltk that allows me to parse word forms into their parts, where possible?

So words would get broken down into a tree. Like pos_tag and chunk, but without stopping at tokens or word forms.

Like "stemming", but without throwing away all the other parts.

#WordWeavers #western #horror

8/31. To ConLang or not to ConLang? Ever been tempted to invent a language for your writing?

Yes. My fantasy series has a conlang. And some pretty sophisticated translation tools. As a #Python expert, I’ve got some code using #NLTK that can translate parsed phrases from English to the conlang. Plus a lexicon generator.

#WordWeavers #western #horror

8/31. To ConLang or not to ConLang? Ever been tempted to invent a language for your writing?

Yes. My fantasy series has a conlang. And some pretty sophisticated translation tools. As a #Python expert, I’ve got some code using #NLTK that can translate parsed phrases from English to the conlang. Plus a lexicon generator.

Русские тексты. Работа с текстами. Предварительная обработка русских текстовых данных

Предварительная обработка текстовых данных: ключевые этапы и методы Текстовые данные — один из самых сложных типов данных для анализа из-за их неструктурированной природы и высокой вариативности. Чтобы превратить "сырой" текст в информацию, пригодную для машинного обучения или лингвистического анализа, требуется предварительная обработка. Этот процесс включает стандартизацию, очистку и преобразование текста, что повышает качество моделей NLP (Natural Language Processing). Рассмотрим основные этапы и методы.

https://habr.com/ru/articles/881998/

#nltk #python3 #pymorphy #ml #deep_learning

NLP: когда машины начинают понимать нас (Часть 2)

В прошлой статье мы с вами изучили теоретические основы обработки естественного языка (NLP) и теперь готовы перейти к практике. В мире NLP выбор подходящего языка программирования и инструментов играет ключевую роль в успешной реализации проектов. Одним из наиболее популярных языков для решения задач в этой области является Python. Его простота, читаемость и поддержка мощных библиотек делают его идеальным выбором для разработчиков.

https://habr.com/ru/articles/864778/

#обработка_естественного_языка #nlp #natural_language_processing #machine_learning #машинное_обучение #искусственный_интеллект #python #пайтон #nltk #spacy

Not really #ai imho, but you can build a simple chat bot in #python.

I do love the #nltk in python. Was using it before it was cool. 🤣

https://www.howtogeek.com/beginner-coding-in-python-build-a-simple-ai-chat-companion/

Not really #ai imho, but you can build a simple chat bot in #python.

I do love the #nltk in python. Was using it before it was cool. 🤣

https://www.howtogeek.com/beginner-coding-in-python-build-a-simple-ai-chat-companion/

Telegram-бот для анализа текста | выделение тематических групп

Буквально месяц назад, мы с моим коллегой участвовали в HAKATON. Наша команда взялась за интересную задачу от компании МТС: на основе тысяч опросов, найти усредненный синоним к определенной категории ответов и визуализировать это в виде графика, либо облака слов. После выполнения задачи и защиты проекта мы задумались...

https://habr.com/ru/articles/855786/

#aiogram #telegrambot #lda #lemmings #gensim #python #postgresql #nltk #gpt #mystem

Inor al dago lanean NLTK-eko euskararen soportean? Badago hortik nonbait 2010-ko egin zan port bat, baina hori super zaharra da eta, gaur, ez dau ezertarako balio. Agian Elhuyarreko norbait? @elhuyar

PS: NLTK hauxe da https://www.nltk.org/

#nltk #basque

Inor al dago lanean NLTK-eko euskararen soportean? Badago hortik nonbait 2010-ko egin zan port bat, baina hori super zaharra da eta, gaur, ez dau ezertarako balio. Agian Elhuyarreko norbait? @elhuyar

PS: NLTK hauxe da https://www.nltk.org/

#nltk #basque

This week's #Python topic is Natural Language Processing with #NLTK and #Wordnet.

I studied language and IT seperately at uni a few decades ago. Wish I'd combined them.

TIL there's a Wordnet for Scottish Gaelic. I'm excited about it but don't know what to do with it yet.

Link to The Unified Scottish Gaelic Wordnet http://ukc.disi.unitn.it/index.php/gaelic/

#Gàidhlig #Gaelic

Part 4 is up! All bugs fixed and some peculiar methods for testing. Decoding and encoding now works fully correct, but code needs to be refactored.

https://blog.ynfonatic.de/software/2024/07/07/pgp-words-variant-4.html

#Mnemonics #Encoding #NaturalLanguageProcessing #nltk

Part 3 is there! Encoding and Decoding works just fine, but I found that the quality of my corpus is bad, which needs fixing. It's not a problem with the code, but with the data quality which needs manual inspection.

https://blog.ynfonatic.de/software/2024/07/06/pgp-words-variant-3.html

#Mnemonics #Encoding #NaturalLanguageProcessing #nltk

Part 3 is there! Encoding and Decoding works just fine, but I found that the quality of my corpus is bad, which needs fixing. It's not a problem with the code, but with the data quality which needs manual inspection.

https://blog.ynfonatic.de/software/2024/07/06/pgp-words-variant-3.html

#Mnemonics #Encoding #NaturalLanguageProcessing #nltk

Aaand part 2 is up. A PoC for encoding is ready, but not bulletproof yet.

https://blog.ynfonatic.de/software/2024/07/05/pgp-words-variant-2.html

#Mnemonics #Encoding #NaturalLanguageProcessing #nltk

Aaand part 2 is up. A PoC for encoding is ready, but not bulletproof yet.

https://blog.ynfonatic.de/software/2024/07/05/pgp-words-variant-2.html

#Mnemonics #Encoding #NaturalLanguageProcessing #nltk

Everyone should have a pet-OCD, and my obsession is esoteric encoding schemes. That kept me awake last night, and now I'm giving in.

Part 1 of a handful; from idea to product, I present you "How to convert arbitrary binary data into English sentences and back again."

Part 2 in the making.

https://blog.ynfonatic.de/software/2024/07/05/pgp-words-variant-1.html

#Mnemonics #Encoding #NaturalLanguageProcessing #nltk

Everyone should have a pet-OCD, and my obsession is esoteric encoding schemes. That kept me awake last night, and now I'm giving in.

Part 1 of a handful; from idea to product, I present you "How to convert arbitrary binary data into English sentences and back again."

Part 2 in the making.

https://blog.ynfonatic.de/software/2024/07/05/pgp-words-variant-1.html

#Mnemonics #Encoding #NaturalLanguageProcessing #nltk

New blog: "'Bogdle v2'"
https://michaelchadwick.info/blog/2024/06/22/bogdle-v2

#advent-of-code #bogdle #language #nltk #python #webdev #blog

New blog: "'Bogdle v2'"
https://michaelchadwick.info/blog/2024/06/22/bogdle-v2

#advent-of-code #bogdle #language #nltk #python #webdev #blog

All this "AI" hype makes me want to research "tradicional", non-LLM, deterministic natural language processing. Like #NLTK for Python implements.

After weeks of making #maps for the 30DayMapChallenge, it's time for some #dataviz again.

Looked at what words C-3PO uses most often together (bigram analysis) and visualised them in a network graph (thicker line=more co-occurences). "Oh dear" 😃

Based on Star Wars scripts for episodes 1-6. Made with #python using #nltk, #networkx, and #matplotlib.

🔗 Code: https://github.com/Lisa-Ho/small-data-projects/blob/main/2023/2312-starwars-what-XY-says/starwars-what-XY-says.ipynb

#StarWars #NLP

Real-Time #Stocks #Sentiment Analysis w/ #NLP Dynamic Web Scraping in #Python
#NLTK beautifulsoup4 4.12.2
TSLA NVDIA XOM
#FinancialReporting #Investing #Stocks #FinancialNews #Financial #WebScraping #Data #Python #BeautifulSoup #HTML #datascience

http://newdigitals.org/2023/12/24/real-time-stock-sentiment-analysis-w-nlp-web-scraping/

is there anything in #nltk that can decompose #german compound nouns?

Nez, cik daudz entuziastu ir @toot , kuri arī interesējas par mašīnmācīšanos #ML un #AI ?
(un cik no tiem vispār seko man un redzēs šo ziņu).
Vai kur Latvijas malās tos meklēt :)
#mašīnmācīšanās #NLT #NLTK #python #GPT #ChatGPT un citi zvēri...

A bit of time on the #NLTK interface this afternoon. Seems like a deficiency in the pos_tag() routine which gives erroneous noun vs proper noun label solely based on capitalization of the first letter. Worked around it okay, but it's a bit disappointing.

Like, I can see it saying "Jack" versus "jack" are an NNP vs NN respectively, but something like "california" should prob always come up as proper noun. An report of that being a verb seems to have gone away at least.

Hmm, to rationalize some of the 'part of speech' weirdness in that bot, I have to look into the natural language tool kit (#NLTK) and WordNet which I haven't touched in a few years.

it's a very fun database, I recall, but really stuffed full of information.

#botSmithing

Which #python library do you use for summarizing a bunch of text?

#deeplearning #nltk #nlp #machinelearning

My next few days will be trying to figure out how to use #NLTK and #scikit to make sense of average 3-4GB semi garbage data once a day „as real-time as possible“. Let’s see how this goes :) (I know how to use there tools, but the data is so bad even basic grouping is hard) #python