#bert — Public Fediverse posts

Клиент — это тоже вектор? Как мы хотели улучшить ML-модель, а построили similarity engine

Поговорим о том, как превращать последовательности пользовательских событий в векторы, зачем обучать BERT на "языке" клиентского поведения и почему embedding-пространство может неожиданно начать отражать будущую ценность пользователей

https://habr.com/ru/articles/1034880/

#машинное_обучение #анализ_данных #bert #deep_learning #machine_learning #embeddings #transformers

#STRANGERS IN ##THE #NIGHT ##THE #MUSIC OF #BERT #KAEMPFERT aepiot.com/advanced-sea... #LIST OF #WALLACE #GROMIT #CHARACTERS multi-search-tag-explorer.aepiot.ro/advanced-sea... opentip.kaspersky.com/headlines-wo... aePiot: Activate your Web 4.0 strategy. Build nodes and rule SEO.

MultiSearch Tag Explorer

#STRANGERS IN ##THE #NIGHT ##THE #MUSIC OF #BERT #KAEMPFERT aepiot.com/advanced-sea... #LIST OF #WALLACE #GROMIT #CHARACTERS multi-search-tag-explorer.aepiot.ro/advanced-sea... opentip.kaspersky.com/headlines-wo... aePiot: Activate your Web 4.0 strategy. Build nodes and rule SEO.

MultiSearch Tag Explorer

Have pushed 0.9.5-dev branch to codeberg of foxing ( https://codeberg.org/aenertia/foxing/src/branch/0.9.5-dev ) in preparation for release tagging. A LOT of features and a couple of bug-fixes now the packet/file processing engine has stabilized ; including Semantic Routing to Parsers for Metadata Extraction and in-path Binary analysis using local ORT/BERT models ; letting you get semantic search powers for free when you copy something with foxingd/fxcp #linux #filesystem #bert #vectordb #postgres #xfs #stratis #blake3 #localllm

Have pushed 0.9.5-dev branch to codeberg of foxing ( https://codeberg.org/aenertia/foxing/src/branch/0.9.5-dev ) in preparation for release tagging. A LOT of features and a couple of bug-fixes now the packet/file processing engine has stabilized ; including Semantic Routing to Parsers for Metadata Extraction and in-path Binary analysis using local ORT/BERT models ; letting you get semantic search powers for free when you copy something with foxingd/fxcp #linux #filesystem #bert #vectordb #postgres #xfs #stratis #blake3 #localllm

Have pushed 0.9.5-dev branch to codeberg of foxing ( https://codeberg.org/aenertia/foxing/src/branch/0.9.5-dev ) in preparation for release tagging. A LOT of features and a couple of bug-fixes now the packet/file processing engine has stabilized ; including Semantic Routing to Parsers for Metadata Extraction and in-path Binary analysis using local ORT/BERT models ; letting you get semantic search powers for free when you copy something with foxingd/fxcp #linux #filesystem #bert #vectordb #postgres #xfs #stratis #blake3 #localllm

Have pushed 0.9.5-dev branch to codeberg of foxing ( https://codeberg.org/aenertia/foxing/src/branch/0.9.5-dev ) in preparation for release tagging. A LOT of features and a couple of bug-fixes now the packet/file processing engine has stabilized ; including Semantic Routing to Parsers for Metadata Extraction and in-path Binary analysis using local ORT/BERT models ; letting you get semantic search powers for free when you copy something with foxingd/fxcp #linux #filesystem #bert #vectordb #postgres #xfs #stratis #blake3 #localllm

Have pushed 0.9.5-dev branch to codeberg of foxing ( https://codeberg.org/aenertia/foxing/src/branch/0.9.5-dev ) in preparation for release tagging. A LOT of features and a couple of bug-fixes now the packet/file processing engine has stabilized ; including Semantic Routing to Parsers for Metadata Extraction and in-path Binary analysis using local ORT/BERT models ; letting you get semantic search powers for free when you copy something with foxingd/fxcp #linux #filesystem #bert #vectordb #postgres #xfs #stratis #blake3 #localllm

Как решать задачу NER на практике

Рассказываю, как на практике решать задачу NER. На примере извлечения сущностей из резюме пройдём путь от разметки данных до работающего API. Меньше теории, больше практики. 🔥 Начинаем 🔥

https://habr.com/ru/articles/1023552/

#NER #NLP #bert #natural_language_processing #python #как_решать_задачу_ner

𝗕𝗲𝗿𝘁 𝘂𝗶𝘁 𝗨𝗿𝗸! 𝗯𝗹𝗼𝗲𝗱𝗻𝗲𝗿𝘃𝗲𝘂𝘀 𝘃𝗼𝗼𝗿 𝗰𝗮𝘀𝘁𝗿𝗮𝘁𝗶𝗲 𝘃𝗮𝗻 𝗵𝗼𝗻𝗱 𝗙𝗹𝗼𝗿𝗶𝘀: '𝗔𝗹𝘀𝗼𝗳 𝗺𝗶𝗷𝗻 𝗲𝗶𝗴𝗲𝗻 𝗱𝗶𝗻𝗴 𝗲𝗿𝗮𝗳 𝗺𝗼𝗲𝘁'

Normaal is Bert de rust zelve, maar als het om zijn hond Floris gaat, is daar weinig van over. In 'Urk!' staat hem een spannende dag te wachten: Floris moet onder het mes. Dat zorgt voor flink wat spanning bij zijn baasje.

https://www.rtl.nl/boulevard/artikel/5583138/bert-urk-bloednerveus-castratie-hond-floris

#Bert #Urk #Castratie

🎶 TweetyBERT parses canary songs to better understand how brains learn language

https://techxplore.com/news/2026-03-tweetybert-parses-canary-songs-brains.html

#birds #birdsong #llm #ai #research #ornithology #bert #canary

Macht es nicht wie ich, verpasst nicht unseren Vortrag zu BERTopics und Keyness!

Heute in der Session "Automatisierung und KI" ab 9:00 (aber unseren Vortrag erwischt ihr auch noch, wenn ihr um 10 Uhr kommt!) im Hörsaal 5.

@cnDuKeli und Julia Röttgermann sprechen über: "Keyness Measures und BERTopic kombiniert: Eine Distinktivitätsanalyse von Subgenres des französischen Romans".

#DHd2026 #Keyness #Topics #TopicModeling #BERT

(Ich sitze leider schon im Zug, aber schön wars mit euch!)

@perspektivbrocken

@thomasrenkert weiß bestimmt etwas zu berichten, der arbeitet in der Lehrerbildung (richtig?) und hat den ParzivAI Assistenten entwickelt: https://agki-dh.github.io/pages/webinar/page-9.html / https://hse.hypotheses.org/6066.

An Raschkas Building LLMs from Scratch hab ich auch schon gedacht, das wurde ja schon erwähnt. Es gibt im Netz Code dazu (https://github.com/rasbt/LLMs-from-scratch) und ein paar Leute, die ihre Erfahrungen damit/darum herum posten, z.B. https://www.gilesthomas.com/llm-from-scratch . https://huggingface.co/blog/gszauer/minimal-llm und https://readmedium.com/how-to-build-an-llm-from-scratch-8c477768f1f9 sind auch gut. Alles Englisch halt.

Wenn es nicht so sehr ums selber bauen sondern auch um Erklärungen geht, sind glaube ich die Videos von Andrej Karpathy (z.B. https://youtu.be/7xTGNNLPyMI?si=-YlKsMGuBnW5GO44 oder https://youtu.be/zduSFxRajkE?si=M-cYkZVX6N8M-Oxy ) oder von Thomas Wolf (https://youtu.be/2-SPH9hIKT8?si=IV-hyIaYCYi-dQTZ) ganz gut. https://youtu.be/LPZh9BOjkQs?si=uxW_igUPN92C6wg2 auch.

Und ich finde ja so "Simulationen" auch sehr hilfreich: https://www.soekia.ch/gpt.html / https://bbycroft.net/llm / https://poloclub.github.io/transformer-explainer/

#LLM #AI #Explainer #Transformer #GPT #BERT

Трёхстрочный Deep Learning: 20 примеров нейросетевой магии

В 2012 году AlexNet потряс мир — тысячи строк кода, две видеокарты, недели обучения. Сегодня вы превзойдёте его одной строкой, а модель загрузится за секунды. В статье — 20 полностью рабочих примеров глубокого обучения, каждый ровно в три строки Python. Анализ тональности, резюмирование текста, вопросно-ответные системы, генерация текста, перевод, NER. Детекция объектов, сегментация, оценка глубины, поиск изображений по описанию. Мультимодальные модели, которые отвечают на вопросы о картинках. Это не упрощение и не обман. За тремя строками скрываются модели с миллиардами параметров: BERT прочитал всю Википедию, GPT-2 обработал 40 ГБ текста, CLIP просмотрел 400 миллионов пар «картинка-описание». Всё это знание теперь доступно через один вызов функции. Никакой дополнительной подготовки данных, никаких конфигурационных файлов, GPU не требуется. Скопируйте код — и получите результат, на который ещё пять лет назад ушли бы недели. Те же модели прямо сейчас работают в production у Netflix, Google и тысяч стартапов. К концу статьи вы освоите 20 техник, покрывающих большинство задач NLP и компьютерного зрения — и каждая уместится в твит.

https://habr.com/ru/articles/986782/

#нейросети #deep_learning #transformers #BERT #GPT #компьютерное_зрение #NLP

W-what do you mean there’s a big blue monster behind me?? Like Herry Monster?!

#actionfigurephotography #sesamestreet #bert #ernie #neca

Как мы сделали альтернативную систему метчинга товаров в X5 Digital: опыт, грабли и результат

Привет, Хабр! Меня всё ещё зовут Данила Федюкин, и я продолжаю быть тимлидом в X5 Digital. Руковожу командой, которая занимается метчингом. В прошлый раз я рассказывал, как мы перешли на собственную систему рекомендаций, а в этот раз о том, как делаем то же самое, но с метчингом товаров. X5 Digital – один из цифровых бизнесов Х5. Мы работаем в режиме Highload с RPS в 7500 и отвечаем за всю онлайн-доставку в более чем 1000 городах и населённых пунктах России. Этот канал постоянно растёт. В 2024 году покупатели Х5 совершили свыше 119,5 млн заказов продуктов на дом. Мы делаем собственную in-house WMS для дарксторов, приложения для сборщиков и курьеров, CRM, каталоги товаров и другие онлайн-продукты, а ещё мобильное приложение для торговых сетей. Всё это, отталкиваясь от разных форматов доставки. В «Перекрёстке» среднее время доставки CTD (Click-to-Delivery — от оформления заказа до его получения клиентом) сократилось до 45 минут, в «Чижике» — до 37 минут, а в «Пятёрочке» порядка 40% заказов доставляются клиентам менее чем за 20 минут.

https://habr.com/ru/companies/X5Tech/articles/977626/

#машинное_обучение #nlp_обработка_текста #матчинг_товаров #рекомендации #векторный_поиск #faiss #hnsw #e5 #bert #onnx

Фильтруем политику и нецензурщину: как в «Эвоторе» защищают клиентский чат

В мире высоких технологий все больше и больше компаний внедряют голосовых и чат‑ассистентов в различные сегменты рабочих процессов. Они помогают обрабатывать рутинные задачи, ускоряют взаимодействие с пользователями и снижают нагрузку на сотрудников. Компания «Эвотор» находится в числе тех, кто активно занимается разработкой ассистента поддержки на базе llm — Евы, которая уже помогает тысячам пользователей ежедневно. Но в каждом клиентском сервисе рано или поздно встает вопрос — а что делать с «неудобными» запросами?

https://habr.com/ru/articles/977216/

#nlp #nlp_в_бизнесе #bert #ml #mlsafety

🤪 Hold the phone, folks! Our writer just discovered a tiny computer called "Raspberry Pi" and thinks they've time-traveled to the #future of #AI. 🚀 Meanwhile, half a year of finetuning #BERT has somehow left them shocked that physical AI isn't just fiction anymore. 🛸📉
https://airoboticist.blog/2025/12/01/i-was-reintroduced-to-computers-raspberry-pi/ #RaspberryPi #Technology #Innovation #HackerNews #ngated

Qwen3Guard: следующий шаг в модерации и контроле контента

Всем привет! Меня зовут Миша Мартьянов, я инженер по исследованиям и разработке в лаборатории AI R&D в red_mad_robot. В мои задачи входит проверка гипотез и развитие наших продуктов. Однако недостаточно просто улучшать продукты, необходимо также чтобы они работали устойчиво и безопасно. Ранее я рассказывал разработку идеального контент-фильтра на базе Guardrails. Но время не стоит на месте: появляются новые модели и новые практики их применения. Этому и будет посвящён наш сегодняшний разговор.

https://habr.com/ru/companies/redmadrobot/articles/971388/

#llm #ai #модерация_контента #безопасность_данных #qwen3 #bert #контент_фильтрация #rnd

This is what before coffee feels like. :cupofcoffee:

#Bert #DogsOfMastodon #BostonTerrier #Caffeine

Ансамблирование BERT для анализа логов, и почему вам может быть достаточно solo-модели

1 августа 2012 года, торговая фирма Knight Capital развернула новую версию торгового ПО SMARS. Из‑за ошибки при развертывании на одном из восьми серверов осталась старая тестовая версия кода, из‑за чего торговый робот начал неконтролируемо рассылать миллионы ошибочных заявок на покупку и продажу акций. Этот процесс длился около 45 минут и привел к убыткам в размере примерно 440 миллионов долларов — почти весь капитал компании. ​Ключевая проблема мониторинга состояла в том, что система PMON (Position Monitor) полностью полагалась на ручной мониторинг: она не генерировала автоматических оповещений и не выделяла превышение лимитов. Трейдеры Knight видели аномальную активность в логах, но не понимали контекст:

https://habr.com/ru/companies/sberbank/articles/959580/

#логирование #машинное_обучение #bert #ансамблевые_модели

[Перевод] BERT — это всего лишь одноэтапная диффузия текста

Некоторое время назад компания Google DeepMind представила Gemini Diffusion — экспериментальную языковую модель, генерирующую текст методом диффузии. В отличие от традиционных моделей, написанных в стиле GPT и генерирующих слово за словом, Gemini создаёт текст целыми блоками, пошагово уточняя случайный шум. Я прочитал статью « Large Language Diffusion Models » — и с удивлением узнал, что дискретная диффузия языка представляет собой просто обобщение метода генерации пропущенного токена (MLM), практикуемого уже с 2018 года. Я сразу подумал: «А можно ли тонко настроить BERT-подобную модель так, чтобы приспособить её к генерации текста?» Из чистого любопытства решил наскоро набросать проверку концепции. Примечание: уже после того, как написал эту статью, я наткнулся на исследование DiffusionBERT , где сделано практически то же самое, что и у меня, но проект гораздо тщательнее протестирован. Посмотрите этот пост, если тема вас заинтересовала.

https://habr.com/ru/articles/959814/

#LLM #GPT #BERT #обработка_естественного_языка #токены #оптимизация

🎉 Wow, who knew #BERT was just a one-step wonder in the mystical art of text diffusion? 😮✨ Apparently, all it takes is a sprinkle of #AI jargon and voilà, we've reinvented the wheel of #transformers. 🚀🔥
https://nathan.rs/posts/roberta-diffusion/ #textdiffusion #innovation #technology #HackerNews #ngated

BERT Is Just a Single Text Diffusion Step

https://nathan.rs/posts/roberta-diffusion/

#HackerNews #BERT #TextDiffusion #AI #NLP #MachineLearning

Сможет ли языковая модель научиться читать биржевые графики? Эксперимент с LLM на данных Московской биржи

Представьте опытного трейдера: наверняка он не говорит котировками и не рассказывает про индикаторы — он просто говорит «сильный тренд», «пробой уровня» или «ложный отскок». Для него график это язык: свечи, объёмы и уровни складываются в понятные фразы о том, что сейчас происходит на рынке. Именно от этой человеческой интуиции я и отталкивался в своём эксперименте. Идея была такая: а что, если научить искусственный интеллект понимать этот язык? Не подавать модели сырые числа, а переводить бары и объёмы в текстовые описания наблюдаемых паттернов и кормить ими языковую модель. Гипотеза была что в тексте уже будет содержатся достаточно данных, чтобы модель научилась связывать недавнюю торговую историю с тем, пойдёт ли цена вверх на следующий день. Инструмент эксперимента — модель distilbert‑base‑uncased с Hugging Face и это облегчённая, быстрая версия BERT для понимания языка. Мне показалось это практичным выбором для прототипа — позволяет быстро проверять разные способы текстовой разметки без гигантских ресурсов. Цель была чёткая: по текстовому описанию недавней истории торгов предсказать рост цены на следующий день. Но это исследование моя попытка представления рыночных данных как языка, а не попытка сразу создать алгоритм для автотрейдинга. Ещё важно: это мой личный эксперимент, проведённый одним человеком и выполненный однократно. Результаты дали интересные наблюдения. Расскажу, как происходила разметка графиков в текст, какие шаблоны сработали лучше и какие метрики использовались. Также отмечу ограничения подхода и идеи для повторных экспериментов. А ещё весь код уже на GitHub. Анализ и код

https://habr.com/ru/articles/955612/

#BERT #cuda #rtx_5060 #алгоритмическая_торговля #sm_120

#CLS meets #spatial analysis! 🏡
"Making #BERT Feel at Home. Modelling #DomesticSpace in #19th-Century British and Irish #Fiction" by @SvenjaGuhr, J. Monaco, A. Sherman, M. Warner and M. Algee-Hewitt is now live at #JCLS 4(1). 10.48694/jcls.4164 #transformer

#CLS meets #spatial analysis! 🏡
"Making #BERT Feel at Home. Modelling #DomesticSpace in #19th-Century British and Irish #Fiction" by @SvenjaGuhr, J. Monaco, A. Sherman, M. Warner and M. Algee-Hewitt is now live at #JCLS 4(1). 10.48694/jcls.4164 #transformer

#CLS meets #spatial analysis! 🏡
"Making #BERT Feel at Home. Modelling #DomesticSpace in #19th-Century British and Irish #Fiction" by @SvenjaGuhr, J. Monaco, A. Sherman, M. Warner and M. Algee-Hewitt is now live at #JCLS 4(1). 10.48694/jcls.4164 #transformer

#CLS meets #spatial analysis! 🏡
"Making #BERT Feel at Home. Modelling #DomesticSpace in #19th-Century British and Irish #Fiction" by @SvenjaGuhr, J. Monaco, A. Sherman, M. Warner and M. Algee-Hewitt is now live at #JCLS 4(1). 10.48694/jcls.4164 #transformer

#CLS meets #spatial analysis! 🏡
"Making #BERT Feel at Home. Modelling #DomesticSpace in #19th-Century British and Irish #Fiction" by @SvenjaGuhr, J. Monaco, A. Sherman, M. Warner and M. Algee-Hewitt is now live at #JCLS 4(1). 10.48694/jcls.4164 #transformer

𝗕𝗲𝗿𝘁 𝘃𝗶𝗻𝗱𝘁 𝘀𝗮𝗺𝗲𝗻𝘄𝗼𝗻𝗲𝗻 𝗺𝗲𝘁 𝗚𝗿𝗲𝗲𝘁𝗷𝗲 𝘂𝗶𝘁 𝗨𝗿𝗸! '𝗽𝗶𝘁𝘁𝗶𝗴': '𝗠𝗼𝗲𝘁 𝗿𝗲𝗸𝗲𝗻𝗶𝗻𝗴 𝗵𝗼𝘂𝗱𝗲𝗻 𝗺𝗲𝘁 𝗲𝗹𝗸𝗮𝗮𝗿'

Greetje en Bert wonen inmiddels samen in haar huis op Urk en dat gaat met ups en downs. In de nieuwste aflevering van 'Urk!' lucht Bert zijn hart bij schoonvader Freddie en blijkt samenwonen toch net wat ingewikkelder dan gedacht.

https://www.rtl.nl/boulevard/entertainment/artikel/5530442/bert-greetje-urk-samenwonen-lastig

#Bert #Greetje #samenwonen

𝗚𝗿𝗲𝗲𝘁𝗷𝗲 𝗲𝗻 𝗕𝗲𝗿𝘁 𝗴𝗮𝗮𝗻 𝗶𝗻 𝗨𝗿𝗸! 𝗿𝗲𝗹𝗮𝘁𝗶𝗲𝘁𝗲𝘀𝘁 𝗮𝗮𝗻 𝗶𝗻 𝗸𝗿𝗶𝗻𝗴𝗹𝗼𝗼𝗽𝘄𝗶𝗻𝗸𝗲𝗹: '𝗪𝗮𝗿𝗲𝗻 𝗺𝗶𝗷𝗻 𝘀𝗽𝘂𝗹𝗹𝗲𝗻 𝗻𝗶𝗲𝘁 𝗴𝗼𝗲𝗱 𝗴𝗲𝗻𝗼𝗲𝗴?'

Bert is in 'Urk!' nog maar net ingetrokken bij Greetje of zijn halve inboedel moet alweer het huis verlaten. Want ja, twee huishoudens samenvoegen, betekent keuzes maken. En volgens Greetje mag er best wat sneuvelen....

https://www.rtl.nl/boulevard/entertainment/artikel/5529022/kringloop-test-liefde-van-greetje-en-bert-urk

#Greetje #Bert #relatietest

Как мы внедряли аспектно-ориентированный анализ тональности: опыт Naumen

Привет, меня зовут Лиза — в Naumen я занимаюсь задачами обработки естественного языка (NLP). До этого я работала с компьютерным зрением, поэтому, перейдя в Naumen, сменила не только компанию, но и специализацию. Мой первый проект в Naumen стал настоящим вызовом — нужно было реализовать систему аспектно‑ориентированного анализа тональности (ABSA) на русском языке. В этой статье расскажу, как мы решали эту задачу, с чего начали, какие модели и датасеты пробовали и к чему в итоге пришли.

https://habr.com/ru/companies/naumen/articles/941944/

#ABSA #aspectbased_sentiment_analysis #анализ_отзывов #LLaMA #SBN #тональность_текста #русскоязычные_датасеты #машинное_обучение #LLM #BERT

Как мы внедряли аспектно-ориентированный анализ тональности: опыт Naumen

Привет, меня зовут Лиза — в Naumen я занимаюсь задачами обработки естественного языка (NLP). До этого я работала с компьютерным зрением, поэтому, перейдя в Naumen, сменила не только компанию, но и специализацию. Мой первый проект в Naumen стал настоящим вызовом — нужно было реализовать систему аспектно‑ориентированного анализа тональности (ABSA) на русском языке. В этой статье расскажу, как мы решали эту задачу, с чего начали, какие модели и датасеты пробовали и к чему в итоге пришли.

https://habr.com/ru/companies/naumen/articles/941944/

#ABSA #aspectbased_sentiment_analysis #анализ_отзывов #LLaMA #SBN #тональность_текста #русскоязычные_датасеты #машинное_обучение #LLM #BERT

Как мы внедряли аспектно-ориентированный анализ тональности: опыт Naumen

Привет, меня зовут Лиза — в Naumen я занимаюсь задачами обработки естественного языка (NLP). До этого я работала с компьютерным зрением, поэтому, перейдя в Naumen, сменила не только компанию, но и специализацию. Мой первый проект в Naumen стал настоящим вызовом — нужно было реализовать систему аспектно‑ориентированного анализа тональности (ABSA) на русском языке. В этой статье расскажу, как мы решали эту задачу, с чего начали, какие модели и датасеты пробовали и к чему в итоге пришли.

https://habr.com/ru/companies/naumen/articles/941944/

#ABSA #aspectbased_sentiment_analysis #анализ_отзывов #LLaMA #SBN #тональность_текста #русскоязычные_датасеты #машинное_обучение #LLM #BERT

Как мы внедряли аспектно-ориентированный анализ тональности: опыт Naumen

Привет, меня зовут Лиза — в Naumen я занимаюсь задачами обработки естественного языка (NLP). До этого я работала с компьютерным зрением, поэтому, перейдя в Naumen, сменила не только компанию, но и специализацию. Мой первый проект в Naumen стал настоящим вызовом — нужно было реализовать систему аспектно‑ориентированного анализа тональности (ABSA) на русском языке. В этой статье расскажу, как мы решали эту задачу, с чего начали, какие модели и датасеты пробовали и к чему в итоге пришли.

https://habr.com/ru/companies/naumen/articles/941944/

#ABSA #aspectbased_sentiment_analysis #анализ_отзывов #LLaMA #SBN #тональность_текста #русскоязычные_датасеты #машинное_обучение #LLM #BERT

Стирая языковые границы для NLP-датасетов

Всем привет. В этом посте расскажем, как мы тестировали БЯМ для перевода англоязычных датасетов на русский. «Мы» — это ваш покорный слуга и ребята из ФИЦ ИУ РАН. Пост по факту перевод нашей статьи, которая была опубликована еще в апреле, но вот руки до поста дошли только сейчас.

https://habr.com/ru/articles/935820/

#обработка_естественного_языка #термины #определения #deft #llm #перевод #bert #методология

Random Old Comic: Directions https://www.toyboxcomix.com/2024/09/06/directions/ Directions #Batman #Bert #DC #SesameStreet

RuModernBERT и USER2: эволюция русскоязычных энкодеров

Привет, Хабр! В прошлом году одним из направлений работы R&D команды в AI VK были энкодеры текстов: модели, которые преобразуют любой текст, от анекдота до официального запроса в техподдержку, в векторное представление — эмбеддинг. Эмбеддинги отражают важные свойства текста, его семантику. Все энкодеры в NLP можно условно разделить на две группы: • Pre‑train‑модели (BERT, RoBERTa, DeBERTa). Учатся основным языковым закономерностям, но не умеют явно создавать единый эмбеддинг для всего текста и требуют дообучения под конкретную задачу. • Энкодеры текстов (SBERT). Сразу выдают готовые семантические эмбеддинги — используются в FAISS, Milvus, других векторных БД. Поверх векторного представления можно применять классические алгоритмы ML. Для оценки схожести текстов просто считаем косинусную близость между эмбеддингами. В этой статье мы расскажем о технических деталях обучения таких моделей: как возникла идея, как мы её реализовывали, что получилось в итоге.

https://habr.com/ru/companies/vk/articles/930382/

#bert #rumodernbert #modernbert #user2 #энкодеры

Neat idea by Jessica Monaco and Mark Algee-Hewitt, at #DH2025, on subgenre mixture within the Gothic novel:

First, train a model to classify text segments into one of eight genres, not including the Gothic (!).

Then, ask the model to classify segments from Gothic novels into those genres in order to obtain characteristic genre mixtures within the Gothic novel.

They obtain radar plots for each Gothic novel that show this mixtures.

#CLS #GothicNovel #Classification #BERT

История развития языковых моделей: ч. 2, от ChatGPT до рассуждающего режима

Доброго времени суток, «Хабр»! В предыдущей части мы рассмотрели историю языковых моделей от робких шагов Маркова до долгой краткосрочной памяти. Сегодня мы продолжим, пройдемся по ключевым архитектурам последних лет и разберём, как модели научились интерпретировать контекст, предсказывать и даже спорить логически. Пристегните токены — вход в зону трансформаций!

https://habr.com/ru/companies/bothub/articles/909100/

#word2vec #трансформер #токенизация #bert #chatgpt #t5

История развития языковых моделей: ч. 2, от ChatGPT до рассуждающего режима

Доброго времени суток, «Хабр»! В предыдущей части мы рассмотрели историю языковых моделей от робких шагов Маркова до долгой краткосрочной памяти. Сегодня мы продолжим, пройдемся по ключевым архитектурам последних лет и разберём, как модели научились интерпретировать контекст, предсказывать и даже спорить логически. Пристегните токены — вход в зону трансформаций!

https://habr.com/ru/companies/bothub/articles/909100/

#word2vec #трансформер #токенизация #bert #chatgpt #t5

История развития языковых моделей: ч. 2, от ChatGPT до рассуждающего режима

Доброго времени суток, «Хабр»! В предыдущей части мы рассмотрели историю языковых моделей от робких шагов Маркова до долгой краткосрочной памяти. Сегодня мы продолжим, пройдемся по ключевым архитектурам последних лет и разберём, как модели научились интерпретировать контекст, предсказывать и даже спорить логически. Пристегните токены — вход в зону трансформаций!

https://habr.com/ru/companies/bothub/articles/909100/

#word2vec #трансформер #токенизация #bert #chatgpt #t5

История развития языковых моделей: ч. 2, от ChatGPT до рассуждающего режима

Доброго времени суток, «Хабр»! В предыдущей части мы рассмотрели историю языковых моделей от робких шагов Маркова до долгой краткосрочной памяти. Сегодня мы продолжим, пройдемся по ключевым архитектурам последних лет и разберём, как модели научились интерпретировать контекст, предсказывать и даже спорить логически. Пристегните токены — вход в зону трансформаций!

https://habr.com/ru/companies/bothub/articles/909100/

#word2vec #трансформер #токенизация #bert #chatgpt #t5

The #BERT family of bidirectional training transformers models are minimalistic #language #AI models that can be trained by humans for tasks that are unrelated to languages. You can take advantage of their language ability to teach them math and other knowledge from ground zero even on your personal computer. Guided learning is a more efficient decentralized approach for training language AI to do language unrelated tasks. #Gemini and i are using this guided approach to teach #DistilBERT math.

Русский Маскарад — применение NER для защиты персональных данных

Всем привет! На связи команда хакатонщиков “Старые Бауманцы” и я - Саша Зазнобин. Сегодня хочу поговорить с вами о такой малоприятной теме как защита персональных данных. Если вы точно знаете, чего хотите от этой статьи - листайте в конец, там метрики разных моделей в табличном виде. С остальными продолжим вдумчивую беседу по порядку. Мировой ландшафт в этой части воистину впечатляет тут и 152-ФЗ в России, и более 20 разных законов действующих по своему в разных штатах США и Генеральный регламент ЕС о защите персональных данных. Единственное разумное объяснение всего это регуляторного фестиваля для меня - это то, что рептилойды-инопланетяне, тайно контролирующие землю, испугались рывка технологического прогресса в искусственном интеллекте и через эти законы пытаются затормозить прогресс. Все остальные объяснения звучат просто несостоятельно. Впрочем вернемся к основной теме. Итак, сегодня мы будем соблюдать закон о персональных данных (иначе говоря побеждать заговор рептилойдов) через маскировку персональных данных.То есть мы их будем выявлять и маскировать - а потом обрабатывать данные так как нашей душеньке угодно. Для этого существует отдельный класс задач в data science: Named Entity Recognition сокращенно (NER) — технология обработки естественного языка, направленная на выделение определенных сущностей в тексте, таких как имена людей, географические объекты, названия организаций, даты, номера телефонов и другие категории. Основная цель в рамках поставленной задачи NER для маскирования персональных данных — автоматически распознавать и скрывать (маскировать) чувствительную информацию в текстах.

https://habr.com/ru/articles/877166/

#ner #spacy #Gliner #qwen #bert

Because of the recently passed #Storm #Bert, a lot of #trees and #hedges have shed #branches and #twigs, which can be more than just a mere nuisance. In the past, they have caused #punctures and have even jammed in the #spokes causing #skidding #hazards. Luckily, no problems today.

#Bike #Biking #Cycle #Cycling #Bicycle

Complete turnaround of general weather situation in most parts of Europe. Currently active polar airmasses will be replaced by unsual warm airmasses from the Atlantic thanks to #Sigrid (#Bert).

Ускорение и облегчение моделей для поддержания диалога виртуальных ассистентов Салют

Привет, Хабр! Меня зовут Александр Абрамов и я ML Lead продукта в SberDevices. Эта статья — про обучение core-моделей retrieval-based диалоговых систем, поговорим про хинты для ускорения обучения и сходимости, также затрону тему общей схемы inference и оптимизации её компонентов. Речь пойдёт о ML с позиции пайплайнов и продакшена виртуального ассистента Салют.

https://habr.com/ru/companies/oleg-bunin/articles/834728/

#NLP #retrieval #виртуальные_ассистенты_салют #machinelearning #архитектура #inference #faiss #консистентность #bert #gpt

Что такое векторизация текста в NLP и какая она бывает: One-hot encoding, Bag of words, TF-IDF, Word2Vec, BERT и другие

Привет, Хабр! Меня зовут Александр Троицкий, я автор канала AI для чайников , и в этой статье я расскажу про разные способы векторизации текстов. Всем привет! Вдохновившись прикольной и понятной статьей на английском языке, и не найдя сходу чего-то похожего в русскоязычном сегменте интернета, решил написать о том, как обрабатывается текст перед тем, как на нем начинают применять разные модели ИИ. Эту статью я напишу нетехническим языком, потому что сам не технарь и не математик. Надеюсь, что она поможет узнать о NLP тем, кто не сталкивается с AI в продуктах на ежедневной основе. О чем эта статья:

https://habr.com/ru/articles/820159/

#Onehot_encoding #Bag_of_words #TFIDF #Word2Vec #BERT #NLP #nlp_(natural_language_processing) #nlpмодели