#modernbert — Public Fediverse posts
Live and recent posts from across the Fediverse tagged #modernbert, aggregated by home.social.
-
RuModernBERT и USER2: эволюция русскоязычных энкодеров
Привет, Хабр! В прошлом году одним из направлений работы R&D команды в AI VK были энкодеры текстов: модели, которые преобразуют любой текст, от анекдота до официального запроса в техподдержку, в векторное представление — эмбеддинг. Эмбеддинги отражают важные свойства текста, его семантику. Все энкодеры в NLP можно условно разделить на две группы: • Pre‑train‑модели (BERT, RoBERTa, DeBERTa). Учатся основным языковым закономерностям, но не умеют явно создавать единый эмбеддинг для всего текста и требуют дообучения под конкретную задачу. • Энкодеры текстов (SBERT). Сразу выдают готовые семантические эмбеддинги — используются в FAISS, Milvus, других векторных БД. Поверх векторного представления можно применять классические алгоритмы ML. Для оценки схожести текстов просто считаем косинусную близость между эмбеддингами. В этой статье мы расскажем о технических деталях обучения таких моделей: как возникла идея, как мы её реализовывали, что получилось в итоге.
-
Thanks #Anthropic for making #RAG easier with #LLMs!
https://arstechnica.com/ai/2025/01/anthropic-adds-citations-in-bid-to-avoid-confabulating-ai-models/RAG ensures the answer of a chatbot is really grounded on some data, or any external source of information. It usually consists in using the model separately for encoding and decoding.
At this point one might prefer having a specialised #NLP encoder like #ModernBERT #BERT: https://huggingface.co/blog/modernbert, which is lighter to run locally.
-
Cette semaine, je continue de documenter le problème M*sk, je parle du retour de #BERT avec #ModernBERT, de la fin du #GlobalEngagementCenter, de #Mayotte et de plein d'autres choses.
👉 https://write.apreslanu.it/pac/weeknote-51
Bonne lecture
-
I'm still playing with the finetuning, but you can give it a whirl in its current state: https://huggingface.co/sgraham/ModernBERT_archae #archaeology #dh #ModernBERT
-
If you’re deep into #AI and #Transformers, then this extremely well-written piece of #TechnicalWriting will be of interest. It’s an important announcement, in the form of a killer blog post, from #Huggingface about an upgrade to encoder-only #BERT - naturally called #ModernBERT The sexy side of AI are decoder-only LLM platforms that are ‘generative’ like ChatGPT, Gemini and Claude. Encoder-only models are ‘representative’ not generative - but still very important and widely used tools in the world of #ArtificialIntelligence