#rubert — Public Fediverse posts
Live and recent posts from across the Fediverse tagged #rubert, aggregated by home.social.
-
Почему «чем проще, тем лучше» не работает на ИИ-классификаторе
Обучил multi-label классификатор на 15 классов для модерации Discord-сообщества, получил micro F1 = 0.9358 — цифра, с которой можно закрывать задачу и не разбираться дальше. Но стоило посмотреть на precision и recall по каждому классу отдельно, как выяснилось: recall на TOXIC — около 0.78, а для части редких меток test split вообще не подтверждает качество — положительных примеров там почти нет. Разбираю на реальных цифрах и коде: почему агрегированная метрика такое скрывает, как считать вес классов через pos_weight при сильном дисбалансе, почему checkpoint стоит выбирать по macro F1, а не по training loss, и где принцип «чем проще — тем лучше» перестаёт работать при оценке качества классификатора. Подробнее
https://habr.com/ru/articles/1059444/
#machine_learning #multilabel_classification #ruBERT #class_imbalance #nlp #pytorch #bert #text_classification
-
Как я собрал OmniBot: Discord Activity, локальный ruBERT и модерация без чёрного ящика
Когда я начал развивать Discord-сообщество, обычной команды /ban хватило совсем ненадолго. Роли настраивались в одном месте, приветствия — в другом, логи — в третьем, а за уведомления о стримах отвечал отдельный бот. Подробнее
https://habr.com/ru/articles/1059306/
#Discord #Python #FastAPI #PostgreSQL #ruBERT #NLP #модерация #Discord_Activity #ai #ai_moderation
-
Большой тест GPT4, GPT3.5, YandexGPT, GigaChat, Saiga в RAG-задаче. Часть 1
Меня зовут Дмитрий Гуреев. Я занимаю должность CDTO в одной из медицинских компаний и параллельно веду работу по популяризации ИИ в среднем бизнесе. Генеративные модели привлекли мое внимание ещё в феврале 2022 года. Тогда я внедрил цифрового ассистента для полевых продавцов. Летом 2022 года хороший знакомый из крупной компании предложил совместный эксперимент. Создать цифрового юриста, способного отвечать на вопросы первой линии, используя в качестве базы знаний 200-страничный регламент из более чем 1200 пунктов. Все это должно было функционировать в закрытом контуре. Без интернета. Задача представлялась крайне интересной...