#октру — Public Fediverse posts
Live and recent posts from across the Fediverse tagged #октру, aggregated by home.social.
-
Тест Jev в качестве реранкера против LLM на классификации товаров по справочнику из 78 тысяч кодов
Реранк — самая дорогая стадия пайплайна классификации по справочнику ОКТРУ: поиск отбирает 30 кандидатов, LLM выбирает один. Я проверил, можно ли отдать этот шаг модели, которая вообще не генерирует текст, — TypeSafe Jev: она принимает состояние и типизированные вопросы, а возвращает вероятности. Замер на 928 позициях технических спецификаций госзакупок, на одном пуле кандидатов, против gpt-oss-120b с reasoning и без него, Gemma-4-31B, Gemini 3.5 Flash Lite, 3.8 Flash и 3.1 Pro и классического кросс-энкодера Qwen3-Reranker-8B. Jev дал отличную точность, как у больших моделей, но при этом стоимость и латенси как у небольшой 8B-модели.
https://habr.com/ru/articles/1084672/
#реранкер #классификация_товаров #LLM #бенчмарк #ОКТРУ #TypeSafe_Jev #gptoss #Gemini #кроссэнкодер #госзакупки
-
Тест Jev в качестве реранкера против LLM на классификации товаров по справочнику из 78 тысяч кодов
Реранк — самая дорогая стадия пайплайна классификации по справочнику ОКТРУ: поиск отбирает 30 кандидатов, LLM выбирает один. Я проверил, можно ли отдать этот шаг модели, которая вообще не генерирует текст, — TypeSafe Jev: она принимает состояние и типизированные вопросы, а возвращает вероятности. Замер на 928 позициях технических спецификаций госзакупок, на одном пуле кандидатов, против gpt-oss-120b с reasoning и без него, Gemma-4-31B, Gemini 3.5 Flash Lite, 3.8 Flash и 3.1 Pro и классического кросс-энкодера Qwen3-Reranker-8B. Jev дал отличную точность, как у больших моделей, но при этом стоимость и латенси как у небольшой 8B-модели.
https://habr.com/ru/articles/1084672/
#реранкер #классификация_товаров #LLM #бенчмарк #ОКТРУ #TypeSafe_Jev #gptoss #Gemini #кроссэнкодер #госзакупки
-
Тест Jev в качестве реранкера против LLM на классификации товаров по справочнику из 78 тысяч кодов
Реранк — самая дорогая стадия пайплайна классификации по справочнику ОКТРУ: поиск отбирает 30 кандидатов, LLM выбирает один. Я проверил, можно ли отдать этот шаг модели, которая вообще не генерирует текст, — TypeSafe Jev: она принимает состояние и типизированные вопросы, а возвращает вероятности. Замер на 928 позициях технических спецификаций госзакупок, на одном пуле кандидатов, против gpt-oss-120b с reasoning и без него, Gemma-4-31B, Gemini 3.5 Flash Lite, 3.8 Flash и 3.1 Pro и классического кросс-энкодера Qwen3-Reranker-8B. Jev дал отличную точность, как у больших моделей, но при этом стоимость и латенси как у небольшой 8B-модели.
https://habr.com/ru/articles/1084672/
#реранкер #классификация_товаров #LLM #бенчмарк #ОКТРУ #TypeSafe_Jev #gptoss #Gemini #кроссэнкодер #госзакупки