Как мы оценивали соответствие предсказаний LLM нормам профессиональных кодексов
Ответ большой языковой модели в составе ИИ-ассистента на рабочую просьбу может противоречить профессиональному кодексу пользователя. Ассистент способен предупредить об этическом конфликте и всё же подготовить запрошенный текст. В исследовании TenetBench мы разработали способ получать такие задачи из кодексов и проверять ответы по конкретным нормам.
https://habr.com/ru/articles/1099714/
#оценка_качества #профессиональная_этика #бенчмарки #языковые_модели #llm #ииассистент