home.social

#hume — Public Fediverse posts

Live and recent posts from across the Fediverse tagged #hume, aggregated by home.social.

  1. [Перевод] HUME — новый метод AB тестирования ИИ моделей в задачах анализа текста

    Исследователи Сбера вместе с зарубежными исследователями создали специальный тест HUME, который оценивает, насколько хорошо люди и современные ИИ-модели справляются с анализом текста: классификацией, кластеризацией, поиском похожих текстов, ранжированием. Кратко: Ученые создали тест, чтобы сравнить людей и самые современные ИИ-модели (те, которые переводят слова в числа — эмбеддинги) в заданиях на понимание смысла. И выяснили, что люди пока что умнее в "тонких" вещах, особенно с неродным для ИИ языком. Проблема: Мы часто хвалим ИИ за высокие баллы в бенчмарках (тестах). Но как понять, хорош ли результат 85%? Может, для человека эта задача проще, и он справился бы на 95%? Или, наоборот, задача настолько сложна и запутана, что человек показал бы только 60%? Без "человеческого ориентира" цифры теряют смысл. Авторы создали новый способ оценки ( HUME — Human Evaluation Framework for Text Embeddings), который позволяет напрямую сравнить людей с ИИ-моделями в задачах анализа текста. Результаты и выводы:

    habr.com/ru/articles/1031020/

    #Hume #сбер #результаты

  2. [Перевод] HUME — новый метод AB тестирования ИИ моделей в задачах анализа текста

    Исследователи Сбера вместе с зарубежными исследователями создали специальный тест HUME, который оценивает, насколько хорошо люди и современные ИИ-модели справляются с анализом текста: классификацией, кластеризацией, поиском похожих текстов, ранжированием. Кратко: Ученые создали тест, чтобы сравнить людей и самые современные ИИ-модели (те, которые переводят слова в числа — эмбеддинги) в заданиях на понимание смысла. И выяснили, что люди пока что умнее в "тонких" вещах, особенно с неродным для ИИ языком. Проблема: Мы часто хвалим ИИ за высокие баллы в бенчмарках (тестах). Но как понять, хорош ли результат 85%? Может, для человека эта задача проще, и он справился бы на 95%? Или, наоборот, задача настолько сложна и запутана, что человек показал бы только 60%? Без "человеческого ориентира" цифры теряют смысл. Авторы создали новый способ оценки ( HUME — Human Evaluation Framework for Text Embeddings), который позволяет напрямую сравнить людей с ИИ-моделями в задачах анализа текста. Результаты и выводы:

    habr.com/ru/articles/1031020/

    #Hume #сбер #результаты

  3. [Перевод] HUME — новый метод AB тестирования ИИ моделей в задачах анализа текста

    Исследователи Сбера вместе с зарубежными исследователями создали специальный тест HUME, который оценивает, насколько хорошо люди и современные ИИ-модели справляются с анализом текста: классификацией, кластеризацией, поиском похожих текстов, ранжированием. Кратко: Ученые создали тест, чтобы сравнить людей и самые современные ИИ-модели (те, которые переводят слова в числа — эмбеддинги) в заданиях на понимание смысла. И выяснили, что люди пока что умнее в "тонких" вещах, особенно с неродным для ИИ языком. Проблема: Мы часто хвалим ИИ за высокие баллы в бенчмарках (тестах). Но как понять, хорош ли результат 85%? Может, для человека эта задача проще, и он справился бы на 95%? Или, наоборот, задача настолько сложна и запутана, что человек показал бы только 60%? Без "человеческого ориентира" цифры теряют смысл. Авторы создали новый способ оценки ( HUME — Human Evaluation Framework for Text Embeddings), который позволяет напрямую сравнить людей с ИИ-моделями в задачах анализа текста. Результаты и выводы:

    habr.com/ru/articles/1031020/

    #Hume #сбер #результаты

  4. [Перевод] HUME — новый метод AB тестирования ИИ моделей в задачах анализа текста

    Исследователи Сбера вместе с зарубежными исследователями создали специальный тест HUME, который оценивает, насколько хорошо люди и современные ИИ-модели справляются с анализом текста: классификацией, кластеризацией, поиском похожих текстов, ранжированием. Кратко: Ученые создали тест, чтобы сравнить людей и самые современные ИИ-модели (те, которые переводят слова в числа — эмбеддинги) в заданиях на понимание смысла. И выяснили, что люди пока что умнее в "тонких" вещах, особенно с неродным для ИИ языком. Проблема: Мы часто хвалим ИИ за высокие баллы в бенчмарках (тестах). Но как понять, хорош ли результат 85%? Может, для человека эта задача проще, и он справился бы на 95%? Или, наоборот, задача настолько сложна и запутана, что человек показал бы только 60%? Без "человеческого ориентира" цифры теряют смысл. Авторы создали новый способ оценки ( HUME — Human Evaluation Framework for Text Embeddings), который позволяет напрямую сравнить людей с ИИ-моделями в задачах анализа текста. Результаты и выводы:

    habr.com/ru/articles/1031020/

    #Hume #сбер #результаты

  5. Roubei a imagem do "#Philosophy Matters", do #facebook.

    Estudantes de #filosofia lêem #Hume e ficam transformados, seu passeio se torna um pesadelo: estudantes de #psicologia tornam a leitura um entretenimento.

    Ou ainda: psicólogos em formação não lêem de verdade.

    Fiquei curioso é sobre quantos estudantes de filosofia, no Brasil, lêem Hume - e se algum em psicologia o lê.

  6. @theguardian_world_news Anus Taylor is one of the laziest politicians in all the land. Four years as energy minister and he never managed to have a policy. Went in to an election and never thought having a policy might be a useful strategy. Lazy, entitled, arrogant; used government as a cash cow for his family businesses.

    #auspol #HUME #FarrerVotes #SussanLey #LiberalMisogynists

  7. Deduction is incapable of predicting that the sun will rise tomorrow based on past behavior/observations.

    They call this "the problem of induction".

    TROLOLOL

    #philosophy #Hume #HumeNeverCalledItInduction

  8. For those unfamiliar with Shaftesbury (me included) I just posted a short blog post on #Shaftesbury with comparison to #Locke and #Hume (with the help of #ChatGPT)

    neurodoctor.com/2025/06/03/ant