home.social

#leaderboard — Public Fediverse posts

Live and recent posts from across the Fediverse tagged #leaderboard, aggregated by home.social.

fetched live
  1. GuardRate: как мы построили независимую арену для guardrail-моделей (часть 1)

    Всем привет, на связи команда HiveTrace! Мы уделяем много времени разработке собственных моделей и часто задаемся вопросом: "какой из двух гардрейлов лучше?". Если вы когда-нибудь выбирали guardrail-модель для LLM, то знаете: одни модели блокируют безобидные запросы, другие пропускают явные угрозы. Хуже всего то, что нет прозрачного стандарта сравнения. Авторы оценивают свои решения субъективно, не публикуют методологию, а результаты замеров одних и тех же моделей на одинаковых бенчмарках в разных статьях часто отличаются. Поэтому мы создали CLI, который назвали GuardRateTools - это автоматизированный пайплайн оценки guardrail-моделей. Его интерфейс – HiveTrace GuardRate Leaderboard, уже открыт для просмотра. GuardRateTools интегрирован в CI/CD процесс дообучения внутренних guardrail-моделей и обеспечивает честное сравнение моделей в равных условиях. CLI запускает проверку одной командой: подтягивает датасеты и конфигурацию модели из YAML, разворачивает изолированную среду, которая создается индивидуально для каждой модели, прогоняет модель по фиксированному набору бенчмарков и считает метрики. Сырые ответы от модели, логи и итоговые метрики сохраняются в артефакты, поэтому любой результат можно проверить и воспроизвести. Автоматизация исключает ручной труд, снижает влияние человеческого фактора и сокращает время оценки новых решений в области гардрейлов. HiveTrace GuardRate Leaderboard уже доступен для всех! В третьем квартале 2026 года мы выложим исходный код CLI. Если хотите протестировать свою модель, свяжитесь с нами. Контакты вы найдёте в конце статьи.

    habr.com/ru/companies/raft/art

    #llm #guardrails #guardrail_metrics #leaderboard #evaluation #guardrail_areana #ai_safety #promptinjection #benchmarking #opensource

  2. 🚀 Oh joy, another "groundbreaking" #AI #model crowned king by a self-important "agentic index"—because clearly, the world needed more #jargon to pretend to understand AI. 🤖 Who knew that measuring AI was as easy as creating a #leaderboard with random metrics and a dash of techno-babble? 🏆
    artificialanalysis.ai/?intelli #TechnoBabble #Groundbreaking #AgenticIndex #HackerNews #ngated

  3. 🚀 Oh joy, another "groundbreaking" #AI #model crowned king by a self-important "agentic index"—because clearly, the world needed more #jargon to pretend to understand AI. 🤖 Who knew that measuring AI was as easy as creating a #leaderboard with random metrics and a dash of techno-babble? 🏆
    artificialanalysis.ai/?intelli #TechnoBabble #Groundbreaking #AgenticIndex #HackerNews #ngated

  4. Behold, the #infinite #scroll of redundant #buzzwords and competitions that nobody outside your #AI cult cares about 🎉👏. Spoiler alert: nobody's going to remember the #ARC #Prize 2024, 2025, or 2026, but hey, at least you got a #leaderboard to feel special about 📈😎.
    arcprize.org/leaderboard #Competition #HackerNews #ngated

  5. Behold, the #infinite #scroll of redundant #buzzwords and competitions that nobody outside your #AI cult cares about 🎉👏. Spoiler alert: nobody's going to remember the #ARC #Prize 2024, 2025, or 2026, but hey, at least you got a #leaderboard to feel special about 📈😎.
    arcprize.org/leaderboard #Competition #HackerNews #ngated

  6. Oh, look! Another #leaderboard for #nerds who find joy in optimizing nanoseconds on their modified toy language model 🕰️. Because nothing screams "productive weekend" like bragging about your LoRA finetuning exploits on GitHub. 🎉🚀
    github.com/Saivineeth147/lora- #optimization #toy_language #LoRA_finetuning #GitHub_brags #productive_weekend #HackerNews #ngated

  7. Oh, look! Another #leaderboard for #nerds who find joy in optimizing nanoseconds on their modified toy language model 🕰️. Because nothing screams "productive weekend" like bragging about your LoRA finetuning exploits on GitHub. 🎉🚀
    github.com/Saivineeth147/lora- #optimization #toy_language #LoRA_finetuning #GitHub_brags #productive_weekend #HackerNews #ngated

  8. 🚀 Discover our brand new Open-Source AI Leaderboard!

    Compare the best open-source AI models across coding, reasoning, multilingual, local deployment, licensing, pricing, and more.

    👉 opensourceai.tech/leaderboard.

    #OpenSourceAI #AI #LLM #MachineLearning #GenAI #Leaderboard

  9. 🚀 Discover our brand new Open-Source AI Leaderboard!

    Compare the best open-source AI models across coding, reasoning, multilingual, local deployment, licensing, pricing, and more.

    👉 opensourceai.tech/leaderboard.

    #OpenSourceAI #AI #LLM #MachineLearning #GenAI #Leaderboard

  10. Winning Dani's Race ScoreBoard on WINdows

    I want to get the scoreboard working on Dani's race, but I'm using Winblows operating system. That means a lot of things are broken. That's because Dani's race was developed for the Tux operating system.
  11. 🙄 Behold the "AI Tools #Leaderboard," a monument to the impressive art of ranking things that don't matter! 🎉 Track tokens, models, and sync timestamps to your heart's content, but don't worry, there's no actual data to disturb your peace. It's like fantasy football for people who hate both fantasy and football! 🏆
    costhawk.ai/leaderboard #AItools #FantasyRanking #DataOverload #TechHumor #HackerNews #ngated

  12. What Stanford’s HAI Report Says About AI in Science Progress in artificial intelligence continues to accelerate across a range of expert disciplines, according to the latest AI Index report publi...

    #Features #AI #for #Science #AION-1 #Arena #Leaderboard #ChemBench #FourCastNet3 #Humanity's #Last

    Origin | Interest | Match