home.social

#metr — Public Fediverse posts

Live and recent posts from across the Fediverse tagged #metr, aggregated by home.social.

  1. Gary Marcus has a good article on METR, a think tank that evaluates AI, and how to interpret what's really going on. Some good sources for understanding here. Esp. Ramez Naam.

    #ai #metr #asi #agi

    garymarcus.substack.com/p/misp

  2. Jack Clark puts 60% on fully automated AI R&D by end of 2028, 30% by 2027. The case: benchmarks for every sub-skill trending up — coding (SWE-Bench ~2% → 93.9%), training-loop optimization (2.9x → 52x speedup, human 4x baseline passed three generations back), #METR time horizons (~30s in 2022 to ~12h today). The 30-vs-60 gap is a bet on how often a year-scale human insight still cracks a paradigm.

    benjaminhan.net/posts/20260508

    #AI #AGI #AIsafety #FutureOfWork

  3. An important update 🚨 to the #METR study on developer #productivity using #AI – instead of 20% loss 📉, they now see a 20% gain 📈 in one year 🤯:

    “We Are Changing Our Developer Productivity Experiment Design”, METR (metr.org/blog/2026-02-24-uplif).

    On HN: news.ycombinator.com/item?id=4

  4. Вас пугают AI-увольнениями. Я посмотрел — кто это делает и зачем

    Год назад METR доказали что AI замедляет разработчиков на 19%. В феврале 2026 обновили данные - похоже на разворот к ускорению. Но об этом почти не написали. Зато «AI уволит 50% разработчиков» - в каждом втором заголовке. Полез разбираться, кому выгодна AI-паника. Нашёл CEO, которые увольняют тысячи и тихо нанимают обратно. Нашёл вендоров, которые пугают увольнениями и одновременно открывают вакансии. И курсы «защити карьеру от AI» за $23 000.

    habr.com/ru/articles/1017884/

    #AI #страхономика #AIпаника #увольнения #продуктивность #METR #Klarna #Block

  5. Вас пугают AI-увольнениями. Я посмотрел — кто это делает и зачем

    Год назад METR доказали что AI замедляет разработчиков на 19%. В феврале 2026 обновили данные - похоже на разворот к ускорению. Но об этом почти не написали. Зато «AI уволит 50% разработчиков» - в каждом втором заголовке. Полез разбираться, кому выгодна AI-паника. Нашёл CEO, которые увольняют тысячи и тихо нанимают обратно. Нашёл вендоров, которые пугают увольнениями и одновременно открывают вакансии. И курсы «защити карьеру от AI» за $23 000.

    habr.com/ru/articles/1017884/

    #AI #страхономика #AIпаника #увольнения #продуктивность #METR #Klarna #Block

  6. Вас пугают AI-увольнениями. Я посмотрел — кто это делает и зачем

    Год назад METR доказали что AI замедляет разработчиков на 19%. В феврале 2026 обновили данные - похоже на разворот к ускорению. Но об этом почти не написали. Зато «AI уволит 50% разработчиков» - в каждом втором заголовке. Полез разбираться, кому выгодна AI-паника. Нашёл CEO, которые увольняют тысячи и тихо нанимают обратно. Нашёл вендоров, которые пугают увольнениями и одновременно открывают вакансии. И курсы «защити карьеру от AI» за $23 000.

    habr.com/ru/articles/1017884/

    #AI #страхономика #AIпаника #увольнения #продуктивность #METR #Klarna #Block

  7. Вас пугают AI-увольнениями. Я посмотрел — кто это делает и зачем

    Год назад METR доказали что AI замедляет разработчиков на 19%. В феврале 2026 обновили данные - похоже на разворот к ускорению. Но об этом почти не написали. Зато «AI уволит 50% разработчиков» - в каждом втором заголовке. Полез разбираться, кому выгодна AI-паника. Нашёл CEO, которые увольняют тысячи и тихо нанимают обратно. Нашёл вендоров, которые пугают увольнениями и одновременно открывают вакансии. И курсы «защити карьеру от AI» за $23 000.

    habr.com/ru/articles/1017884/

    #AI #страхономика #AIпаника #увольнения #продуктивность #METR #Klarna #Block

  8. AI's Version of Moore's Law? - Computerphile

    youtube.com/watch?v=evSFeqTZdqs
    metr.org

    Note that the success rate on the default chart is only 50% and for 80% the score is much lower. But the interesting part is indeed the rate of progress.

    #AI #LLM #OpenAI #Anthropic #METR

  9. Cari #devs,

    Uno studio #METR ha scoperto che gli sviluppatori esperti erano convinti che l’#AI li rendesse più rapidi del 20%.

    Realtà dei fatti: impiegavano il 19% di tempo in più.

    Percezione vs realtà

    🔗 metr.org/blog/2025-07-10-early

    #llm #claudecode #chatgpt #codex #gemini #agents #agentsai

  10. Интересное в графике - не то что 8 часовые задачи (с успешностью 50%) прогнозируются в ~середине этого года, а то, как уныло выглядит график, если переключить на 80% успешность (там нечто вроде 15 минут на начало 2026, а не 4.5 часа как на 50%).

    metr.org/blog/2025-03-19-measu

    #LLM #METR #evals #llm_evals #ai_evals

  11. Интересное в графике - не то что 8 часовые задачи (с успешностью 50%) прогнозируются в ~середине этого года, а то, как уныло выглядит график, если переключить на 80% успешность (там нечто вроде 15 минут на начало 2026, а не 4.5 часа как на 50%).

    metr.org/blog/2025-03-19-measu

    #LLM #METR #evals #llm_evals #ai_evals

  12. Интересное в графике - не то что 8 часовые задачи (с успешностью 50%) прогнозируются в ~середине этого года, а то, как уныло выглядит график, если переключить на 80% успешность (там нечто вроде 15 минут на начало 2026, а не 4.5 часа как на 50%).

    metr.org/blog/2025-03-19-measu

    #LLM #METR #evals #llm_evals #ai_evals

  13. «La supuesta #revolución de la #productividad no se está reflejando en los números: un riguroso estudio de #METR —que no puede tildarse de tecnófobo— encontró que los #desarrolladores de #software experimentados eran un 20% más lentos al usar herramientas de #IA. El problema radica en la brecha entre capacidad y fiabilidad: los sistemas pueden realizar tareas impresionantes, pero con una inconsistencia que exige una supervisión humana constante, ...»
    cenital.com/la-burbuja-de-la-i
    #LLM #Capitalismo

  14. «La supuesta #revolución de la #productividad no se está reflejando en los números: un riguroso estudio de #METR —que no puede tildarse de tecnófobo— encontró que los #desarrolladores de #software experimentados eran un 20% más lentos al usar herramientas de #IA. El problema radica en la brecha entre capacidad y fiabilidad: los sistemas pueden realizar tareas impresionantes, pero con una inconsistencia que exige una supervisión humana constante, ...»
    cenital.com/la-burbuja-de-la-i
    #LLM #Capitalismo

  15. «La supuesta #revolución de la #productividad no se está reflejando en los números: un riguroso estudio de #METR —que no puede tildarse de tecnófobo— encontró que los #desarrolladores de #software experimentados eran un 20% más lentos al usar herramientas de #IA. El problema radica en la brecha entre capacidad y fiabilidad: los sistemas pueden realizar tareas impresionantes, pero con una inconsistencia que exige una supervisión humana constante, ...»
    cenital.com/la-burbuja-de-la-i
    #LLM #Capitalismo

  16. «La supuesta #revolución de la #productividad no se está reflejando en los números: un riguroso estudio de #METR —que no puede tildarse de tecnófobo— encontró que los #desarrolladores de #software experimentados eran un 20% más lentos al usar herramientas de #IA. El problema radica en la brecha entre capacidad y fiabilidad: los sistemas pueden realizar tareas impresionantes, pero con una inconsistencia que exige una supervisión humana constante, ...»
    cenital.com/la-burbuja-de-la-i
    #LLM #Capitalismo

  17. «La supuesta #revolución de la #productividad no se está reflejando en los números: un riguroso estudio de #METR —que no puede tildarse de tecnófobo— encontró que los #desarrolladores de #software experimentados eran un 20% más lentos al usar herramientas de #IA. El problema radica en la brecha entre capacidad y fiabilidad: los sistemas pueden realizar tareas impresionantes, pero con una inconsistencia que exige una supervisión humana constante, ...»
    cenital.com/la-burbuja-de-la-i
    #LLM #Capitalismo

  18. People are starting to realize #AI slows you down on projects with a minimal complexity (see the randomized #METR trial and this venturebeat.com/ai/stack-overf), so what's the proposed solution? Put a human in the loop, so the poor can fix the mess. I haven't read the paper, but it sounds so stupid! It comes from #Microsoft by the way, so... arxiv.org/pdf/2507.22358

  19. Very thoughtful analysis by @grimalkina of the experimental design and results from the recent METR study on “the impact of early-2025 AI on experience open-source developer productivity”.

    fightforthehuman.com/are-devel

    #metr #cursor

  20. Исследование METR: использование Cursor замедляет опытных разработчиков на 19 %

    Считается устоявшейся истиной, что инструменты автодополнения кода и прочая помощь от больших языковых моделей помогают программировать быстрее. Исследование организации METR ставит это фактоид под сомнение и даже демонстрирует обратный эффект. В рамках анализа труда 16 программистов обнаружилось, что ИИ замедляет человека на 19 %. Это противоречит мнению экспертов индустрии машинного обучения, экономистов и самих участников эксперимента. Важно, что проверка шла не на очередных бенчмарках или предложениях решать алгоритмические задачи на скорость, а в обычной работе людей.

    habr.com/ru/articles/927072/

    #METR #Model_Evaluation_Threat_Research #научные_исследования #большие_языковые_модели #БЯМ #Сursor #программирование #GitHub #Git #автодополнение_кода

  21. Исследование METR: использование Cursor замедляет опытных разработчиков на 19 %

    Считается устоявшейся истиной, что инструменты автодополнения кода и прочая помощь от больших языковых моделей помогают программировать быстрее. Исследование организации METR ставит это фактоид под сомнение и даже демонстрирует обратный эффект. В рамках анализа труда 16 программистов обнаружилось, что ИИ замедляет человека на 19 %. Это противоречит мнению экспертов индустрии машинного обучения, экономистов и самих участников эксперимента. Важно, что проверка шла не на очередных бенчмарках или предложениях решать алгоритмические задачи на скорость, а в обычной работе людей.

    habr.com/ru/articles/927072/

    #METR #Model_Evaluation_Threat_Research #научные_исследования #большие_языковые_модели #БЯМ #Сursor #программирование #GitHub #Git #автодополнение_кода

  22. Исследование METR: использование Cursor замедляет опытных разработчиков на 19 %

    Считается устоявшейся истиной, что инструменты автодополнения кода и прочая помощь от больших языковых моделей помогают программировать быстрее. Исследование организации METR ставит это фактоид под сомнение и даже демонстрирует обратный эффект. В рамках анализа труда 16 программистов обнаружилось, что ИИ замедляет человека на 19 %. Это противоречит мнению экспертов индустрии машинного обучения, экономистов и самих участников эксперимента. Важно, что проверка шла не на очередных бенчмарках или предложениях решать алгоритмические задачи на скорость, а в обычной работе людей.

    habr.com/ru/articles/927072/

    #METR #Model_Evaluation_Threat_Research #научные_исследования #большие_языковые_модели #БЯМ #Сursor #программирование #GitHub #Git #автодополнение_кода

  23. Исследование METR: использование Cursor замедляет опытных разработчиков на 19 %

    Считается устоявшейся истиной, что инструменты автодополнения кода и прочая помощь от больших языковых моделей помогают программировать быстрее. Исследование организации METR ставит это фактоид под сомнение и даже демонстрирует обратный эффект. В рамках анализа труда 16 программистов обнаружилось, что ИИ замедляет человека на 19 %. Это противоречит мнению экспертов индустрии машинного обучения, экономистов и самих участников эксперимента. Важно, что проверка шла не на очередных бенчмарках или предложениях решать алгоритмические задачи на скорость, а в обычной работе людей.

    habr.com/ru/articles/927072/

    #METR #Model_Evaluation_Threat_Research #научные_исследования #большие_языковые_модели #БЯМ #Сursor #программирование #GitHub #Git #автодополнение_кода