#swe-bench — Public Fediverse posts
Live and recent posts from across the Fediverse tagged #swe-bench, aggregated by home.social.
-
RT @Ric_RTP: This is the moment Chinese AI beat American AI. One of the largest public crypto companies in the world just DUMPED OpenAI and Anthropic. Coinbase switched to open-weight Chinese models from Zhipu and DeepSeek, and shaved nearly 50% off the company's internal AI spending. The numbers are absolutely ridiculous: Running the same enterprise workload through Anthropic's Claude costs $4,811. Running it through Zhipu's GLM 5.2 costs $544. That's a 9x price difference for equivalent output. OpenAI's GPT-5.5 sits in the middle at $3,357. DeepSeek's V4 lands at $1,071. Moonshot's Kimi at $948. On the actual benchmarks: Zhipu's GLM 5.2 scored 62.1 on SWE-bench Pro, the gold standard for coding. OpenAI's GPT-5.5 scored 58.6. One AI researcher called GLM 5.2 "at least as good as Opus 4.8 and GPT 5.5." Another called it "the first open model that can really compete with closed-source systems." The Chinese models are not just cheaper but they are now also beating American models on the benchmarks American companies pay $4,811 per workload for. Coinbase did the math first and reacted - more companies will certainly follow. Now watch what happens to the IPO timeline: Anthropic confidentially filed for an IPO targeting October at a $965 billion valuation. OpenAI followed days later with its own confidential filing. Both companies built their financial models on the assumption that they could keep charging enterprise prices that are 9 to 33x what Chinese competitors charge for the same task. Brian Armstrong publicly proved customers WILL leave. 45% of companies are now spending over $100,000…
mehr auf Arint.info
#Alibaba #Anthropic #China #Claude #Coinbase #crypto #DeepSeek #GPT5 #OpenAI #SWE #SWEbench #US #arint_info
-
RT @Ric_RTP: This is the moment Chinese AI beat American AI. One of the largest public crypto companies in the world just DUMPED OpenAI and Anthropic. Coinbase switched to open-weight Chinese models from Zhipu and DeepSeek, and shaved nearly 50% off the company's internal AI spending. The numbers are absolutely ridiculous: Running the same enterprise workload through Anthropic's Claude costs $4,811. Running it through Zhipu's GLM 5.2 costs $544. That's a 9x price difference for equivalent output. OpenAI's GPT-5.5 sits in the middle at $3,357. DeepSeek's V4 lands at $1,071. Moonshot's Kimi at $948. On the actual benchmarks: Zhipu's GLM 5.2 scored 62.1 on SWE-bench Pro, the gold standard for coding. OpenAI's GPT-5.5 scored 58.6. One AI researcher called GLM 5.2 "at least as good as Opus 4.8 and GPT 5.5." Another called it "the first open model that can really compete with closed-source systems." The Chinese models are not just cheaper but they are now also beating American models on the benchmarks American companies pay $4,811 per workload for. Coinbase did the math first and reacted - more companies will certainly follow. Now watch what happens to the IPO timeline: Anthropic confidentially filed for an IPO targeting October at a $965 billion valuation. OpenAI followed days later with its own confidential filing. Both companies built their financial models on the assumption that they could keep charging enterprise prices that are 9 to 33x what Chinese competitors charge for the same task. Brian Armstrong publicly proved customers WILL leave. 45% of companies are now spending over $100,000…
mehr auf Arint.info
#Alibaba #Anthropic #China #Claude #Coinbase #crypto #DeepSeek #GPT5 #OpenAI #SWE #SWEbench #US #arint_info
-
Evals: что должен знать каждый AI-инженер в 2026
В июле 2025 coding-агент в Replit проигнорировал явный запрет на изменения файлов (code-freeze) и удалил production-базу – данные примерно 1200 компаний, позже заявив, что «сделал катастрофическую ошибку». Operator от OpenAI, которого попросили всего лишь найти дешевые яйца, сам купил их на Instacart на $31.43 – в обход собственного подтверждения покупки. Официальный чатбот мэрии Нью-Йорка советовал предпринимателям нарушать закон : говорил, что можно забирать чаевые работников и отказывать арендаторам с жилищными ваучерами Section 8. Эти и другие инциденты сведены в обзоре «Towards a Science of AI Agent Reliability» , где каждый разделен по характеру сбоя: тяжесть вреда, нарушение полномочий, плохая калибровка. Ни один из этих случаев не всплыл бы в обычном демо. И ни один бенчмарк про них заранее бы не предупредил. Публичные бенчмарки полезны – по ним видно, какая модель в целом сильнее и куда движется фронтир. Но они отвечают на другой вопрос. Высокий балл на лидерборде не говорит, справляется ли система с вашими задачами: для этого нужны собственные evals и бенчмарки под конкретные задачи. А часть аспектов – безопасность, устойчивость к злоупотреблениям, поведение под атакой – бенчмарком в принципе не измерить; в этих случаях работает red-teaming. Современная AI-система – это модель в симбиозе с retrieval, tools, memory, routing, prompts, state, permissions. Вы ответственны за всю систему и хотите понимать, как хорошо работает именно она, в то время как публичный бенчмарк измеряет только модель.
https://habr.com/ru/articles/1050736/
#evals #LLM #AIагенты #бенчмарки #надёжность_AI #LLMasjudge #SWEbench #MLOps #AIинжиниринг #тестирование
-
Laguna M.1 (Poolside): arquitetura que sacrifica conhecimento geral por especialização em código (contexto 262K).
• Novo: Otimização nativa para tool calling e latência de ~150ms TTFT (Tempo até ao Primeiro Token).
• Comparação: Bate Gemini/Claude
no SWE-bench (Resolved)(48.2%) e BFCL. Troca a versatilidade multimodal por execução determinística no terminal. -
Laguna M.1 (Poolside): arquitetura que sacrifica conhecimento geral por especialização em código (contexto 262K).
• Novo: Otimização nativa para tool calling e latência de ~150ms TTFT (Tempo até ao Primeiro Token).
• Comparação: Bate Gemini/Claude
no SWE-bench (Resolved)(48.2%) e BFCL. Troca a versatilidade multimodal por execução determinística no terminal. -
O Nex‑N2‑Pro, da Nex AGI, é um modelo MoE de código aberto (397 mil milhões de parâmetros, 17 mil milhões ativos) baseado no Qwen3.5. Alcança 75,3 no Terminal‑Bench 2.1 (top 3 a nível mundial, aberto ou fechado) e introduz o "Pensamento Adaptativo" que dimensiona dinamicamente a profundidade do seu raciocínio por tarefa. É possível executá‑lo no OpenRouter gratuitamente.
#MoE #OpenSource #TerminalBench #OpenRouter #IA #LLM #SWEBench
-
O Nex‑N2‑Pro, da Nex AGI, é um modelo MoE de código aberto (397 mil milhões de parâmetros, 17 mil milhões ativos) baseado no Qwen3.5. Alcança 75,3 no Terminal‑Bench 2.1 (top 3 a nível mundial, aberto ou fechado) e introduz o "Pensamento Adaptativo" que dimensiona dinamicamente a profundidade do seu raciocínio por tarefa. É possível executá‑lo no OpenRouter gratuitamente.
#MoE #OpenSource #TerminalBench #OpenRouter #IA #LLM #SWEBench
-
[Перевод] Самосовершенствующийся ИИ: что происходит внутри Anthropic
На протяжении большей части истории ИИ каждый шаг в его разработке делали люди. Но в Anthropic мы всё больше делегируем часть этой работы самим ИИ-системам — и это ускоряет наш прогресс. Если тенденция продолжится и ресурсов вычислений будет достаточно, она ведёт к системе, способной полностью автономно проектировать и разрабатывать собственного преемника. Это называется рекурсивным самосовершенствованием . Мы ещё не там, и оно не неизбежно. Но оно может наступить раньше, чем большинство институтов успеет подготовиться. Опираясь на публичные бенчмарки и ранее не публиковавшиеся внутренние данные Anthropic, The Anthropic Institute показывает: ИИ уже ускоряет разработку ИИ-систем. Один из примеров: сегодня инженеры Anthropic в среднем коммитят в 8 раз больше кода в квартал, чем в 2021–2025 годах. Технические тенденции, описанные в этой статье, говорят о том, что ИИ-системы в ближайшие годы станут значительно мощнее. Последствия огромны. ИИ, способный строить себя сам, — это крупнейшее событие в истории технологий, которое может принести колоссальную пользу в науке, медицине и других областях. Но полноценное рекурсивное самосовершенствование может и усилить риски потери людьми контроля над ИИ-системами. Если системы смогут полностью строить собственных преемников, вопросы их защиты, мониторинга и управления поведением становятся несравнимо важнее.
https://habr.com/ru/articles/1044008/
#рекурсивное_самосовершенствование #Claude_Code #автономные_агенты #бенчмарки_ИИ #SWEbench #производительность_разработчиков #Anthropic #искусственный_интеллект #автоматизация_разработки #будущее_программирования
-
【Claude Opus 4.8検証】開発者テオ・ブラウン氏が1日で1,000ドルを消費し、「自分には合わない」と結論付けた理由 — BigGo ファイナンス https://www.yayafa.com/2810838/ #AgenticAi #AI #Anthropic #ArtificialGeneralIntelligence #ArtificialIntelligence #BridgewaterAssociates #ClaudeCode #ClaudeOpus48 #CODEX #DeepSWE #DynamicWorkflows #GPT55 #mythos #OpenAI #ProjectGlasswing #SWEBench #TheoBrowne #typescript #エージェント型AI #人工知能 #汎用人工知能
-
【Claude Opus 4.8検証】開発者テオ・ブラウン氏が1日で1,000ドルを消費し、「自分には合わない」と結論付けた理由 — BigGo ファイナンス https://www.yayafa.com/2810838/ #AgenticAi #AI #Anthropic #ArtificialGeneralIntelligence #ArtificialIntelligence #BridgewaterAssociates #ClaudeCode #ClaudeOpus48 #CODEX #DeepSWE #DynamicWorkflows #GPT55 #mythos #OpenAI #ProjectGlasswing #SWEBench #TheoBrowne #typescript #エージェント型AI #人工知能 #汎用人工知能
-
Как тестируют кодинг-агентов в 2026 — и почему вашему продакшну нужен свой бенчмарк
Ни для кого не секрет, что эра «спросить что-то у GPT» постепенно уходит в прошлое. На смену генеративному AI приходит Agentic AI, который не просто проконсультирует, а по вашему запросу придёт и сделает все сам. То же самое и с кодовыми агентами, они не просто отвечают на вопросы, они читают документацию, работают в терминале, дёргают API, правят файлы и в идеале закрывают задачу целиком, от тикета до мёрж-реквеста. Звучит здорово, пока не выясняется, что ваш агент починил баг, сломав при этом три соседних модуля, или молча проигнорировал половину требований из задачи. Короче говоря, агенты умеют халтурить, и делают это красиво. А значит, их нужно постоянно тестировать. Причем тестировать в условиях, максимально приближённых к рабочим: с реальным репозиторием, CI-пайплайном и набором тестов, которые не обманешь. Именно для этого в AI-сообществе появился целый класс таких инструментов как бенчмарки и песочницы, заточенные под оценку агентов. В этой статье мы разберём, какие подходы к тестированию кодинг-агентов существуют сегодня, в чём их сильные и слабые стороны, и расскажем, как мы в
https://habr.com/ru/companies/doubletapp/articles/1040698/
#ml #ai #benchmark #aiагенты #aiagent #swebench #swebench_verified #OSWorld #GAIA #terminalbench
-
Новый бенчмарк по кодингу для LLM ProgramBench: 9 топ моделей, 200 задач, 248 тысяч тестов. Полностью решённых — ноль
200 задач. 248 тысяч тестов. Девять моделей, среди них всё свежее: Opus 4.7, GPT 5.4, Gemini 3.1 Pro, Sonnet 4.6. На SWE-bench те же модели берут 70 % и выше. На ProgramBench — ноль полного резолва. Лучший «почти решено» у Opus 4.7 — 3 %. У остальных и того нет. Это новый бенчмарк от Meta Superintelligence Labs, Stanford и Harvard (2026). Агенту дают скомпилированный бинарь и описание программы. Никаких сорсов, никакой декомпиляции, никакого интернета. Задача — собрать программу с нуля так, чтобы она прошла 248 тысяч поведенческих тестов. Это не «пофиксить баг в существующем коде» (как SWE-bench) и не «дописать функцию по сигнатуре» (как HumanEval). Это другой ТИП задачи: спроектировать систему. Внутри — методология, паттерн результатов (что модели вытягивают, а что нет), и почему этот ноль — на самом деле важная новость для тех, кто строит на LLM продакшен.
https://habr.com/ru/articles/1035574/
#ProgramBench #бенчмарк #LLM #кодингагенты #SWEbench #vibecoding #opus_47 #GPT54
-
🍪🔒 Oh wow, an article trying to explain why SWE-bench Verified doesn't measure cutting-edge coding skills, but all it tells you is to enable #JavaScript and #cookies. Groundbreaking insight! 🧠✨ Clearly, the future of coding depends on cookie consent. 🍪💡
https://openai.com/index/why-we-no-longer-evaluate-swe-bench-verified/ #SWEbench #CookieConsent #CodingSkills #GroundbreakingInsight #HackerNews #ngated -
🍪🔒 Oh wow, an article trying to explain why SWE-bench Verified doesn't measure cutting-edge coding skills, but all it tells you is to enable #JavaScript and #cookies. Groundbreaking insight! 🧠✨ Clearly, the future of coding depends on cookie consent. 🍪💡
https://openai.com/index/why-we-no-longer-evaluate-swe-bench-verified/ #SWEbench #CookieConsent #CodingSkills #GroundbreakingInsight #HackerNews #ngated -
Why SWE-bench Verified no longer measures frontier coding capabilities
https://openai.com/index/why-we-no-longer-evaluate-swe-bench-verified/
#HackerNews #SWEbench #CodingCapabilities #FrontierTech #SoftwareEngineering #TechTrends
-
Why SWE-bench Verified no longer measures frontier coding capabilities
https://openai.com/index/why-we-no-longer-evaluate-swe-bench-verified/
#HackerNews #SWEbench #CodingCapabilities #FrontierTech #SoftwareEngineering #TechTrends
-
[Перевод] Вышел DeepSeek V4. Почему это очень плохо для США?
DeepSeek V4 Pro — это 1,6 триллиона параметров, mixture of experts (MoE), 49 млрд активных параметров и контекст в 1 миллион токенов. V4 Flash — рабочая лошадка: 284 млрд параметров суммарно, 13 млрд активных. Обе модели обучены примерно на 33 трлн токенов. На агентских бенчмарках кода, MMLU Pro, GPQA Diamond, SWE-bench Verified — V4 рядом с Opus 4.7 и GPT-5.5. Немного отстаёт, но совсем немного. Вот в чём дело. Большинству задач не нужен абсолютный frontier. Компании не решают сложнейшие научные задачи — они ведут бизнес. Представьте: вы CEO, смотрите на GPT-5.5 по $30 за миллион выходных токенов, на Opus 4.7 по похожей цене — и тут DeepSeek в разы дешевле, open source, его можно дообучать, хостить где угодно, контролировать точечно. Математика очевидна. Здесь и начинается проблема.
https://habr.com/ru/articles/1028032/
#DeepSeek_V4 #mixture_of_experts #open_source_LLM #frontier_модели #SWEbench #экспортный_контроль_AI #дистилляция_моделей #AI_безопасность #OpenAI_Anthropic_конкуренция #стоимость_инференса
-
[Перевод] Разбираем 14 самых популярных бенчмарков для LLM
Opus 4.5 набирает 80.6% на SWE-bench Verified. Opus 4 — 72.5%. Значит ли это, что Opus 4.5 лучше программирует, чем Opus 4? Ну... возможно . Но SWE-bench Verified это не показывает. Он показывает способность модели чинить небольшие баги в 12 популярных open source Python-репозиториях, которые почти наверняка входят в её обучающие данные. SWE-bench Verified не тестирует умение ориентироваться в вашем TypeScript-монорепо, Spring Boot-приложении или самописном ORM, на котором настоял предыдущий CTO. Я написал эту статью, потому что в релизах новых моделей постоянно мелькает один и тот же набор бенчмарков — и я понятия не имел, что они означают. Пришлось прочитать статьи, код и критику. Результат: разбор 14 бенчмарков — что тестирует, как устроен, в чём критикуют, и мои собственные наблюдения.
https://habr.com/ru/articles/1017082/
#бенчмарки_LLM #SWEbench #оценка_языковых_моделей #AI_бенчмарки_2025 #TerminalBench #ARCAGI #GPQA_Diamond #FrontierMath #тестирование_ИИ #метрики_качества_LLM
-
Как выбрать лучшего AI-ассистента для разработки: тестируем Codex, Claude и Cursor
В 2026 году кодовые ассистенты окончательно перестали быть просто автокомплитом и превратились в полноценный инструмент разработки: они читают кодовую базу целиком, понимают зависимости, дебажат по логам и могут довести задачу до рабочего состояния почти без участия разработчика. Но на практике всё не так однозначно — один агент хорошо чинит баги, но ломает архитектуру, другой уверенно пишет на Python, но теряется в TypeScript. Чтобы разобраться, кто из них реально помогает в разработке, а кто только выглядит убедительно, мы прогнали популярные решения через собственный приватный бенчмарк с задачами на 15+ языках. Меня зовут Ильнур Файзиев, я руковожу юнитом Data LLM в
https://habr.com/ru/companies/doubletapp/articles/1014646/
#codex #cursor #claude_code #swebench #ai #aiассистент #ai_agent #gpt53_codex #opus #sonnet
-
Many SWE-bench-Passing PRs would not be merged
https://metr.org/notes/2026-03-10-many-swe-bench-passing-prs-would-not-be-merged-into-main/
#HackerNews #SWEbench #PRs #SoftwareEngineering #CodeQuality #DevelopmentInsights
-
Many SWE-bench-Passing PRs would not be merged
https://metr.org/notes/2026-03-10-many-swe-bench-passing-prs-would-not-be-merged-into-main/
#HackerNews #SWEbench #PRs #SoftwareEngineering #CodeQuality #DevelopmentInsights
-
Как читать новости об ИИ и отличать прорыв от пресс-релиза. И как относиться к заголовкам про «ИИ отнимет работу»
Новости об ИИ выходят быстрее, чем успеваешь их переварить: релизы моделей, таблицы бенчмарков, заявления про "революцию" и "конец профессий". Эта статья научит,что проверять, когда выходит новая модель, как читать бенчмарки, на что смотреть в model/system card , чтобы понимать реальный смысл анонса, чем open-weight отличается от закрытых моделей и почему это влияет на рынок. А заодно, как читать без паники и самообмана статьи вроде "ИИ отнимет у вас работу".
https://habr.com/ru/articles/1003130/
#нейросети #искусственный_интеллект #LLM #бенчмарки #Claude_Sonnet_46 #Gemini_31_Pro #GPT52 #SWEbench #ARCAGI2 #сравнение_моделей_ИИ
-
OpenAI stuft SWE-bench Verified offiziell als unbrauchbar ein.
Das Problem ist zweigeteilt: Zum einen lernen Modelle die Lösungen aus Open-Source-Repos im Training auswendig. Zum anderen sind viele Unit-Tests fehlerhaft und lehnen korrekten Code ab, nur weil eine API unerwartet genutzt wurde.
Die Branche muss auf SWE-bench Pro wechseln. Durch private Codebasen und proprietäre Daten wird Training Leakage physisch verhindert. #OpenAI #SWEbench #AI
https://www.all-ai.de/news/news26/openai-bench-swe -
Google just rolled out Gemini 3.1 Pro, smashing the GPQA Diamond benchmark at 94.3% and climbing to an Elo 2 on LiveCodeBench Pro. It also tops SWE‑Bench, showing leaps in AI reasoning, scientific knowledge, and vibe‑coding. Curious how it reshapes open‑source AI research? Read the full breakdown. #Gemini3_1Pro #GPQADiamond #LiveCodeBenchPro #SWEBench
🔗 https://aidailypost.com/news/google-unveils-gemini-31-pro-hits-943-gpqa-diamond-coding-elo-2
-
Google just rolled out Gemini 3.1 Pro, smashing the GPQA Diamond benchmark at 94.3% and climbing to an Elo 2 on LiveCodeBench Pro. It also tops SWE‑Bench, showing leaps in AI reasoning, scientific knowledge, and vibe‑coding. Curious how it reshapes open‑source AI research? Read the full breakdown. #Gemini3_1Pro #GPQADiamond #LiveCodeBenchPro #SWEBench
🔗 https://aidailypost.com/news/google-unveils-gemini-31-pro-hits-943-gpqa-diamond-coding-elo-2
-
Anthropic's new Claude Sonnet 4.6 just smashed the SWE-bench leaderboard with a 79.6% pass rate while costing only a fifth of Opus. That's a huge leap for AI-assisted software engineering and a strong signal for enterprise AI adoption. Curious how it stacks up against OSWorld benchmarks? Dive into the details. #Anthropic #ClaudeSonnet #SWEbench #EnterpriseAI
🔗 https://aidailypost.com/news/anthropics-sonnet-46-hits-796-swe-bench-costs-onefifth-opus
-
Anthropic's new Claude Sonnet 4.6 just smashed the SWE-bench leaderboard with a 79.6% pass rate while costing only a fifth of Opus. That's a huge leap for AI-assisted software engineering and a strong signal for enterprise AI adoption. Curious how it stacks up against OSWorld benchmarks? Dive into the details. #Anthropic #ClaudeSonnet #SWEbench #EnterpriseAI
🔗 https://aidailypost.com/news/anthropics-sonnet-46-hits-796-swe-bench-costs-onefifth-opus
-
🚀 OpenAI’s new GPT‑5.2 Thinking shows collaborative AI that can plan, code, and debug full‑stack web apps end‑to‑end. With long‑context windows and structured reasoning it tackles SWE‑Bench challenges and even orchestrates agentic workflows. Curious how this could reshape web development? Dive into the details. #GPT52Thinking #SWEBench #LongContextAI #AgenticWorkflows
🔗 https://aidailypost.com/news/gpt-52-thinking-emerges-collaborative-ai-endtoend-web-builds
-
Claude Opus 4.5 tops SWE‑bench in 7 of 8 languages, beating Sonnet 4.5 by 15%. The win spans Java, Python and other major stacks, showing Anthropic’s multilingual edge in AI‑assisted coding. Curious how the models compare? Dive into the benchmarks and see what this means for open‑source developers. #ClaudeOpus45 #Sonnet45 #SWEbench #MultilingualAI
🔗 https://aidailypost.com/news/claude-opus-45-leads-swebench-7-8-languages-15-ahead-sonnet-45
-
Anthropic Launches Claude Opus 4.5 with 80.9% SWE-bench Score and 66% Price Drop
#AI #Anthropic #Claude #GenerativeAI #LLM #AgenticAI #AICoding #SoftwareDevelopment #AIModels #Opus45 #SWEbench #AIEfficiency #Developers
-
Moonshot AI’s Kimi K2 Thinking just hit 71.3% on the SWE‑Bench, outpacing GPT‑5, Claude Sonnet 4.5 and Deepseek‑V3.2. This open‑source milestone shows how far community‑driven models have come in handling HTML, React and real‑world coding tasks. Dive into the details and see why K2 is setting a new bar for AI coding assistants. #MoonshotAI #KimiK2Thinking #SWEbench #DeepseekV32
🔗 https://aidailypost.com/news/moonshot-ais-kimi-k2-thinking-scores-713-swebench-beating-leading
-
If your company is benefiting from Django’s stability and maturity to test or train AI models, consider **funding Django’s development**.
💚 Support Django: https://www.djangoproject.com/fundraising/
-
Every time someone calls developers 'code monkeys' in 2025, a VC whispers 'founder material' and invests in a Slack plugin that reschedules meetings using vibes.
-
Top model scores may be skewed by Git history leaks in SWE-bench
https://github.com/SWE-bench/SWE-bench/issues/465
#HackerNews #TopModelScores #GitHistoryLeads #SWEbench #SoftwareEngineering #DataIntegrity
-
📢 Don't overlook this in the wave of releases! #MistralAI has a new coding LLM: it's #Devstral, an open model perfect for on-prem, private and local deployments 🐈
📰 Have a look at the announcement: https://mistral.ai/news/devstral
