#flakyтесты — Public Fediverse posts

Могут ли LLM находить flaky‑тесты по одному только коду теста? Разбор одного исследования

Flaky‑тесты сложно ловить даже привычными инженерными методами: они ломают CI, подрывают доверие к автотестам и часто воспроизводятся только тогда, когда уже никто не понимает почему. Кажется логичным поручить такую задачу LLM: показать модели код теста и попросить определить, насколько он подозрительный. В статье разбираем исследование, где этот подход проверили на практике, и смотрим, почему хорошие метрики на датасете ещё не означают, что модель действительно понимает природу flaky‑поведения. Читать разбор

https://habr.com/ru/companies/otus/articles/1026824/

#flakyтесты #LLM #автотесты #тестирование_ПО #нестабильные_тесты #QA #машинное_обучение #анализ_кода #промптинг #RAG

Могут ли LLM находить flaky‑тесты по одному только коду теста? Разбор одного исследования

Flaky‑тесты сложно ловить даже привычными инженерными методами: они ломают CI, подрывают доверие к автотестам и часто воспроизводятся только тогда, когда уже никто не понимает почему. Кажется логичным поручить такую задачу LLM: показать модели код теста и попросить определить, насколько он подозрительный. В статье разбираем исследование, где этот подход проверили на практике, и смотрим, почему хорошие метрики на датасете ещё не означают, что модель действительно понимает природу flaky‑поведения. Читать разбор

https://habr.com/ru/companies/otus/articles/1026824/

#flakyтесты #LLM #автотесты #тестирование_ПО #нестабильные_тесты #QA #машинное_обучение #анализ_кода #промптинг #RAG

Могут ли LLM находить flaky‑тесты по одному только коду теста? Разбор одного исследования

Flaky‑тесты сложно ловить даже привычными инженерными методами: они ломают CI, подрывают доверие к автотестам и часто воспроизводятся только тогда, когда уже никто не понимает почему. Кажется логичным поручить такую задачу LLM: показать модели код теста и попросить определить, насколько он подозрительный. В статье разбираем исследование, где этот подход проверили на практике, и смотрим, почему хорошие метрики на датасете ещё не означают, что модель действительно понимает природу flaky‑поведения. Читать разбор

https://habr.com/ru/companies/otus/articles/1026824/

#flakyтесты #LLM #автотесты #тестирование_ПО #нестабильные_тесты #QA #машинное_обучение #анализ_кода #промптинг #RAG

Могут ли LLM находить flaky‑тесты по одному только коду теста? Разбор одного исследования

Flaky‑тесты сложно ловить даже привычными инженерными методами: они ломают CI, подрывают доверие к автотестам и часто воспроизводятся только тогда, когда уже никто не понимает почему. Кажется логичным поручить такую задачу LLM: показать модели код теста и попросить определить, насколько он подозрительный. В статье разбираем исследование, где этот подход проверили на практике, и смотрим, почему хорошие метрики на датасете ещё не означают, что модель действительно понимает природу flaky‑поведения. Читать разбор

https://habr.com/ru/companies/otus/articles/1026824/

#flakyтесты #LLM #автотесты #тестирование_ПО #нестабильные_тесты #QA #машинное_обучение #анализ_кода #промптинг #RAG

Как мы тестируем тесты в Отелло: эволюция работы с flaky-тестами

Всем привет! Меня зовут Ира Карачакова, я тестировщик в сервисе бронирования отелей Отелло. В этой статье рассказываю, как у нас в команде выстроился процесс работы с нестабильными фронтовыми e2e-тестами: от простых перезапусков в CI до системы алертов, карантина и отслеживания стабильности. Это не инструкция и не универсальный рецепт. Скорее история эволюции процессов в живом продукте: с какими проблемами мы сталкивались, какие решения пробовали и какие выводы сделали. Возможно, статья подкинет вам идеи и ориентиры: какие сигналы о flaky-тестах важно отслеживать, как не терять нестабильные тесты из виду и как со временем превратить борьбу с ними в управляемый процесс.

https://habr.com/ru/companies/2gis/articles/995782/

#2гис #тестирование #qa #e2e #автоматизация_тестирования #flakyтесты

Параллелизация pytest: от xdist до Kubernetes

Тесты — это хорошо. Медленные тесты — это CI на 40 минут и разработчики, которые забывают их запускать локально. Разберём, как ускорить pytest от простого -n auto до распределённого запуска в Kubernetes.

https://habr.com/ru/companies/otus/articles/988088/

#python #параллелизация_тестов #pytest #изоляция_фикстур #flakyтесты

Лучшие практики автоматизации тестирования: 9 принципов стабильных автотестов

Почему автотесты становятся нестабильными и перестают приносить пользу? Разбираем системные причины флаков, бессмысленных ретраев и бесконечных E2E-монстров. Практические принципы: моки, изоляция, атомарность и минимализм — без философии, только инженерия.

https://habr.com/ru/articles/965890/

#автотесты #qa #qa_automation #python #golang #автоматизация_тестирования #лучшие_практики #моки #рефакторинг #flakyтесты

Как мы отлавливаем флаки-тесты в СУБД Platform V Pangolin. Показываю бэкенд решения

Красные тесты — это неприятно, но есть кое-что похуже — тесты, которые то красные, то зеленые. С флаки-тестами сталкивается каждый продукт. И чем больше вы тестируете, тем больше мучительных выяснений, какие тесты — флаки, а какие — нет. Меня зовут Александр Милов, я отвечаю за тестирование в

https://habr.com/ru/companies/sberbank/articles/824560/

#субд #flakyтесты #flaky #сбертех