#flaky — Public Fediverse posts

Почему E2E-тесты флакают всё чаще и как с этим жить

Почему, несмотря на накопленный опыт и современный инструментарий, число флаки‑тестов растёт год от года? Исследование BitRise 2025 года показало, что доля команд, которым приходится сталкиваться с флаки-тестами, выросла с 10% в 2022-м до 26% в 2025-м. Нестабильные тесты сильно бьют по рабочим процессам: из опроса 1600 человек в 2023 году стало ясно, что флаки-тесты съедают 8% рабочего времени, почти столько же, сколько занимает наладка и поддержка тестовых сред. Но реальный вред флаков гораздо больше: они подрывают доверие к здоровым тестам и ставят под вопрос всю автоматизацию. Вряд ли количество флаков растёт из-за того, что люди разучились писать атомарные тесты и правильно проектировать архитектуру приложений. Скорее проблема в том, что усложняется среда разработки и тестирования: - Больше этапов в пайплайнах - Более сложные рабочие процессы - Больше сторонних зависимостей Сложность среды, сторонние зависимости - всё это бьёт в первую очередь по E2E-тестам. Проблема в том, что компенсировать эти источники сложности может быть очень дорого. И именно об этом я хочу поговорить сегодня: насколько дорого обеспечить стабильность E2E-тестов?

https://habr.com/ru/companies/testops_tms/articles/1047520/

#тестирование #qa #automation #автоматизация #флаки #нестабильные_тесты #flaky #pytest

🤖 Oh, the joys of watching 100 people create #chaos with 575,894 #CI #jobs while pretending #AI magic will save the day! 🚀 With 1.18 billion #log #lines and 33 million #tests, it's like a #circus where the star attraction is a #flaky test that just won't quit. 🎪🔧
https://www.mendral.com/blog/ci-at-scale #HackerNews #ngated

🤖 Oh, the joys of watching 100 people create #chaos with 575,894 #CI #jobs while pretending #AI magic will save the day! 🚀 With 1.18 billion #log #lines and 33 million #tests, it's like a #circus where the star attraction is a #flaky test that just won't quit. 🎪🔧
https://www.mendral.com/blog/ci-at-scale #HackerNews #ngated

Работа с нестабильными тестами в Allure 3

Нестабильные (flaky) тесты создают постоянные трудности для тестировщиков. Такие тесты не отражают состояния тестируемой системы и подрывают доверие к тестовому набору. Вооружившись лучшими практиками, нестабильность можно свести к минимуму, но полностью избавиться от неё крайне трудно. Чтобы лучше её контролировать, нужны инструменты, позволяющие выявлять нестабильные тесты — например, Allure Report. В этом руководстве мы посмотрим, как Allure работает с нестабильными тестами. Заодно мы познакомимся с Allure 3 . Многие из вас наверняка пользуются Allure 2 — в третьей версии (помимо прочих изменений) работа с нестабильными тестами стала гораздо удобнее, в особенности настройка истории тестов.

https://habr.com/ru/companies/testops_tms/articles/988980/

#allure #тестирование #qa #автоматизация #автотест #pytest #flaky #нестабильные_тесты

Flaky-flakes ♡⋆.˚

#htf #flaky #happytreefriends #flakyhtf #fanart #htf_fanart #flaky_htf #happy_tree_friends #little_chicks #cute #fluffy

Избавляемся от Flaky тестов в CI/CD при помощи JMina

Представьте: вы написали код, покрыли его тестами, запустили их локально — тесты успешно прошли. Вы загрузили изменения в репозиторий, пайплайн успешно завершился. Самое время расслабиться и приступить к новым задачам. Но не тут-то было! Спустя некоторое время в CI/CD падает тест. Вы запускаете тесты локально — они проходят успешно. Вы снова запускаете пайплайн в CI/CD — и тесты снова проходят. Однако через какое-то время ситуация повторяется.

https://habr.com/ru/articles/904952/

#java #test #integration_testing #flaky #flaky_tests #logging #slf4j #tdd #kotlin #groovy

New entry of AI-generated #comics and #jokes added to our #website:

#Flaky #feelings

comics.lucentinian.com/1751
#DailyComedy #AIJokes #NewsJokes #Laughs #DailyLaughs

A retryable JUnit 5 extension for flaky tests

#flaky #java #junit #tests

https://glaforge.dev/posts/2024/09/01/a-retryable-junit-5-extension/?utm_medium=erik.in&utm_source=mastodon

A retryable JUnit 5 extension for flaky tests

#flaky #java #junit #tests

https://glaforge.dev/posts/2024/09/01/a-retryable-junit-5-extension/?utm_medium=erik.in&utm_source=mastodon

Как мы отлавливаем флаки-тесты в СУБД Platform V Pangolin. Показываю бэкенд решения

Красные тесты — это неприятно, но есть кое-что похуже — тесты, которые то красные, то зеленые. С флаки-тестами сталкивается каждый продукт. И чем больше вы тестируете, тем больше мучительных выяснений, какие тесты — флаки, а какие — нет. Меня зовут Александр Милов, я отвечаю за тестирование в

https://habr.com/ru/companies/sberbank/articles/824560/

#субд #flakyтесты #flaky #сбертех

Does anyone have some ideas on how to debug randomly #flaky #cypress #e2e tests? Errors always involve some sort of time out error of #network requests. Sometimes it's intercepted API calls, sometimes it's even the page request itself. They are only flaky in the #Gitlab pipeline. Locally they work just fine.

#DevOps

Does anyone have some ideas on how to debug randomly #flaky #cypress #e2e tests? Errors always involve some sort of time out error of #network requests. Sometimes it's intercepted API calls, sometimes it's even the page request itself. They are only flaky in the #Gitlab pipeline. Locally they work just fine.

#DevOps

Gotta love #flaky #tests in 30min test suites... 🤪

#archlinux #packagerlife

How have I only heard of ‘situationships’ today?

Finally, language to describe that nonsense.

#situationship #relationships #Flaky #Dating #DatingHell #DatingSucks

~~Insanity~~ Flaky e2e tests is doing the same thing over and over and expecting different results.

#DevsLife #Testing #Flaky #NotFun

Test flakiness is one of the main challenges of automated testing. Even though #gradle’s focus is increasing developer productivity, the development of Gradle itself suffers from flaky automated tests. This blog explains some best practices which have proved effective over the years with fighting #flaky #tests.

https://blog.gradle.org/how-we-handle-flaky-tests-in-gradle