#ui_automation — Public Fediverse posts

Робот, который звонит в WhatsApp: как я автоматизировал то, что автоматизировать не предполагалось

Задача формулировалась в одно предложение: робот должен сам звонить людям в WhatsApp, проигрывать голосовое приветствие, записывать ответ и присылать оператору расшифровку с вердиктом «да / нет / надо посмотреть руками». Проблема в том, что официально это невозможно. У WhatsApp нет API для голосовых роботов: Business API умеет шаблонные сообщения, провайдеры на рынке умеют текстовые рассылки, голосовые звонки закрыты наглухо. Готового решения не существует ни за деньги, ни за большие деньги. Зато существует официальное десктопное приложение, которое звонить умеет. И его можно водить за руку. Это рассказ о том, что из этого вышло: с чего начиналось, какие подходы умерли по дороге, четыре слоя автоматизации — от CDP до виртуальных аудиокабелей — и один урок про производительность, который перечеркнул половину архитектуры уже на живых звонках. Сразу оговорюсь: по отношению к правилам платформы это серая зона, и я не предлагаю это повторять. Мне здесь интересна чистая инженерия — как автоматизируется то, что автоматизировать не предполагалось. Ограничения и риски честно разберу в конце. Кода будет много. Всё интересное в этом проекте живёт именно в деталях.

https://habr.com/ru/articles/1062882/

#whatsapp #playwright #ui_automation #pywinauto #webview2 #cdp #fasterwhisper #windows #автоматизация #виртуальные_аудиоустройства

Как я автоматизировал UI в Windows: UIAutomation и Win32

Привет, меня зовут Алексей, я C# разработчик. Я разрабатывал библиотеку для автоматизации взаимодействия с различными UI-элементами и их захвата. Одной из поддерживаемых сред в такой библиотеке обязательно должна быть Windows и в ней так же требуется: находить кнопки, поля, окна, списки, нажимать на них, читать значения, вводить текст и в целом обращаться с интерфейсом не как пользователь с мышкой, а как программа. На первый взгляд задача звучит просто: нашли элемент, кликнули, пошли дальше. Но в реальных приложениях у элемента может не быть (считай не будет) нормального AutomationId , у нескольких окон может быть один и тот же заголовок, дерево интерфейса может прогружаться не сразу, а старое desktop-приложение вообще не предназначено для взаимодействия с современными API для автоматизации. В итоге в моей библиотеке появилось два основных Windows-подхода:

https://habr.com/ru/articles/1035292/

#automation #ui_testing #ui_automation #winapi #win32 #тестирование #автоматизация #автоматизация_тестирования #интерфейсы #автоматизация_бизнеспроцессов

Как я перестал бояться GUI-тестов и научился их любить (почти)

Пару лет назад мне надоело. Надоело писать Selenium-тесты, которые ломаются от каждого чиха. Надоело вручную прокликивать регресс в офисных пакетах и базах данных каждый релиз. Надоело, что половина приложений вообще не тестируется автоматически, потому что "это же десктоп, там нет селекторов". Короче, я запилил свой велосипед. И он оказался неожиданно полезным.

https://habr.com/ru/articles/966756/

#GUI_тестирование #десктопавтотесты #ui_automation #pywinauto #автоматизация_тестирования #запись_сценариев #рекордер #раннер #jsonтесты #thick_clients