#pyautogui — Public Fediverse posts

AI Bridge: Как по-простому дать Gemini «руки» для управления вашим компьютером

Представьте: вы скидываете нейросети скриншот сложной программы (будь то Cinema 4D, Excel или 1С) и говорите: «Сделай мне вот это». И через секунду мышка на вашем экране начинает сама летать по кнопкам, выполняя работу за вас. Это не магия и не дорогой корпоративный софт. Это AI Bridge — микро-утилита на Python, которую можно запустить за минуту.

https://habr.com/ru/articles/993328/

#AI #Python #Automation #Gemini #Desktop_Agent #PyAutoGUI #Автоматизация

AI Bridge: Как по-простому дать Gemini «руки» для управления вашим компьютером

Представьте: вы скидываете нейросети скриншот сложной программы (будь то Cinema 4D, Excel или 1С) и говорите: «Сделай мне вот это». И через секунду мышка на вашем экране начинает сама летать по кнопкам, выполняя работу за вас. Это не магия и не дорогой корпоративный софт. Это AI Bridge — микро-утилита на Python, которую можно запустить за минуту.

https://habr.com/ru/articles/993328/

#AI #Python #Automation #Gemini #Desktop_Agent #PyAutoGUI #Автоматизация

AI Bridge: Как по-простому дать Gemini «руки» для управления вашим компьютером

Представьте: вы скидываете нейросети скриншот сложной программы (будь то Cinema 4D, Excel или 1С) и говорите: «Сделай мне вот это». И через секунду мышка на вашем экране начинает сама летать по кнопкам, выполняя работу за вас. Это не магия и не дорогой корпоративный софт. Это AI Bridge — микро-утилита на Python, которую можно запустить за минуту.

https://habr.com/ru/articles/993328/

#AI #Python #Automation #Gemini #Desktop_Agent #PyAutoGUI #Автоматизация

AI Bridge: Как по-простому дать Gemini «руки» для управления вашим компьютером

Представьте: вы скидываете нейросети скриншот сложной программы (будь то Cinema 4D, Excel или 1С) и говорите: «Сделай мне вот это». И через секунду мышка на вашем экране начинает сама летать по кнопкам, выполняя работу за вас. Это не магия и не дорогой корпоративный софт. Это AI Bridge — микро-утилита на Python, которую можно запустить за минуту.

https://habr.com/ru/articles/993328/

#AI #Python #Automation #Gemini #Desktop_Agent #PyAutoGUI #Автоматизация

Клик без промаха: комбинированный подход в автоматизации Windows-приложений на примере UWP

Привет, Хабр! Меня зовут Иван Калашников, я занимаюсь автотестированием в Инфовотч. В мире web и тонких клиентов по-прежнему приходится тестировать классические приложения: Office apps, Explorer, Telegram, WhatsApp. Сегодня для примера мы возьмем WhatsApp. Погрузившись в автоматизацию ручных кликов в приложениях Windows с помощью Python, я попробовал несколько известных библиотек, каждая из которых поодиночке оставляла ощущение «чего-то не хватает». PyAutoGUI не видит скрытые элементы, плохо находит элементы с экранами разного масштаба и разрешения, а pywinauto требует разбирать дерево элементов UIA (Microsoft UI Automation), которого может попросту не быть. В этой статье разберём, как объединение этих инструментов позволяет обойти ограничения каждого и надёжно автоматизировать windows-приложения. Комбинация UI-ориентированных (pywinauto, Win32/UIA) и image-based (PyAutoGUI) техник остаётся самым гибким способом тестировать Windows-приложения. Но чтобы смесь действительно работала, нужны: сравнение бэкендов, явные ожидания, DPI-awareness. Мы пройдем через ряд мини-кейсов — от кликов, поиска, отправки сообщения, до чтения текста с экрана и выясним, как справляется связка Python-библиотек.

https://habr.com/ru/companies/infowatch/articles/942538/

#pyautogui #pywinauto #windows #desktop #automation #python

Клик без промаха: комбинированный подход в автоматизации Windows-приложений на примере UWP

Привет, Хабр! Меня зовут Иван Калашников, я занимаюсь автотестированием в Инфовотч. В мире web и тонких клиентов по-прежнему приходится тестировать классические приложения: Office apps, Explorer, Telegram, WhatsApp. Сегодня для примера мы возьмем WhatsApp. Погрузившись в автоматизацию ручных кликов в приложениях Windows с помощью Python, я попробовал несколько известных библиотек, каждая из которых поодиночке оставляла ощущение «чего-то не хватает». PyAutoGUI не видит скрытые элементы, плохо находит элементы с экранами разного масштаба и разрешения, а pywinauto требует разбирать дерево элементов UIA (Microsoft UI Automation), которого может попросту не быть. В этой статье разберём, как объединение этих инструментов позволяет обойти ограничения каждого и надёжно автоматизировать windows-приложения. Комбинация UI-ориентированных (pywinauto, Win32/UIA) и image-based (PyAutoGUI) техник остаётся самым гибким способом тестировать Windows-приложения. Но чтобы смесь действительно работала, нужны: сравнение бэкендов, явные ожидания, DPI-awareness. Мы пройдем через ряд мини-кейсов — от кликов, поиска, отправки сообщения, до чтения текста с экрана и выясним, как справляется связка Python-библиотек.

https://habr.com/ru/companies/infowatch/articles/942538/

#pyautogui #pywinauto #windows #desktop #automation #python

Клик без промаха: комбинированный подход в автоматизации Windows-приложений на примере UWP

Привет, Хабр! Меня зовут Иван Калашников, я занимаюсь автотестированием в Инфовотч. В мире web и тонких клиентов по-прежнему приходится тестировать классические приложения: Office apps, Explorer, Telegram, WhatsApp. Сегодня для примера мы возьмем WhatsApp. Погрузившись в автоматизацию ручных кликов в приложениях Windows с помощью Python, я попробовал несколько известных библиотек, каждая из которых поодиночке оставляла ощущение «чего-то не хватает». PyAutoGUI не видит скрытые элементы, плохо находит элементы с экранами разного масштаба и разрешения, а pywinauto требует разбирать дерево элементов UIA (Microsoft UI Automation), которого может попросту не быть. В этой статье разберём, как объединение этих инструментов позволяет обойти ограничения каждого и надёжно автоматизировать windows-приложения. Комбинация UI-ориентированных (pywinauto, Win32/UIA) и image-based (PyAutoGUI) техник остаётся самым гибким способом тестировать Windows-приложения. Но чтобы смесь действительно работала, нужны: сравнение бэкендов, явные ожидания, DPI-awareness. Мы пройдем через ряд мини-кейсов — от кликов, поиска, отправки сообщения, до чтения текста с экрана и выясним, как справляется связка Python-библиотек.

https://habr.com/ru/companies/infowatch/articles/942538/

#pyautogui #pywinauto #windows #desktop #automation #python

Клик без промаха: комбинированный подход в автоматизации Windows-приложений на примере UWP

Привет, Хабр! Меня зовут Иван Калашников, я занимаюсь автотестированием в Инфовотч. В мире web и тонких клиентов по-прежнему приходится тестировать классические приложения: Office apps, Explorer, Telegram, WhatsApp. Сегодня для примера мы возьмем WhatsApp. Погрузившись в автоматизацию ручных кликов в приложениях Windows с помощью Python, я попробовал несколько известных библиотек, каждая из которых поодиночке оставляла ощущение «чего-то не хватает». PyAutoGUI не видит скрытые элементы, плохо находит элементы с экранами разного масштаба и разрешения, а pywinauto требует разбирать дерево элементов UIA (Microsoft UI Automation), которого может попросту не быть. В этой статье разберём, как объединение этих инструментов позволяет обойти ограничения каждого и надёжно автоматизировать windows-приложения. Комбинация UI-ориентированных (pywinauto, Win32/UIA) и image-based (PyAutoGUI) техник остаётся самым гибким способом тестировать Windows-приложения. Но чтобы смесь действительно работала, нужны: сравнение бэкендов, явные ожидания, DPI-awareness. Мы пройдем через ряд мини-кейсов — от кликов, поиска, отправки сообщения, до чтения текста с экрана и выясним, как справляется связка Python-библиотек.

https://habr.com/ru/companies/infowatch/articles/942538/

#pyautogui #pywinauto #windows #desktop #automation #python

Инновации в тестировании САПР: путь к созданию автоматизированного решения для тестирования

Автоматизация тестирования в мире САПР – это вызов, который невозможно переоценить. Инженеры, архитекторы и проектировщики создают сложнейшие модели, а разработчики ПО ломают голову, чтобы их инструменты работали без сбоев. Но чем мощнее становится программное обеспечение, тем сложнее его тестировать. Проверять САПР вручную – всё равно что искать иголку в стоге сена, который кто-то ежедневно переворачивает. Мы быстро поняли, что такой подход не работает. Поэтому решили изменить систему и построить свою. Нашей целью было – создать решение, которое избавит от рутины, ускорит тестирование и обеспечит его стабильность, а также будет легко масштабируемым. Одна из главных проблем – повторяющиеся проверки. Тестировать одни и те же функции вручную после каждого обновления – долго, монотонно и неэффективно. Можно что-то упустить, ошибиться и просто устать. Мы пошли дальше: наша система не просто заменяет тестировщиков на скрипты, а полностью автоматизирует весь процесс – от запуска тестов до анализа результатов. Мы использовали Python, VirtualBox, JSON и PowerShell, чтобы тесты запускались в чистой среде, результаты были понятны всем, а интеграция с разработкой максимально простой. Архитектура гибкая, удобная и кроссплатформенная. В этой статье мы расскажем, каким образом мы создали систему, как эта система работает и какие задачи она позволяет решить.

https://habr.com/ru/articles/883590/

#автоматизация #автоматизация_тестирования #тестирование_по #qa_automation #python #pyautogui #pywinauto #powershell #сапр #json

Инновации в тестировании САПР: путь к созданию автоматизированного решения для тестирования

Автоматизация тестирования в мире САПР – это вызов, который невозможно переоценить. Инженеры, архитекторы и проектировщики создают сложнейшие модели, а разработчики ПО ломают голову, чтобы их инструменты работали без сбоев. Но чем мощнее становится программное обеспечение, тем сложнее его тестировать. Проверять САПР вручную – всё равно что искать иголку в стоге сена, который кто-то ежедневно переворачивает. Мы быстро поняли, что такой подход не работает. Поэтому решили изменить систему и построить свою. Нашей целью было – создать решение, которое избавит от рутины, ускорит тестирование и обеспечит его стабильность, а также будет легко масштабируемым. Одна из главных проблем – повторяющиеся проверки. Тестировать одни и те же функции вручную после каждого обновления – долго, монотонно и неэффективно. Можно что-то упустить, ошибиться и просто устать. Мы пошли дальше: наша система не просто заменяет тестировщиков на скрипты, а полностью автоматизирует весь процесс – от запуска тестов до анализа результатов. Мы использовали Python, VirtualBox, JSON и PowerShell, чтобы тесты запускались в чистой среде, результаты были понятны всем, а интеграция с разработкой максимально простой. Архитектура гибкая, удобная и кроссплатформенная. В этой статье мы расскажем, каким образом мы создали систему, как эта система работает и какие задачи она позволяет решить.

https://habr.com/ru/articles/883590/

#автоматизация #автоматизация_тестирования #тестирование_по #qa_automation #python #pyautogui #pywinauto #powershell #сапр #json

Инновации в тестировании САПР: путь к созданию автоматизированного решения для тестирования

Автоматизация тестирования в мире САПР – это вызов, который невозможно переоценить. Инженеры, архитекторы и проектировщики создают сложнейшие модели, а разработчики ПО ломают голову, чтобы их инструменты работали без сбоев. Но чем мощнее становится программное обеспечение, тем сложнее его тестировать. Проверять САПР вручную – всё равно что искать иголку в стоге сена, который кто-то ежедневно переворачивает. Мы быстро поняли, что такой подход не работает. Поэтому решили изменить систему и построить свою. Нашей целью было – создать решение, которое избавит от рутины, ускорит тестирование и обеспечит его стабильность, а также будет легко масштабируемым. Одна из главных проблем – повторяющиеся проверки. Тестировать одни и те же функции вручную после каждого обновления – долго, монотонно и неэффективно. Можно что-то упустить, ошибиться и просто устать. Мы пошли дальше: наша система не просто заменяет тестировщиков на скрипты, а полностью автоматизирует весь процесс – от запуска тестов до анализа результатов. Мы использовали Python, VirtualBox, JSON и PowerShell, чтобы тесты запускались в чистой среде, результаты были понятны всем, а интеграция с разработкой максимально простой. Архитектура гибкая, удобная и кроссплатформенная. В этой статье мы расскажем, каким образом мы создали систему, как эта система работает и какие задачи она позволяет решить.

https://habr.com/ru/articles/883590/

#автоматизация #автоматизация_тестирования #тестирование_по #qa_automation #python #pyautogui #pywinauto #powershell #сапр #json

Инновации в тестировании САПР: путь к созданию автоматизированного решения для тестирования

Автоматизация тестирования в мире САПР – это вызов, который невозможно переоценить. Инженеры, архитекторы и проектировщики создают сложнейшие модели, а разработчики ПО ломают голову, чтобы их инструменты работали без сбоев. Но чем мощнее становится программное обеспечение, тем сложнее его тестировать. Проверять САПР вручную – всё равно что искать иголку в стоге сена, который кто-то ежедневно переворачивает. Мы быстро поняли, что такой подход не работает. Поэтому решили изменить систему и построить свою. Нашей целью было – создать решение, которое избавит от рутины, ускорит тестирование и обеспечит его стабильность, а также будет легко масштабируемым. Одна из главных проблем – повторяющиеся проверки. Тестировать одни и те же функции вручную после каждого обновления – долго, монотонно и неэффективно. Можно что-то упустить, ошибиться и просто устать. Мы пошли дальше: наша система не просто заменяет тестировщиков на скрипты, а полностью автоматизирует весь процесс – от запуска тестов до анализа результатов. Мы использовали Python, VirtualBox, JSON и PowerShell, чтобы тесты запускались в чистой среде, результаты были понятны всем, а интеграция с разработкой максимально простой. Архитектура гибкая, удобная и кроссплатформенная. В этой статье мы расскажем, каким образом мы создали систему, как эта система работает и какие задачи она позволяет решить.

https://habr.com/ru/articles/883590/

#автоматизация #автоматизация_тестирования #тестирование_по #qa_automation #python #pyautogui #pywinauto #powershell #сапр #json

I guess I could do more, but I'm tired, so just a proof of concept :(
#genuary2025 #genuary7 Code at: https://github.com/villares/sketch-a-day/tree/main/2025/sketch_2025_01_07
More sketch-a-day: https://abav.lugaralgum.com/sketch-a-day
If you like this, support my work: https://www.paypal.com/donate/?hosted_button_id=5B4MZ78C9J724 #CreativeCoding #pyautogui #Python #LibreOffice

I guess I could do more, but I'm tired, so just a proof of concept :(
#genuary2025 #genuary7 Code at: https://github.com/villares/sketch-a-day/tree/main/2025/sketch_2025_01_07
More sketch-a-day: https://abav.lugaralgum.com/sketch-a-day
If you like this, support my work: https://www.paypal.com/donate/?hosted_button_id=5B4MZ78C9J724 #CreativeCoding #pyautogui #Python #LibreOffice

I guess I could do more, but I'm tired, so just a proof of concept :(
#genuary2025 #genuary7 Code at: https://github.com/villares/sketch-a-day/tree/main/2025/sketch_2025_01_07
More sketch-a-day: https://abav.lugaralgum.com/sketch-a-day
If you like this, support my work: https://www.paypal.com/donate/?hosted_button_id=5B4MZ78C9J724 #CreativeCoding #pyautogui #Python #LibreOffice

I guess I could do more, but I'm tired, so just a proof of concept :(
#genuary2025 #genuary7 Code at: https://github.com/villares/sketch-a-day/tree/main/2025/sketch_2025_01_07
More sketch-a-day: https://abav.lugaralgum.com/sketch-a-day
If you like this, support my work: https://www.paypal.com/donate/?hosted_button_id=5B4MZ78C9J724 #CreativeCoding #pyautogui #Python #LibreOffice

I guess I could do more, but I'm tired, so just a proof of concept :(
#genuary2025 #genuary7 Code at: https://github.com/villares/sketch-a-day/tree/main/2025/sketch_2025_01_07
More sketch-a-day: https://abav.lugaralgum.com/sketch-a-day
If you like this, support my work: https://www.paypal.com/donate/?hosted_button_id=5B4MZ78C9J724 #CreativeCoding #pyautogui #Python #LibreOffice

An #OpenSource #FACS automation system for high-throughput cell #biology:

-built around a commercial Sony #SH800S #cell #sorter
-reduces hands-on effort by 93%
-uses #PyAutoGUI to control #GUI in API absence

https://doi.org/10.1371/journal.pone.0299402
#DIYbio #lab #instruments #fluorescence

An #OpenSource #FACS automation system for high-throughput cell #biology:

-built around a commercial Sony #SH800S #cell #sorter
-reduces hands-on effort by 93%
-uses #PyAutoGUI to control #GUI in API absence

https://doi.org/10.1371/journal.pone.0299402
#DIYbio #lab #instruments #fluorescence

An #OpenSource #FACS automation system for high-throughput cell #biology:

-built around a commercial Sony #SH800S #cell #sorter
-reduces hands-on effort by 93%
-uses #PyAutoGUI to control #GUI in API absence

https://doi.org/10.1371/journal.pone.0299402
#DIYbio #lab #instruments #fluorescence

An #OpenSource #FACS automation system for high-throughput cell #biology:

-built around a commercial Sony #SH800S #cell #sorter
-reduces hands-on effort by 93%
-uses #PyAutoGUI to control #GUI in API absence

https://doi.org/10.1371/journal.pone.0299402
#DIYbio #lab #instruments #fluorescence

An #OpenSource #FACS automation system for high-throughput cell #biology:

-built around a commercial Sony #SH800S #cell #sorter
-reduces hands-on effort by 93%
-uses #PyAutoGUI to control #GUI in API absence

https://doi.org/10.1371/journal.pone.0299402
#DIYbio #lab #instruments #fluorescence

Как я хотел выиграть пиццы у Dodo (бот на python)

Моя неплохая попытка выиграть Пиццы от Додо с их конкурсом по игре Балда, которая почти окончилась успехом. Пытаюсь переиграть всех

https://habr.com/ru/articles/828522/

#python #додо #додопицца #бот #pyautogui #pillow #easyocr #tesseract #tesseractocr #автоматизация

Как я хотел выиграть пиццы у Dodo (бот на python)

Моя неплохая попытка выиграть Пиццы от Додо с их конкурсом по игре Балда, которая почти окончилась успехом. Пытаюсь переиграть всех

https://habr.com/ru/articles/828522/

#python #додо #додопицца #бот #pyautogui #pillow #easyocr #tesseract #tesseractocr #автоматизация

Как я хотел выиграть пиццы у Dodo (бот на python)

Моя неплохая попытка выиграть Пиццы от Додо с их конкурсом по игре Балда, которая почти окончилась успехом. Пытаюсь переиграть всех

https://habr.com/ru/articles/828522/

#python #додо #додопицца #бот #pyautogui #pillow #easyocr #tesseract #tesseractocr #автоматизация

@hamoid yes! I use flameshot, lovely! I'm so sad that Peek, for capturing animations, stopped working. Sometimes I use Recapp and Blue Recorder.

This scrot thing was because I wanted to automate screenshots in Python using #pyautogui integration. I tried PIL.ImageGrab, it didn't work, and I ended using #pyscreenshot which worked fine.

@hamoid yes! I use flameshot, lovely! I'm so sad that Peek, for capturing animations, stopped working. Sometimes I use Recapp and Blue Recorder.

This scrot thing was because I wanted to automate screenshots in Python using #pyautogui integration. I tried PIL.ImageGrab, it didn't work, and I ended using #pyscreenshot which worked fine.

@hamoid yes! I use flameshot, lovely! I'm so sad that Peek, for capturing animations, stopped working. Sometimes I use Recapp and Blue Recorder.

This scrot thing was because I wanted to automate screenshots in Python using #pyautogui integration. I tried PIL.ImageGrab, it didn't work, and I ended using #pyscreenshot which worked fine.

@hamoid yes! I use flameshot, lovely! I'm so sad that Peek, for capturing animations, stopped working. Sometimes I use Recapp and Blue Recorder.

This scrot thing was because I wanted to automate screenshots in Python using #pyautogui integration. I tried PIL.ImageGrab, it didn't work, and I ended using #pyscreenshot which worked fine.

@hamoid yes! I use flameshot, lovely! I'm so sad that Peek, for capturing animations, stopped working. Sometimes I use Recapp and Blue Recorder.

This scrot thing was because I wanted to automate screenshots in Python using #pyautogui integration. I tried PIL.ImageGrab, it didn't work, and I ended using #pyscreenshot which worked fine.

@niccolove @thelinuxEXP I thought a little bit about the problem you two mentioned of making the same #tutorial #videos for every new version of #KDE. What about creating tutorials (half)automated, after every release? (especially if in some cases only cosmetic things changed) Maybe something like #PyAutoGUI could help: https://www.youtube.com/watch?v=3PekU8OGBCA

@niccolove @thelinuxEXP I thought a little bit about the problem you two mentioned of making the same #tutorial #videos for every new version of #KDE. What about creating tutorials (half)automated, after every release? (especially if in some cases only cosmetic things changed) Maybe something like #PyAutoGUI could help: https://www.youtube.com/watch?v=3PekU8OGBCA

@niccolove @thelinuxEXP I thought a little bit about the problem you two mentioned of making the same #tutorial #videos for every new version of #KDE. What about creating tutorials (half)automated, after every release? (especially if in some cases only cosmetic things changed) Maybe something like #PyAutoGUI could help: https://www.youtube.com/watch?v=3PekU8OGBCA

@niccolove @thelinuxEXP I thought a little bit about the problem you two mentioned of making the same #tutorial #videos for every new version of #KDE. What about creating tutorials (half)automated, after every release? (especially if in some cases only cosmetic things changed) Maybe something like #PyAutoGUI could help: https://www.youtube.com/watch?v=3PekU8OGBCA

@niccolove @thelinuxEXP I thought a little bit about the problem you two mentioned of making the same #tutorial #videos for every new version of #KDE. What about creating tutorials (half)automated, after every release? (especially if in some cases only cosmetic things changed) Maybe something like #PyAutoGUI could help: https://www.youtube.com/watch?v=3PekU8OGBCA

Testautomatisierung mit #Sikuli oder #Sikulix?

#PyAutoGUI ist deutlich angenehmer in der Handhabung und bis jetzt haben wir keine Bugs entdeckt

https://github.com/asweigart/pyautogui

#Python