#omniparser — Public Fediverse posts

🧠 Come fanno gli #AI Agent come #Operator a eseguire azioni sui browser e su qualunque interfaccia grafica? 
👁️ Questo è un esempio di utilizzo di #OmniParser V2 in esecuzione in locale. Il sistema elabora ciò che "vede" nello schermo, e lo converte in dati strutturati che mappano e classificano ogni elemento. 
⚙️ Questi dati diventano contesto per un #LLM, che può eseguire operazioni sugli elementi. 

#AI #GenAI #GenerativeAI #IntelligenzaArtificiale 

🧠 Come fanno gli #AI Agent come #Operator a eseguire azioni sui browser e su qualunque interfaccia grafica? 
👁️ Questo è un esempio di utilizzo di #OmniParser V2 in esecuzione in locale. Il sistema elabora ciò che "vede" nello schermo, e lo converte in dati strutturati che mappano e classificano ogni elemento. 
⚙️ Questi dati diventano contesto per un #LLM, che può eseguire operazioni sugli elementi. 

#AI #GenAI #GenerativeAI #IntelligenzaArtificiale 

🧠 #Microsoft ha rilasciato #OmniParser V2: un sistema open source in grado di compiere azioni nell'interfaccia utente. 
✨ Non solo sul browser, ma un sistema che usa un #LLM in un Computer Use Agent. 

🔗 Il progetto: https://github.com/microsoft/OmniParser

___ 

✉️ 𝗦𝗲 𝘃𝘂𝗼𝗶 𝗿𝗶𝗺𝗮𝗻𝗲𝗿𝗲 𝗮𝗴𝗴𝗶𝗼𝗿𝗻𝗮𝘁𝗼/𝗮 𝘀𝘂 𝗾𝘂𝗲𝘀𝘁𝗲 𝘁𝗲𝗺𝗮𝘁𝗶𝗰𝗵𝗲, 𝗶𝘀𝗰𝗿𝗶𝘃𝗶𝘁𝗶 𝗮𝗹𝗹𝗮 𝗺𝗶𝗮 𝗻𝗲𝘄𝘀𝗹𝗲𝘁𝘁𝗲𝗿: https://bit.ly/newsletter-alessiopomaro 

#AI #GenAI #GenerativeAI #IntelligenzaArtificiale #LLM #AIAgent

🧠 #Microsoft ha rilasciato #OmniParser V2: un sistema open source in grado di compiere azioni nell'interfaccia utente. 
✨ Non solo sul browser, ma un sistema che usa un #LLM in un Computer Use Agent. 

🔗 Il progetto: https://github.com/microsoft/OmniParser

___ 

✉️ 𝗦𝗲 𝘃𝘂𝗼𝗶 𝗿𝗶𝗺𝗮𝗻𝗲𝗿𝗲 𝗮𝗴𝗴𝗶𝗼𝗿𝗻𝗮𝘁𝗼/𝗮 𝘀𝘂 𝗾𝘂𝗲𝘀𝘁𝗲 𝘁𝗲𝗺𝗮𝘁𝗶𝗰𝗵𝗲, 𝗶𝘀𝗰𝗿𝗶𝘃𝗶𝘁𝗶 𝗮𝗹𝗹𝗮 𝗺𝗶𝗮 𝗻𝗲𝘄𝘀𝗹𝗲𝘁𝘁𝗲𝗿: https://bit.ly/newsletter-alessiopomaro 

#AI #GenAI #GenerativeAI #IntelligenzaArtificiale #LLM #AIAgent

OmniParser V2: Turning Any LLM into a Computer Use Agent https://www.microsoft.com/en-us/research/articles/omniparser-v2-turning-any-llm-into-a-computer-use-agent/ #OmniParser #Microsoft #GenerativeAI #AI

OmniParser V2: Turning Any LLM into a Computer Use Agent https://www.microsoft.com/en-us/research/articles/omniparser-v2-turning-any-llm-into-a-computer-use-agent/ #OmniParser #Microsoft #GenerativeAI #AI

Omniparser, interesting opensource, essential for AI models that want to interpret screens and user interfaces.
https://microsoft.github.io/OmniParser/
#omniparser #ai #opensource #microsoft

Omniparser, interesting opensource, essential for AI models that want to interpret screens and user interfaces.
https://microsoft.github.io/OmniParser/
#omniparser #ai #opensource #microsoft

🔍 #Microsoft introduces #OmniParser, a new screen parsing module for #GUI interactions:
• Converts UI screenshots into structured elements for improved #AI agent navigation
• Works with #GPT4V to generate precise actions for interface regions
• Achieves top performance on #WindowsAgentArena benchmark

🛠️ Key Components:
• Specialized datasets for icon detection and description
• Fine-tuned detection model for identifying actionable regions
• Captioning model for extracting functional semantics

📊 Performance Highlights:
• Outperforms standard #GPT4V on #ScreenSpot benchmarks
• Compatible with #Phi35V and #Llama32V models
• Functions across PC and mobile platforms without HTML dependencies

🔗 Learn more: https://www.microsoft.com/en-us/research/articles/omniparser-for-pure-vision-based-gui-agent/