AutoGLM Agent: L’agente GUI autonomo di Zhipu AI spiegato
AutoGLM è un agente fondazionale autonomo sviluppato da Zhipu AI in collaborazione con l’Università Tsinghua che controlla telefoni Android e browser web tramite comandi in linguaggio naturale — senza bisogno di integrazioni con app o API. Sulla piattaforma z.ai, AutoGLM rappresenta un salto significativo nell’IA agenticale: vede il tuo schermo, ragiona sul tuo obiettivo ed esegue attività multi-step tra le app simulando tocchi, scorrimenti e input di testo. L’agente ha debuttato nell’ottobre 2024 con benchmark di ricerca che lo collocano ben al di sopra di GPT-4o e Claude-3.5-Sonnet nelle attività di controllo GUI — e all’inizio del 2026 si era espanso in un prodotto consumer gratuito e in un modello open source.
Cos’è AutoGLM? Da ChatGLM ad agente GUI fondazionale
AutoGLM è una nuova serie nella famiglia ChatGLM progettata specificamente per le attività agentiche — eseguire azioni nelle interfacce digitali anziché limitarsi a generare testo. Mentre ChatGLM risponde alle domande, AutoGLM naviga tra le app. L’agente è costruito su GLM-4.5 / GLM-4.5V, il modello di ragionamento e multimodale di Zhipu AI, che fornisce sia la comprensione del linguaggio sia l’analisi visiva dello schermo in un unico modello.
Il paper di AutoGLM su arXiv (arXiv 2411.00820, pubblicato nell’ottobre 2024) ha introdotto due prototipi di controllo GUI pronti per la produzione: uno per i browser web tramite il plugin Qingyan Browser, e uno per telefoni Android tramite ADB. La ricerca è stata guidata da Xiao Liu con team congiunti di Zhipu AI e dell’Università Tsinghua. Il progetto descrive AutoGLM come un “agente fondazionale per le GUI” — un sistema general-purpose adattabile a qualsiasi interfaccia visiva senza personalizzazione per singola app.
AutoGLM vs ChatGLM: cosa è cambiato
Il cambiamento fondamentale è dalla risposta all’azione. ChatGLM è un modello linguistico: gli dai un prompt, restituisce testo. AutoGLM è un sistema agentico: gli dai un obiettivo e opera su un dispositivo per raggiungerlo. Pensa a ChatGLM come al cervello e ad AutoGLM come alle mani — l’agente di Zhipu AI utilizza GLM-4.5V come nucleo di ragionamento, aggiungendo poi un livello di grounding che traduce le decisioni in interazioni precise con lo schermo.
Questa distinzione è importante per sviluppatori e utenti enterprise. AutoGLM non richiede SDK di app, API di accessibilità o framework di automazione di terze parti. Opera al livello visivo — lo stesso livello che usa un essere umano — il che lo rende generalizzabile tra app che non avevano mai previsto di essere automatizzate.
Cronologia del prodotto
| Data | Versione |
|---|---|
| 28 ottobre 2024 | Versione di ricerca iniziale: prototipi web + Android |
| 31 marzo 2025 | AutoGLM Rumination + serie GLM-Z1 lanciati gratuitamente al pubblico |
| Agosto 2025 | Versione web gratuita ampiamente disponibile su z.ai |
| Ottobre 2025 | AutoGLM 2.0: backbone GLM-4.5, autonomia L4, computer cloud in sandbox |
| 8 dicembre 2025 | Open-AutoGLM (AutoGLM-Phone-9B) open source sotto licenza MIT/Apache-2.0 |
Come funziona AutoGLM: architettura e addestramento
AutoGLM divide ogni attività in due fasi: pianificazione (decidere cosa fare dopo) e grounding (tradurre quella decisione in un tocco o input preciso al pixel sullo schermo). Questo design dell’interfaccia intermedia consente al modello di ragionare ad alto livello mentre il livello di grounding gestisce i dettagli visivi di dove esattamente agire sullo schermo.
Per Android, l’agente GUI autonomo utilizza ADB (Android Debug Bridge) per simulare input hardware — tocchi, scorrimenti, pressioni prolungate e inserimento di testo. Per la navigazione web, usa il prompting Set-of-Marks (SoM): una tecnica che sovrappone etichette numerate sugli elementi interattivi in modo che il modello possa riferirsi a loro tramite ID anziché coordinate pixel. Questo rende l’automazione web più stabile tra ricaricamenti di pagina e contenuti dinamici.
Apprendimento per rinforzo auto-evolutivo
L’innovazione chiave di AutoGLM è la sua metodologia di addestramento. Invece di basarsi unicamente su dimostrazioni umane, utilizza un curriculum auto-evolutivo tramite apprendimento per rinforzo online (WebRL / RLVR). Il processo inizia con circa 1.000 esempi di behavioral cloning — sufficienti a raggiungere un tasso di successo del 22,4% — per poi lasciare che l’agente esplori siti web reali e riceva segnali binari di successo/fallimento, iterando sulle proprie prestazioni. Questo ha portato i punteggi dei benchmark ai livelli finali comunicati senza richiedere enormi dataset etichettati.
Questo approccio si differenzia dal fine-tuning tramite istruzioni usato nella maggior parte degli agenti GUI. Il modello incontra stati dell’interfaccia genuinamente nuovi durante l’addestramento (perché i siti web reali cambiano), impara a recuperare dagli errori e sviluppa sequenze di azioni più robuste. Il risultato è un agente che generalizza meglio dei modelli addestrati esclusivamente su dimostrazioni registrate.
Piattaforme e azioni supportate
- Android 7.0+ e HarmonyOS tramite connessione ADB/HDC
- Browser web tramite il plugin Qingyan Browser
- 10 tipi di azione: Launch, Tap, Type, Swipe, Back, Home, Long Press, Double Tap, Wait, Take_over
- 50+ app Android e 60+ app native HarmonyOS (WeChat, Taobao, Douyin, Gmail, Google Maps e altre)
L’azione “Take_over” merita una menzione: quando l’agente incontra incertezza o un passaggio che richiede il giudizio umano (ad es. un CAPTCHA o una conferma di pagamento), si mette in pausa e restituisce il controllo all’utente. Questo design previene l’accumulo di errori in sequenze ad alto rischio.
Prestazioni di AutoGLM: benchmark e risultati reali
Le prestazioni di benchmark di AutoGLM sono ciò che lo ha messo in evidenza alla fine del 2024. I risultati su tre principali suite di valutazione raccontano una storia coerente: l’addestramento specializzato per il controllo GUI supera i modelli frontier general-purpose con un ampio margine.
“AutoGLM è il primo a superare il 50% di successo su VAB-WebArena-Lite con un singolo modello, senza concatenazione di strumenti esterni né intervento umano durante l’esecuzione.”Xiao Liu et al., Paper AutoGLM (arXiv 2411.00820)
Navigazione web: VAB-WebArena-Lite
Su VAB-WebArena-Lite — un benchmark di 165 attività web reali che riguardano e-commerce, ricerca di informazioni e compilazione di moduli — AutoGLM raggiunge un tasso di successo del 55,2%. Con un secondo tentativo, sale al 59,1%. Il confronto con i modelli general-purpose è netto:
| Modello | VAB-WebArena-Lite | Con 2° tentativo |
|---|---|---|
| AutoGLM | 55,2% | 59,1% |
| Claude-3.5-Sonnet | — | — |
| GPT-4o | 18,2% | — |
| Agent Q | — | ~40% |
Nelle attività di prenotazione ristoranti su OpenTable (un benchmark più strutturato), AutoGLM raggiunge il 96,2%, rispetto al 62,6% di GPT-4o e all’81,7% di Agent Q.
Controllo del dispositivo Android
Su AndroidLab (VAB-Mobile), l’agente AI per Android raggiunge il 36,2% di completamento delle attività. Questo lo colloca davanti a Claude-3.5-Sonnet (29,0%) e GPT-4o (31,2%) sullo stesso benchmark. Nelle app cinesi più popolari — WeChat, Taobao, Meituan e altre — i tassi di successo raggiungono l’89,7%, riflettendo la forte ottimizzazione di AutoGLM per quell’ecosistema di app.
Osservazioni sul mondo reale
In test estesi sul campo (Kunpeng AI Lab, 2026), l’agente AI mobile si comporta meglio in:
- Ordinazioni (caffè, consegna di cibo) tramite flussi su singola app
- Composizione di messaggi brevi e voci di calendario
- Semplici sequenze cross-app (ad es. cercare un’attività, aggiungerla ai contatti, inviare un messaggio)
Limitazioni attuali da tenere presenti:
- Instabilità dell’interfaccia quando le app aggiornano il loro layout tra un’esecuzione dell’agente e l’altra
- Ampie autorizzazioni sul dispositivo richieste (l’accesso ADB è significativo)
- Compromessi tra velocità e affidabilità su attività multi-app complesse
- Nessun supporto per iOS (solo Android 7.0+ e HarmonyOS)
L’agente è più adatto ai primi utilizzatori di Android che eseguono flussi di lavoro ripetitivi a basso rischio — non ancora una sostituzione completa dell’automazione telefonica.
La gamma di prodotti AutoGLM: Rumination, 2.0 e Open-AutoGLM
Entro il 2025, AutoGLM si era espanso ben oltre le sue origini di prototipo di ricerca in una famiglia di prodotti che risponde a diversi segmenti di utenti — dai normali utenti web agli sviluppatori che distribuiscono modelli locali.
AutoGLM Rumination: agente di ricerca approfondita gratuito
AutoGLM Rumination (lanciato nel marzo 2025) è la risposta di Zhipu AI a Manus AI — un prodotto agentico gratuito in grado di navigare sul web, utilizzare strumenti e completare autonomamente attività di ricerca multi-step. È disponibile su z.ai (web), come app iOS e con accesso API su richiesta. A differenza di Manus AI ($39–$199/mese, con codici di invito venduti in precedenza fino a $7.000), AutoGLM Rumination è gratuito. Il nome “Rumination” si riferisce alle catene di ragionamento più lunghe del prodotto, costruite sulla famiglia di modelli GLM-Z1.
AutoGLM 2.0: autonomia L4
AutoGLM 2.0 (ottobre 2025) opera a quello che Zhipu AI chiama “autonomia L4” — l’agente gira su computer cloud in sandbox, può completare operazioni complesse che si estendono su 54+ step tra applicazioni e tratta l’essere umano come un approvatore anziché come un operatore. Supporta MCP (Model Context Protocol) per l’integrazione degli strumenti e l’ambiente di esecuzione è isolato dal dispositivo dell’utente, riducendo le preoccupazioni relative a privacy e sicurezza. L’esecuzione cross-app a questo livello — pianificare un flusso di lavoro multi-app, eseguirlo e riferire i risultati — rappresenta un passo qualitativo significativo rispetto al prototipo di ricerca del 2024.
Open-AutoGLM: il modello open source
Open-AutoGLM (rilasciato l’8 dicembre 2025) è la versione open source e distribuibile localmente dell’agente per telefono. Il modello principale è AutoGLM-Phone-9B-Multilingual (~20GB), costruito sull’architettura GLM-4.1V-9B-Thinking. Requisiti hardware minimi:
- GPU con 24GB+ di VRAM (ad es. RTX 3090, A10 o superiore)
- Ambiente Python 3.10+
- Dispositivo Android 7.0+ o HarmonyOS con debug USB abilitato
- Connessione ADB o HDC stabile al dispositivo
Per il contesto sulla più ampia famiglia di modelli di Zhipu AI e sulle capacità di coding, consulta la loro roadmap di coding GLM — che mostra come AutoGLM si inserisce nel più ampio ecosistema GLM-4.5.
Il repository GitHub (github.com/zai-org/Open-AutoGLM) ha oltre 25.800 stelle — e l’organizzazione di ricerca più ampia di Zhipu AI (THUDM su GitHub) mantiene l’intera famiglia di modelli GLM inclusi ChatGLM e CogVLM. Provider API di terze parti — z.ai, Novita AI e Parasail — servono gli utenti privi di risorse GPU locali. Nota: il modello è rilasciato per uso di ricerca e apprendimento; la distribuzione commerciale richiede una licenza separata da Zhipu AI.
AutoGLM vs concorrenti: un confronto
Il vantaggio principale di AutoGLM è la specializzazione. È stato addestrato end-to-end per il controllo GUI tramite apprendimento per rinforzo su attività reali, mentre GPT-4o e Claude-3.5-Sonnet sono stati addestrati come assistenti general-purpose. Il divario nelle prestazioni dei benchmark — AutoGLM al 55,2% vs GPT-4o al 18,2% su VAB-WebArena-Lite — riflette direttamente quella specializzazione.
Rispetto a Manus AI, il differenziatore è il prezzo e l’architettura. Manus AI è costoso (basato su abbonamento, $39–$199/mese), opera su un paradigma general-purpose di utilizzo del computer ed è stato sviluppato da una startup cinese separata. AutoGLM Rumination è gratuito, costruito sullo stack GLM-4.5 di Zhipu AI e profondamente integrato nell’ecosistema z.ai. AutoGLM supera le prestazioni su AgentBench nelle attività di esecuzione degli strumenti, ragionamento e automazione del browser.
Il confronto con GLM-Z1-Air rivela guadagni in efficienza. GLM-Z1-Air di Zhipu AI è 8 volte più veloce di DeepSeek-R1 a circa 1/30 del costo computazionale, e AutoGLM 2.0 beneficia degli stessi miglioramenti di efficienza nella famiglia di modelli sottostante. Questo è importante per la distribuzione commerciale: un’inferenza più veloce e meno costosa rende i casi d’uso agentici economicamente sostenibili su larga scala.
Per il mercato cinese e l’ecosistema HarmonyOS, AutoGLM non ha concorrenti diretti. Con 60+ app native HarmonyOS supportate e l’ottimizzazione per le app cinesi (89,7% di successo), occupa una nicchia che gli agenti AI occidentali non hanno prioritizzato.
Tabella di confronto
| Caratteristica | AutoGLM Rumination | Manus AI | GPT-4o (GUI) |
|---|---|---|---|
| Prezzo | Gratuito | $39–$199/mese | A consumo |
| Controllo Android | Sì (ADB) | Limitato | No |
| Supporto HarmonyOS | Sì | No | No |
| Modello open source | Sì (9B) | No | No |
| Benchmark WebArena | 55,2% | Non pubblicato | 18,2% |
| Licenza commerciale | Richiesta separatamente | Inclusa | Inclusa |
Come usare AutoGLM: come iniziare
Iniziare con AutoGLM dipende dal tuo caso d’uso. La versione web non richiede alcuna configurazione. L’agente per telefono Android richiede la configurazione ADB. La distribuzione locale open source richiede una GPU adeguata e una certa dimestichezza con lo sviluppo.
Passo dopo passo: configurazione dell’agente per telefono Android
- Abilita le Opzioni sviluppatore sul tuo dispositivo Android 7.0+ (tocca Numero build 7 volte in Impostazioni → Info telefono)
- Abilita il Debug USB nelle Opzioni sviluppatore
- Scarica l’app AutoGLM per Android da z.ai o dalle release ufficiali su GitHub
- Collega il tuo dispositivo Android al computer tramite USB e concedi l’autorizzazione ADB
- Apri l’app AutoGLM, completa la configurazione dell’account e verifica lo stato della connessione ADB
- Descrivi la tua attività in linguaggio naturale (ad es. “Ordina un caffè da Starbucks per il ritiro alle 10:00”)
- Rivedi il piano d’azione dell’agente prima che lo esegua e usa Take_over se hai bisogno di intervenire
Versione web (punto di ingresso più semplice)
Per l’agente fondazionale autonomo basato su web, il percorso è più semplice: crea un account gratuito sulla piattaforma ufficiale Z.ai, poi usa AutoGLM Rumination direttamente per attività di ricerca e multi-step sul web. Installa il plugin Qingyan Browser per abilitare le funzionalità dell’agente di navigazione autonomo su qualsiasi sito web. I livelli di accesso API e i prezzi per token sono dettagliati nella pagina prezzi API di Z.ai.
Distribuzione locale Open-AutoGLM (sviluppatori)
Requisiti: GPU con 24GB+ di VRAM, Python 3.10+, dispositivo Android 7.0+ o HarmonyOS.
pip install open-autoglmScarica il modello (AutoGLM-Phone-9B-Multilingual) da Hugging Face o ModelScope. In alternativa, accedi al modello tramite API attraverso z.ai, Novita AI o Parasail per chi non dispone di risorse GPU locali. La documentazione completa delle API è disponibile su open.bigmodel.cn/dev/api.
Per le integrazioni in produzione, l’accesso alle API di AutoGLM tramite la piattaforma BigModel di Zhipu AI supporta le stesse capacità di esecuzione delle attività delle app consumer, con specifica delle attività in formato JSON e monitoraggio dello stato tramite callback.
Ulteriori informazioni sulla storia e sul percorso di ricerca di Zhipu AI sono disponibili nella panoramica su Zhipu AI — incluse le origini nell’Università Tsinghua e il posizionamento dell’azienda rispetto a OpenAI e Anthropic.
FAQ
Che cos’è AutoGLM?
AutoGLM è un agente AI autonomo sviluppato da Zhipu AI (Z.ai) che controlla telefoni Android e browser web tramite istruzioni in linguaggio naturale. Vede lo schermo, ragiona sull’obiettivo dell’utente ed esegue attività in più fasi — tocchi, digitazione, scorrimento — senza richiedere integrazioni con le app. È stato introdotto nell’ottobre 2024 e da allora si è espanso in un prodotto consumer gratuito (AutoGLM Rumination) e in un modello open source (Open-AutoGLM).
Come funziona AutoGLM?
AutoGLM utilizza un approccio in due fasi: prima pianifica l’azione da compiere usando il modello multimodale GLM-4.5V, poi ancora quel piano a precise coordinate sullo schermo usando Set-of-Marks per il web o comandi ADB per Android. Il modello è stato addestrato con apprendimento per rinforzo auto-evolutivo su attività GUI reali — non solo dimostrazioni umane — consentendogli di migliorare grazie al feedback del mondo reale.
AutoGLM è gratuito?
Sì. AutoGLM Rumination è gratuito tramite z.ai (web) e come app per iOS. L’accesso all’API è disponibile su richiesta. Il modello Open-AutoGLM è open source con licenza MIT/Apache-2.0 per uso di ricerca e apprendimento. L’uso commerciale richiede una licenza separata da Zhipu AI.
Qual è la differenza tra AutoGLM e ChatGLM?
ChatGLM è un modello linguistico conversazionale che risponde alle richieste con del testo. AutoGLM è un sistema agentivo costruito su GLM-4.5 che compie azioni nelle interfacce digitali — non si limita a rispondere alle domande, ma opera concretamente su app e siti web. ChatGLM è il cervello; AutoGLM sono le mani.
Quali app supporta AutoGLM?
AutoGLM supporta oltre 50 app Android e oltre 60 app native HarmonyOS, tra cui WeChat, Taobao, Douyin (TikTok), Meituan, Gmail, Google Maps e molte altre. Sono supportate anche attività che coinvolgono più app. Il supporto per iOS non è attualmente disponibile.
Come si confronta AutoGLM con Manus AI?
AutoGLM Rumination è gratuito; Manus AI costa da $39 a $199 al mese (i codici di invito venivano venduti in precedenza fino a $7.000). AutoGLM è costruito sul proprio stack di modelli GLM-4.5 di Zhipu AI e ottiene prestazioni superiori su AgentBench. Manus AI si concentra sull’uso generale del computer, mentre AutoGLM vanta un’integrazione più profonda con il controllo dei telefoni Android e l’ecosistema HarmonyOS.
Che cos’è AutoGLM Rumination?
AutoGLM Rumination è il prodotto agentivo consumer gratuito di Zhipu AI, in grado di navigare sul web, eseguire ricerche in più fasi e flussi di lavoro articolati, e utilizzare strumenti in modo autonomo. Disponibile su z.ai e come app per iOS, è stato rilasciato nel marzo 2025 come parte della famiglia di modelli GLM-Z1 ed è ottimizzato per catene di ragionamento più lunghe.
Open-AutoGLM è davvero open source?
I pesi del modello Open-AutoGLM (AutoGLM-Phone-9B-Multilingual, ~20 GB) e il codice sono rilasciati su GitHub (github.com/zai-org/Open-AutoGLM) con licenza MIT/Apache-2.0 — ma esclusivamente per ricerca e apprendimento. Il deployment commerciale richiede l’autorizzazione esplicita di Zhipu AI. Il repository conta oltre 25.800 stelle.