UI-TARS（UI-TARS）是一個(gè)由字節(jié)跳動(dòng)（ByteDance）開(kāi)發(fā)的開(kāi)源多模態(tài)智能體模型，旨在實(shí)現(xiàn)自動(dòng)化GUI交互和復(fù)雜任務(wù)處理。其核心目標(biāo)是通過(guò)結(jié)合視覺(jué)語(yǔ)言模型與強(qiáng)化學(xué)習(xí)，提升在圖形界面（GUI）、游戲、代碼使用和工具操作等任務(wù)中的表現(xiàn)。UI-TARS不僅具備強(qiáng)大的推理能力，還支持多種任務(wù)場(chǎng)景的自動(dòng)化處理，例如桌面操作、移動(dòng)設(shè)備操作、游戲交互等。

• UI-TARS官網(wǎng)入口網(wǎng)址：https://seed-tars.com/
• UI-TARS開(kāi)源項(xiàng)目地址：https://github.com/bytedance/UI-TARS

主要特點(diǎn)與功能

• 開(kāi)源與部署：UI-TARS 提供開(kāi)源模型（如 UI-TARS-1.5-7B），支持通過(guò) Hugging Face 和 GitHub 部署。
• 模型能力：支持桌面操作（鼠標(biāo)點(diǎn)擊、拖拽、鍵盤(pán)輸入）、移動(dòng)設(shè)備操作（長(zhǎng)按、打開(kāi)應(yīng)用等）以及輕量級(jí)任務(wù)輸出。
• 推理與推理能力：通過(guò)強(qiáng)化學(xué)習(xí)增強(qiáng)推理能力，提升性能和適應(yīng)性。
• 評(píng)估與基準(zhǔn)：在多個(gè)基準(zhǔn)測(cè)試中表現(xiàn)優(yōu)異，如 Windows Agent Arena、WebVoyager、Android World 等。
• 局限性：存在濫用風(fēng)險(xiǎn)、計(jì)算資源需求高、可能產(chǎn)生幻覺(jué)、模型規(guī)模限制等。

版本與更新

• UI-TARS-1.5：當(dāng)前主要版本，具備增強(qiáng)的 GUI、游戲和工具使用能力。
• UI-TARS-2：重大升級(jí)版本，集成更多能力，支持更復(fù)雜的任務(wù)。
• UI-TARS-1.5-7B：開(kāi)源模型，可在 Hugging Face 上獲取。

使用與部署

• 部署方式：支持本地部署、Hugging Face 端點(diǎn)部署。
• 代碼示例：提供 Python 示例代碼，用于解析模型輸出并生成操作代碼。
• 坐標(biāo)處理：提供坐標(biāo)處理指南和可視化工具。

UI-TARS 是一個(gè)強(qiáng)大的多模態(tài)代理模型，適用于 GUI 交互、游戲、自動(dòng)化任務(wù)等場(chǎng)景，具備開(kāi)源、可部署、可擴(kuò)展的特點(diǎn)，適合研究和實(shí)際應(yīng)用。