lmsysorg 是一個由加州大學伯克利分校、加州大學圣地亞哥分校以及卡內(nèi)基梅隆大學的學生與教職員工共同組建的開放性質(zhì)的研究團體。該組織致力于通過開發(fā)開放數(shù)據(jù)集、模型、系統(tǒng)和評估工具，使每個人都能訪問大型模型。LMSYS Org 的目標是推動大型模型及其系統(tǒng)基礎設施的技術(shù)民主化，涵蓋機器學習、系統(tǒng)研究、模型訓練、評估和部署等領域。

lmsysorg官網(wǎng)入口網(wǎng)址：https://lmsys.org/

LMSYS Org 開發(fā)了多個知名項目，包括 Chatbot Arena、Vicuna 聊天機器人、FastChat、MT-Bench 等，這些項目在大模型評測、模型訓練和評估方面具有重要影響力。例如，Chatbot Arena 是一個基于用戶投票的模型評測平臺，通過匿名化模型展示和用戶投票來評估模型性能。此外，LMSYS Org 還發(fā)布了 Vicuna 聊天機器人，其性能在多個基準測試中表現(xiàn)優(yōu)異。

LMSYS Org 的研究和開發(fā)活動不僅限于學術(shù)界，還與產(chǎn)業(yè)界緊密合作，推動大模型技術(shù)的發(fā)展和應用。該組織通過開源項目和開放數(shù)據(jù)集，促進了大模型技術(shù)的普及和進步。