記者7月15日獲悉,上海交通大學重慶人工智能研究院“兆言”大模型發布會日前在西部(重慶)科學城召開,會上發布了該研究院最新成果——“兆言”大模型產品(以下簡稱“兆言”大模型),這是重慶首個自主研發的大語言模型。
據了解,“兆言”大模型是上海交通大學重慶人工智能研究院基于其AI大模型技術研發出的最新成果。它通過積累海量數據,運用獨特的數據處理和AI訓練技術,達到了精準、專業的文本輸出,實現了以自然語言選擇、調用應用程序。
“和通用大模型相比,‘兆言’大模型擁有領域精調效率高、訓練推理成本低、人機交互能力強的特點?!鄙虾=煌ù髮W重慶人工智能研究院院長、首席科學家金石介紹,通用大模型在行業落地方面面臨許多困難。比如,未經行業精調的通用大模型在行業應用中表現不佳、通用大模型需要的算力資源不易進行私有化部署、自然語言轉應用程序接口(API)調用不穩定等。
“兆言”大模型較好地解決了這些問題。該模型采用啟發式數據過濾及增強、模型預訓練和精調自適應比例混合、人工和自動評測相結合等方法對模型進行垂直領域精調,解決了精調中的數據質量差、模型訓練效率低等行業難題,使模型答案質量有了較好保障。
在研發過程中,研究團隊把該模型的小型化部署作為研發重點,大幅降低了模型訓練和推理成本。在商業化所需特定任務上,該模型在不降低回答質量的前提下,調用成本僅為小型化前的四百分之一,從而保障了以該模型為基礎的產品在市場上的競爭力。
為解決在自然語言轉API調用任務上模型發揮不穩定的問題,研發團隊還建立了專有的自然語言調用語料和指令數據集,從而實現了大語言模型對其他系統的精準調用。