12日，成都人形機器人創新中心（以下簡稱“創新中心”）在四川成都發布了我國首個機器人多模態模型以及雙臂協作系統。該模型能夠使機器人理解、推理抽象的語義指令，并調度雙臂協作系統執行任務。
多模態數據協同推理是指融合兩種或兩種以上不同感知來源，進行綜合推理，并完成復雜任務的過程。創新中心研究人員將多模態應用于人形機器人領域，使機器人融合圖像、語義、力感知、環境感知等多種因素，綜合判斷、生成任務并執行。這是人形機器人具有自主思考能力的關鍵核心技術。
創新中心董事長張睿睿介紹，語義指令包括相對明確地將飲料和非飲料進行區分和分揀，也包括相對抽象地將圓柱體和長方體物體、可食用和不可食用物品進行區分和分揀。完成以上任務，需要機器人通過多模態模型自主對所有物品進行提取歸納。特別是對多個相似瓶子形狀的物體，機器人需進一步通過瓶身包裝上的文字、圖片等要素綜合判斷其是否為可食用物品而非化妝品等非食用瓶裝物，才能完成任務。
“多模態模型的發布，不僅加速了‘AI物理化’的進程，也讓人形機器人從‘預設擺拍’‘遙控操作’進化到擁有更強的‘大腦’和自主執行能力?！睆堫ｎ１硎?，下一步，創新中心將繼續深化技術研發，不斷優化多模態模型與雙臂協作系統的融合應用，提升人形機器人在復雜環境中的感知、決策與執行能力。
