近日,以“共創產æ¥æ™ºèƒ½æ–°é«˜åº¦â€ç‚ºä¸»é¡Œçš„多模態人工智能產æ¥è¯åˆé«”第二次會è°åœ¨æ¦æ¼¢å¬é–‹ï¼Œæœƒä¸Šç™¼å¸ƒäº†ç”±ä¸åœ‹ç§‘å¸é™¢è‡ªå‹•åŒ–ç ”ç©¶æ‰€ã€æ¦æ¼¢äººå·¥æ™ºèƒ½ç ”究院ã€è¯ç‚ºæŠ€è¡“有é™å…¬å¸ç‰½é 的《多模態基礎大模型技術白皮書》。
  “當å‰ï¼Œäººå·¥æ™ºèƒ½æ£å¾žå–®æ¨¡æ…‹ã€æœ‰ç›£ç£å¸ç¿’,é‚å‘多模態ã€è‡ªç›£ç£å¸ç¿’的時代?ï¼æ•è¢Šî‰’茖Wé™¢è‡ªå‹•åŒ–ç ”ç©¶æ‰€ç ”ç©¶å“¡ã€æ¦æ¼¢äººå·¥æ™ºèƒ½ç ”究院院長王金橋表示,“多模態人工智能的未來必將風光無é™?ï¼?/span>
  å°æ•¸æ“šæ¨™æ³¨çš„ä¾è³´æ€§é™ä½Žäº†ä¸€å€‹æ•¸é‡ç´šä»¥ä¸Š
  è¦äº†è§£å¤šæ¨¡æ…‹äººå·¥æ™ºèƒ½ï¼Œé¦–先需è¦æ˜Žç™½ä½•ç‚ºæ¨¡æ…‹ï¼Œâ€œä¸€èˆ¬ä¾†èªªï¼Œæ¯ä¸€ç¨®ä¿¡æ¯çš„來æºæˆ–者形å¼ï¼Œéƒ½å¯ä»¥ç¨±ç‚ºä¸€ç¨®æ¨¡æ…‹?ï¼è“–踅饦蛘f。
  人類在信æ¯ç²å–ã€ç’°å¢ƒæ„ŸçŸ¥ã€çŸ¥è˜å¸ç¿’與表é”ç‰æ–¹é¢éƒ½æ˜¯é‡‡ç”¨å¤šæ¨¡æ…‹çš„輸入ã€è¼¸å‡ºæ–¹å¼ã€‚比如,如果一個人è¦åœ¨ä¸€ç‰‡è‰åªä¸Šæ‰¾åˆ°ä¸€æœµç››é–‹çš„花朵,既å¯ä»¥é€šéŽè¦–覺這一模態來尋找,也就是直接用眼ç›çœ‹ï¼›ä¹Ÿå¯ä»¥é€šéŽå—…覺這一模態來æœç´¢ï¼Œä¹Ÿå°±æ˜¯ç”¨é¼»åèžï¼›é‚„å¯ä»¥é€šéŽè§¸è¦ºé€™ä¸€æ¨¡æ…‹ä¾†æŽ¢å°‹ï¼Œä¹Ÿå°±æ˜¯ç”¨æ‰‹è§¸æ‘¸ã€‚é¢å°å°‹æ‰¾èŠ±æœµé€™å€‹å•é¡Œï¼Œä¸€èˆ¬ä¾†èªªï¼Œäººå€‘會采å–視覺ã€å—…覺ç‰å¤šæ¨¡æ…‹çš„æ–¹å¼ä¾†é€²è¡Œ?ï¼æ¾³æ’¤N程度上說,多模態的輸入ã€è¼¸å‡ºæ–¹å¼æ£æ˜¯äººé¡žæ™ºæ…§çš„é‡è¦é«”ç¾ä¹‹ä¸€?ï¼è“–踅饦虮硎?。
  目å‰çš„網絡數據包括圖åƒã€è¦–é »ã€æ–‡å—ã€éŸ³é »ç‰ä¸åŒæ¨¡æ…‹ã€‚å°äºŽäººå·¥æ™ºèƒ½ä¾†èªªï¼Œè¦æƒ³æ›´å¥½åœ°æŽŒæ¡ã€åˆ†æžã€åˆ©ç”¨ç¶²çµ¡ä¸Šçš„數據,就需è¦èƒ½å¤ å°é€™äº›å¤šæ¨¡æ…‹çš„數據進行系統的統籌和分æžã€‚
  王金橋表示:“技術創新是推動多模態人工智能產æ¥ç™¼å±•çš„é‡è¦å‹•åŠ›ä¹‹ä¸€ã€‚自20世紀70年代多模態å¸ç¿’èµ·æ¥ä»¥ä¾†ï¼Œä¼´éš¨è‘—近年來生æˆå¼é 訓練ã€åŸºäºŽTransformerçš„é›™å‘編碼器表é”ç‰å¤§è¦æ¨¡é 訓練模型的快速涌ç¾ï¼Œäººå·¥æ™ºèƒ½ç ”ç©¶é ˜åŸŸæ£åœ¨ç¶“æ·ä¸€å ´æœ‰ç›£ç£å¸ç¿’å‘無監ç£å¸ç¿’æ¢ä»¶ä¸‹â€˜å¤§æ•¸æ“š+大模型’的大è¦æ¨¡é 訓練范å¼è½‰è®Šï¼Œå¤šæ¨¡æ…‹äººå·¥æ™ºèƒ½ç™¼å±•è¿Žä¾†äº†æ–°çš„巔峰?ï¼?/span>
ã€€ã€€è¿‘å¹´ä¾†ï¼Œå¤šæ¨¡æ…‹äººå·¥æ™ºèƒ½åœ¨å ´æ™¯æ³›åŒ–æ€§ã€å°æ•¸æ“šçš„ä¾è³´æ€§ç‰æ–¹é¢éƒ½å–得了巨大的技術çªç ´ã€‚
  “多模態人工智能通éŽè‡ªç›£ç£çš„å¸ç¿’æ–¹å¼å°æµ·é‡ç„¡æ¨™æ³¨æ•¸æ“šé€²è¡Œå¸ç¿’,åŒæ™‚é¢å‘ç‰¹å®šä»»å‹™å ´æ™¯é€²è¡Œå°æ•¸æ“šçš„標注å¸ç¿’和微調。相å°äºŽå–®æ¨¡æ…‹äººå·¥æ™ºèƒ½ï¼Œå…¶å°æ•¸æ“šæ¨™æ³¨çš„ä¾è³´æ€§é™ä½Žäº†ä¸€å€‹æ•¸é‡ç´šä»¥ä¸Šã€‚â€çŽ‹é‡‘橋說。
  “多模態大模型+å°æ¨¡åž‹â€æ¨¡å¼æˆ–æˆä¸»æµ
  2017年,國務院制發《新一代人工智能發展è¦åŠƒã€‹ï¼Œç”±äººå·¥æ™ºèƒ½æŠ€è¡“引發的產æ¥è®Šé©æ£åœ¨åŠ 速演進。目å‰ï¼Œå„è¡Œå„æ¥åˆ©ç”¨äººå·¥æ™ºèƒ½æŠ€è¡“æ‰“é€ çš„ç”¢æ¥æ–°æ‡‰ç”¨ã€æ–°æ¥æ…‹ã€æ–°æ¨¡å¼ä¸æ–·æ¶Œç¾ï¼Œæˆ‘國的人工智能產æ¥åŒ–å‹¢é 迅猛,多模態人工智能產æ¥ä¹Ÿå–得了許多çªç ´ã€‚
  如今,多模態人工智能產æ¥æ£å¤§æ¥èµ°å‘å ´æ™¯åŒ–ã€å¯¦ç”¨åŒ–。“目å‰ï¼Œæ¨¡åž‹åƒæ•¸èˆ‡æ•¸æ“šè¦æ¨¡ä¸å†æ˜¯å„ç ”ç™¼æ©Ÿæ§‹çš„æ¯”æ‹¼é‡é»žï¼Œå¤šæ¨¡æ…‹äººå·¥æ™ºèƒ½ç”¢æ¥æ£åœ¨èµ°å‘å ´æ™¯æ‡‰ç”¨çš„æ–°éšŽæ®µ?ï¼è“–踅饦虮硎?。
  “例如,‘全媒體多模態大模型’就是基于ä¸åœ‹ç§‘å¸é™¢è‡ªå‹•åŒ–ç ”ç©¶æ‰€â€˜èžæµ·â€™å¤šæ¨¡æ…‹åª’體大數據和‘紫æ±å¤ªåˆâ€™ä¸‰æ¨¡æ…‹å¤§æ¨¡åž‹çš„技術ç©ç´¯ï¼Œçµåˆæ–°è¯ç¤¾å…¨åª’體的海é‡æ•¸æ“šç©ç´¯å’Œåª’é«”èžåˆæ¥å‹™å ´æ™¯è€Œå»ºç«‹çš„?ï¼î†Ÿî‚€è¥Ÿwå¤šæ¨¡æ…‹å¤§æ¨¡åž‹â€™å°‡åŠ é€ŸæŽ¨å‹•äººå·¥æ™ºèƒ½åœ¨è¦–é »é…音ã€èªžéŸ³æ’å ±ã€æ¨™é¡Œæ‘˜è¦ã€æµ·å ±å‰µä½œç‰å¤šå…ƒåª’é«”æ¥å‹™å ´æ™¯çš„應用。â€çŽ‹é‡‘橋說。
  æ¤å¤–,在智慧城市ã€é‡‘èžç§‘技ã€æ°‘生æœå‹™ç‰è¨±å¤šé ˜åŸŸï¼Œå¤šæ¨¡æ…‹äººå·¥æ™ºèƒ½ä¹Ÿæœ‰è‘—å»£é—Šçš„æ‡‰ç”¨å ´æ™¯ã€‚
  王金橋表示,未來“多模態大模型+å°æ¨¡åž‹â€çš„模å¼æˆ–å°‡æˆç‚ºå¤šæ¨¡æ…‹äººå·¥æ™ºèƒ½çš„主æµï¼Œè©²æ¨¡å¼å¯ä»¥æœ‰æ•ˆè§£æ±ºéœ€æ±‚碎片化ã€å¤šæ¨£åŒ–ç‰å•é¡Œã€‚
ã€€ã€€çŽ‹é‡‘æ©‹è¡¨ç¤ºï¼Œæˆ‘åœ‹æ‡‰è©²æ‰“é€ å·¥æ¥åŒ–范å¼çš„多模態大模型生態,æŒçºŒå®Œå–„國產基礎軟硬件支æ’é«”ç³»ï¼ŒåŠ å¤§äººå·¥æ™ºèƒ½èˆ‡é†«å¸ã€ææ–™ã€æ°£å€™ç‰ç§‘å¸ç ”ç©¶é ˜åŸŸçš„çµåˆåŠ›åº¦ï¼Œå¥å…¨äººå·¥æ™ºèƒ½ç”¢æ¥æ‡‰ç”¨æ”¿ç–標準,大力培養人工智能復åˆåž‹äººæ‰ã€‚