深度學習近些年來迅猛發展，在人工智能領域顯現出了強大的威力。然而這一切是有代價的。為了完成日益復雜的AI任務，神經網絡模型體量暴增，對服務器的儲存和算力要求也水漲船高，由此產生的經濟成本、耗費的電量、對環境的污染正在困擾著這個行業。
人工智能的這場游戲正變得越來越“笨拙”，也越來越奢侈。于是，輕量化人工智能（Tiny AI）被寄予厚望，通過對人工智能模型及其計算載體的“瘦身”，提升效率、降低能耗。2020年，《麻省理工科技評論》將“Tiny AI”列為“全球十大突破性技術”。
中國科學院自動化研究所（以下簡稱自動化所）是國際上最早開展人工智能輕量化設計的機構之一?！笆濉逼陂g，自動化所研究團隊在“AI芯片—平臺—算法”全棧輕量化AI技術中取得了一系列成果，成為新一代人工智能的“先行者”。
降低AI應用門檻
2014年左右，自動化所研究員、主要從事圖像和視頻內容分析的程健敏銳意識到一個潛在問題，在利用日益活躍的神經網絡模型進行圖像與視頻的智能識別、搜索時，他感受到了一種前所未有的“慢”。
識別和搜索是一項對速度、效率要求非常高的任務，但隨著神經網絡模型的體型越來越大、參數越來越多、計算越來越復雜，必須依靠專門的服務器或者連接云端才能運行模型，它是以犧牲效率為代價的。
自動化所研究員張一帆表示，這也給人工智能的應用普及抬高了門檻。由于與人們日常生活息息相關的一些低配置、低成本的終端平臺，根本無法支撐起龐大的神經網絡模型的運行，因此很難實現AI賦能。
盡管模型越大意味著性能越強，但程健想到，也許應該換一種思路，在確保精度接近無損的前提下，給人工智能模型及其計算載體進行“瘦身”，比如減少計算量，降低模型復雜度等等，從而提升終端運行的效率，盡管這是一個極具挑戰性的任務。
2015年，程健帶領團隊進行了第一次嘗試，把原先無法在手機端上搭載的龐大的深度卷積神經網絡VGG，壓縮了20多倍，使之第一次在手機上完成了快速運行。借助經過輕量化“加工”的神經網絡模型，研究人員加載了一個圖像分類識別的應用，當時智能化的程度還較低的手機就已經可以實現對日常生活中的1000多類物體的快速識別，而不需要依靠云端計算。
這次嘗試的成功，讓程健相信，輕量化人工智能這條路不僅走得通，而且很有可能成為未來人工智能發展的主干道。因為，它可以使人工智能應用的門檻大大降低，使之成為普惠民生的智能生態。
在此之后，自動化所研究團隊在國際AI頂會發表了多篇神經網絡模型輕量化領域的重要論文，成為國際上最早開始AI輕量化研究的機構之一?！斑x擇這個方向，既是問題驅動的，也是社會需求推動的。”程健表示。
軟硬件協同設計
輕量化人工智能是以一系列輕量化技術為驅動提高算法、平臺和芯片的效率，在更緊密的物理空間上實現低功耗的人工智能訓練和應用部署，不需要依賴與云端交互就能實現智能化操作，被視為人工智能的重要應用方向。自動化所團隊在“十三五”期間，分別從軟件和硬件兩方面進行攻關。
自動化所副研究員王培松介紹，研究團隊首先從最上層的算法入手，提出了一系列諸如稀疏表示、量化計算等技術手段，把神經網絡的計算復雜度以及存儲復雜度大大降低。
但很快問題也隨之而來?！拔覀儼l現，要使推理和算法從云端遷移到終端成為可能，卻沒有一個合適的工具或者框架提供支撐，必須在移動端或在設備端定制一個推理框架?！弊詣踊鷳c浩博士提到，研究團隊用一年半時間自主設計開發出了一個輕量化AI平臺QEngine。
而后，把模型設計的輕量化，輔以合適的平臺提供支持，但運行速度依然達不到指標，這才讓團隊下定決心從底層硬件尋求突破。AI芯片作為人工智能的硬件載體，要能達到更高的性能、更高的效率、更低的功耗和更小的體積，最大化發掘硬件的能力。
讓王培松信心倍增的是，2019年，在國際神經信息處理系統大會（NeurIPS）上舉行的MicroNet Challenge競賽中，團隊與華盛頓大學、加州大學、日本京都大學，還有ARM、IBM、高通、Xilinx等國際一流的高校、芯片公司同場競技，設計的輕量化神經網絡架構在NeurIPS 2019的神經網絡壓縮與加速競賽（MicroNet Challenge）獲得了圖像類賽道雙料冠軍。就在2020年，自動化所自主研發的極低比特量化神經處理芯片（QNPU）也成功流片。
新一代人工智能逐浪者
目前，自動化所軟硬協同輕量化的技術研究一直走在國際前列。輕量化AI平臺QEngine及輕量化算法已經在數十萬終端上部署。國家電網、華為、步步高、OPPO等企業的很多產品都應用了自動化所的輕量化人工智能技術。
比如，基于輕量化人工智能研制的自主巡檢無人機、缺陷識別分析便攜終端、通道可視化智能感知攝像頭等，具備多種智能識別、檢測和分析功能，可有效保障輸配電線路的安全和電力系統穩定；在消費電子行業，輕量化的算法及輕量化神經網絡計算架構可有效實現暗光增強、超分辨率等，為手機終端、安防終端提供了影像增強效果；在教育終端的人機互動領域，“輕量化指尖點讀解決方案”賦予了低端硬件平臺高端AI算力……
程健表示，輕量化人工智能一直默默地在滿足我們日常生活當中很多人工智能的應用需求，但遠遠沒有走到頭。特別是在計算性能極弱的單片機，以及在各種空調、冰箱等家電中算力較弱的計算芯片上，去實現比較復雜的人工智能任務還任重道遠。除此之外，目前輕量化人工智能基于的軟件和硬件平臺，大多還是針對大模型、云端開發來研究的。未來要能最大化實現極致效率，還要進一步完善軟硬件的協同設計。
博士階段就跟著程健初涉輕量化人工智能領域的王培松和胡慶浩是與這一前沿領域共同成長起來的，目前已經是團隊的核心成員?！澳苴s上新一代人工智能的歷史潮流，并勇立潮頭，對我們年輕科研人員來說是一件很幸運且自豪的事。”
胡慶浩也坦言，新一代人工智能的角逐正面臨著激烈的國際競爭，特別是在輕量化算法設計和AI芯片領域，誰能突出重圍，謎底有待揭曉。
