近日，美國斯坦福大學(xué)李飛飛等百余位學(xué)者聯(lián)名發(fā)布《基礎(chǔ)模型的機(jī)遇與挑戰(zhàn)》一文，論述在人工智能基礎(chǔ)模型成為趨勢的環(huán)境下，其發(fā)展面臨的機(jī)遇與挑戰(zhàn)。文章指出，基礎(chǔ)模型的應(yīng)用使得自監(jiān)督學(xué)習(xí)+預(yù)訓(xùn)練模型微調(diào)適配方案逐漸成為主流，并帶來了智能體認(rèn)知能力的進(jìn)步。但同時由于基礎(chǔ)模型的任何一點(diǎn)改進(jìn)會迅速覆蓋整個AI社區(qū)，其隱患在于基礎(chǔ)模型的缺陷也會被所有下游模型所繼承。
斯坦福大學(xué)學(xué)者談到的基礎(chǔ)模型，國際上也稱預(yù)訓(xùn)練模型，也被國內(nèi)研究者稱為大模型。那么，什么是人工智能大模型，與小模型相比有哪些優(yōu)勢？為何大模型會成為趨勢，在行業(yè)中有哪些應(yīng)用？未來又面臨怎樣的機(jī)遇和挑戰(zhàn)？
像發(fā)電廠一樣源源不斷供應(yīng)“智力源”
大模型成了最近AI產(chǎn)學(xué)界刷屏率頗高的詞匯。需要更大算力、更大數(shù)據(jù)集的大模型，為何可能是未來AI最好的伙伴？這要從AI開發(fā)者們的一次次挫敗與碰壁說起。
深度學(xué)習(xí)技術(shù)興起的近10年間，AI模型基本上是針對特定應(yīng)用場景需求進(jìn)行訓(xùn)練的小模型。小模型用特定領(lǐng)域有標(biāo)注的數(shù)據(jù)訓(xùn)練，通用性差，換到另外一個應(yīng)用場景中往往不適用，需要重新訓(xùn)練。另外，小模型的訓(xùn)練方式基本是“手工作坊式”，調(diào)參、調(diào)優(yōu)的手動工作太多，需要大量的AI工程專業(yè)人員來完成。同時，傳統(tǒng)模型訓(xùn)練需要大規(guī)模的標(biāo)注數(shù)據(jù)，如果某些應(yīng)用場景的數(shù)據(jù)量少，訓(xùn)練出的模型精度就會不理想。
“小模型的這些問題，導(dǎo)致當(dāng)前AI研發(fā)整體成本較高，效率偏低。由于AI人才短缺以及成本昂貴，對于中小行業(yè)用戶來說，小模型的這些問題阻礙了行業(yè)用戶采用人工智能技術(shù)的腳步，成為AI普惠的障礙。”北京智源人工智能研究院院長黃鐵軍在接受科技日報記者采訪時指出。
雖然，之前全球呈現(xiàn)“千村萬戶大煉模型”的熱鬧場面，但這種“自家煉鋼自己用”的作坊方式顯然不符合現(xiàn)代產(chǎn)業(yè)發(fā)展規(guī)律。
黃鐵軍進(jìn)一步解釋道：“大模型可以解決這些問題，其泛化能力強(qiáng)，可以做到‘舉一反三’，同一模型利用少量數(shù)據(jù)進(jìn)行微調(diào)或不進(jìn)行微調(diào)就能完成多個場景的任務(wù)，中小企業(yè)可以直接調(diào)用，不需要招聘很多AI算法專業(yè)人員就能進(jìn)行應(yīng)用開發(fā)，顯著降低中小企業(yè)的研發(fā)門檻，促進(jìn)AI技術(shù)落地?！?
得益于這些優(yōu)勢，人工智能的發(fā)展已經(jīng)從“大煉模型”逐步邁向“煉大模型”的階段。以美國OpenAI、谷歌、微軟、臉書等機(jī)構(gòu)為代表，布局大規(guī)模智能模型已成為全球引領(lǐng)性趨勢，并形成了GPT-3、Switch Transformer等千億或萬億參數(shù)量的大模型?？梢哉f，人工智能大模型時代正在到來！
“人工智能大模型是‘大數(shù)據(jù)+大算力+強(qiáng)算法’結(jié)合的產(chǎn)物，是集成大數(shù)據(jù)內(nèi)在精華的‘隱式知識庫’，也是實(shí)現(xiàn)人工智能應(yīng)用的載體。大模型是連接人工智能技術(shù)生態(tài)和產(chǎn)業(yè)生態(tài)的橋梁，向下帶動基礎(chǔ)軟硬件發(fā)展，向上支撐了智能應(yīng)用百花齊放，是整個人工智能生態(tài)的核心?！秉S鐵軍表示。
北京智源人工智能研究院理事長張宏江博士指出：“未來，大模型會形成類似電網(wǎng)的智能基礎(chǔ)平臺，像發(fā)電廠一樣為全社會源源不斷地供應(yīng)‘智力源’。”
超大模型“通用智能”能力應(yīng)用前景廣闊
類比人的教育培養(yǎng)，大模型所完成的培訓(xùn)就如同基礎(chǔ)性、通識性的大學(xué)本科培養(yǎng)，“學(xué)成”后的大模型具備處理一般事物的能力。如果要完成更專業(yè)、更高級的任務(wù)，大模型還需要“研究生”階段的專業(yè)培養(yǎng)。
黃鐵軍進(jìn)一步指出：“AI大模型通常是在大規(guī)模無標(biāo)注數(shù)據(jù)上進(jìn)行訓(xùn)練，學(xué)習(xí)數(shù)據(jù)中蘊(yùn)含的特征、結(jié)構(gòu)和知識。基于大模型進(jìn)行應(yīng)用開發(fā)時，將大模型進(jìn)行微調(diào)（在下游針對特定任務(wù)利用小規(guī)模數(shù)據(jù)進(jìn)行二次訓(xùn)練）或者不進(jìn)行微調(diào)，就可以滿足多種應(yīng)用任務(wù)的需要。”
“從‘大煉模型’到‘煉大模型’，北京智能研究院推出的悟道系列大模型成為這一進(jìn)程中的標(biāo)志性成果。”張宏江指出，大模型、大平臺、大數(shù)據(jù)的系統(tǒng)性的生態(tài)蓬勃的發(fā)展勢頭，驗(yàn)證了在AI研究與創(chuàng)業(yè)領(lǐng)域新機(jī)遇正在降臨。
在這一趨勢下，北京智源人工智能研究院2021年3月發(fā)布悟道1.0，是中國首個人工智能大模型，取得多項國際領(lǐng)先的AI技術(shù)突破；2021年6月發(fā)布的悟道2.0，參數(shù)規(guī)模達(dá)到1.75萬億，是OpenAI的GPT-3模型的10倍，一躍成為世界最大模型。
北京智源人工智能研究院學(xué)術(shù)副院長、清華大學(xué)教授唐杰表示，大模型可以包含更多數(shù)據(jù)，表示更多信息，模型往超大規(guī)模發(fā)展是一個必然的趨勢。智源在布局萬億級模型，包括配套的高性能算力平臺。目前，悟道團(tuán)隊一方面擴(kuò)大模型的規(guī)模，讓模型的表示能力更強(qiáng)，一方面針對實(shí)際應(yīng)用，提高精度。此外，團(tuán)隊還在模型微調(diào)算法上進(jìn)行了創(chuàng)新，希望早日打通百億級模型和萬億級模型的橋梁。
“超大規(guī)模預(yù)訓(xùn)練模型的出現(xiàn)，很可能改變信息產(chǎn)業(yè)格局，即基于數(shù)據(jù)的互聯(lián)網(wǎng)時代、基于算力的云計算時代之后，接下來可能將進(jìn)入基于大模型的AI時代?！碧平苷J(rèn)為。
據(jù)介紹，超大規(guī)模智能模型的“通用智能”能力在醫(yī)療、金融、新聞傳播等行業(yè)應(yīng)用前景廣闊。例如，在醫(yī)療健康領(lǐng)域，大模型在醫(yī)療數(shù)據(jù)格式化、病歷自動解讀與分析、自動問診系統(tǒng)等方面都可以發(fā)揮巨大效用。在金融、法律、財務(wù)、人力資源、零售等傳統(tǒng)行業(yè)領(lǐng)域，大模型能提供高性能的智能信息解析和提取、智能數(shù)據(jù)整合、自動機(jī)器翻譯、輔助決策等功能，提升業(yè)務(wù)流程效率和水平。在新聞傳播領(lǐng)域，基于模型可實(shí)現(xiàn)智能新聞線索收集、機(jī)器寫作、輔助編輯、虛擬主播等應(yīng)用。目前，智源悟道大模型，也在為北京冬奧會提供新場景下的人工智能服務(wù)應(yīng)用；并正在以大模型黑科技，開啟手機(jī)AI語音技術(shù)新路徑，賦能
智能終端新一輪AI體驗(yàn)革新。在9月24日舉行的2021中關(guān)村論壇“人工智能與多學(xué)科協(xié)同創(chuàng)新論壇”上，智源“悟道”大模型與OPPO小布助手合作，基于“悟道”大模型開啟“生成式回答系統(tǒng)”，全面功能上線后一舉解決了行業(yè)共通性的長尾問題，單條回答建設(shè)成本降低99%。
大模型面臨的機(jī)遇與挑戰(zhàn)
最近，斯坦福大學(xué)數(shù)十位研究者聯(lián)名發(fā)表《基礎(chǔ)模型的機(jī)遇和風(fēng)險》綜述文章，認(rèn)為大模型的特點(diǎn)之一是“同質(zhì)化”，好處在于大模型的任何一點(diǎn)改進(jìn)就可以迅速覆蓋整個AI社區(qū)。但同時，它也帶來一些隱患，大模型的缺陷會被所有下游模型所繼承。特點(diǎn)之二是海量數(shù)據(jù)訓(xùn)練出的基礎(chǔ)模型具有“涌現(xiàn)”特性，也就是產(chǎn)生未曾預(yù)先設(shè)想的新能力，這種特性有望讓AI具備處理語言、視覺、機(jī)器人、推理、人際互動等各類相關(guān)任務(wù)的能力。因此這類模型將賦能各行各業(yè)，加快行業(yè)的智能化轉(zhuǎn)型，在法律、醫(yī)療、教育等領(lǐng)域都會帶來具有社會價值的影響。
但同時，如何應(yīng)對大模型下游的傳播問題，進(jìn)一步提高信息的精準(zhǔn)性與適用性，以人工智能大模型技術(shù)激活各行各業(yè)？
黃鐵軍回答道：“這是學(xué)界現(xiàn)在所面臨的共同難題，未來應(yīng)該從幾個方面來減輕甚至消除這類影響：首先就是要關(guān)注訓(xùn)練數(shù)據(jù)的質(zhì)量，目前一些模型具有的偏見其實(shí)都是由訓(xùn)練數(shù)據(jù)本身所引發(fā)的，因此我們要在數(shù)據(jù)源頭上做好保障，既要量大，也要質(zhì)高。第二，要加強(qiáng)對算法本身及模型內(nèi)部運(yùn)作機(jī)制的研究，目前深度學(xué)習(xí)算法的可解釋性等理論還在探討階段，對大模型的理論分析和缺陷查找能力提出了更大挑戰(zhàn)，這就需要加強(qiáng)基礎(chǔ)研究，以支撐大模型在那些可靠性要求更高行業(yè)中的應(yīng)用。此外，模型的訓(xùn)練過程中，要加入多模態(tài)的數(shù)據(jù)，比如文本、圖片、視頻等類型的輸入，通過多模態(tài)信息內(nèi)在的多重關(guān)聯(lián)性降低大模型‘偏執(zhí)’的概率。我們常說人要‘行萬里路，讀萬卷書’，大模型也一樣，會隨著算法的改進(jìn)和‘閱歷’的增加越來越智能。”
