現(xiàn)在國內(nèi)有股歪風(fēng),就是風(fēng)險投資投人工智能賽道,專門追逐搞人工智能的教授和博士,好像人工智能是個多么多么高門檻的事情,必須教授和博士才能搞定。
(1)數(shù)學(xué)
其實人工智能的基礎(chǔ)知識很低,大學(xué)的數(shù)學(xué)課程就能應(yīng)對。
人工智能涉及到的基礎(chǔ)數(shù)學(xué)知識就是三樣:概率、微積分、線性代數(shù)。
大家一定聽過人工智能不可解釋、人工智能有幻覺問題,其實本質(zhì)就是出在了人工智能的第一性原理,因為它的本質(zhì)就是:概率。概率的事情嘛,就像你在賭場賭博一樣,把把都是獨立事件。
大家也感覺現(xiàn)在的人工智能好像越來越像人了。就如同圖靈測試說的那樣:如果你判斷不出來在幕布后面是人還是機器,那么這臺機器就是人工智能。大家覺得人工智能現(xiàn)在真是越來越像人了,本質(zhì)就是人工智能的數(shù)學(xué)原理就是基于微積分擬合的。所謂的微積分擬合就像你照貓畫虎,越畫越像而已。所以現(xiàn)在人工智能工程用的專家人工制作提示模板進行調(diào)優(yōu)、專家人工制作指令模板進行調(diào)優(yōu)、專家人工進行強化學(xué)習(xí)反饋進行調(diào)優(yōu),都是因為專家人工在調(diào)教,當(dāng)然越來越像人了啊。所以大家一點也不要感覺人工智能神奇。
那線性代數(shù)在人工智能領(lǐng)域有啥用呢?其實沒啥用,就是為了方便計算簡化計算而已。把很多變量很多維度,用線性代數(shù)的矩陣計算方式來計算而已,就這點作用。
(2)模型
很多人說人工智能的三大門檻是:模型、數(shù)據(jù)、算力。其實這也沒啥神奇的。
我們先說說模型。很多人一提到模型,肯定會提到大模型、提到Transformer。
其實Transformer一點也不神奇,甚至我都覺得Transformer可能是走錯路了。
為啥會這樣說呢?因為Transformer的核心思想相當(dāng)原始:
1、注意力是為了讓長度越長時不要遺忘前面不要撿了芝麻丟了西瓜。從最早的256個字節(jié)到現(xiàn)在的128k,主要就是受限于內(nèi)存大小和內(nèi)存成本了。多頭注意力也是為了并行運算快而已。
2、Transformer的核心神經(jīng)網(wǎng)絡(luò)模型其實是最最原始最最早的前饋神經(jīng)網(wǎng)絡(luò),都起源于上世紀60年代了。后來雖然出現(xiàn)了大家熟知的CNN、RNN、LSTM等等先進模式,但Transformer其實根本沒用,而是返回源頭用了最原始的模型。
3、編碼器-解碼器,在外人看來好像很神秘,其實編碼器就是為了把輸入的信息轉(zhuǎn)換成向量形式便于線性代數(shù)矩陣計算而已。而解碼器正好相反,把計算好的結(jié)果又還原成普通人能看得懂的信息序列。
Transformer原理就是這么簡單啊,就這三個核心啊,這三個核心要義的作用我上述都講了。
其實Transformer的作用和云平臺的Docker的價值很相似,Transformer是把水泥沙子鋼精打造成一塊標(biāo)準磚,有了標(biāo)準磚,你建豬窩還是建100層的摩天大樓你都好建了。而Docker的價值也是這樣,把水泥沙子鋼精打造成一個標(biāo)準集裝箱,你集裝箱里放各種小零碎都行,但集裝箱就很好做長途運輸了,一艘大船,想壘多少個都可以自由組合。
所以為啥有了Transformer后模型可以越做越大,就是因為Transformer搞成了標(biāo)準磚,而且這塊標(biāo)準磚的內(nèi)核還是最最原始的算法模型。
這就尷尬了。人類那么多聰明腦袋,花了50年研究各種精巧算法,都廢了。所以2017年Transformer一出,2018年、2019年,眾多教授們一看,完啰完啰,自己多年的心血沒戲了。所以他們留在工業(yè)界就沒啥大價值了,人工智能只剩下簡單粗暴地搞算力搞海量數(shù)據(jù)高質(zhì)量數(shù)據(jù)加工了,不需要這些大教授了。所以這些大教授們在2017年之后又紛紛躲回大學(xué)象牙塔內(nèi),在工商業(yè)界待不住了。
(3)數(shù)據(jù)
咱們再說說數(shù)據(jù)。
數(shù)據(jù)需要兩個關(guān)鍵:
1、海量數(shù)據(jù)
2、海量的高質(zhì)量數(shù)據(jù)
為啥要這兩個關(guān)鍵呢。
我們先來說說我們最常規(guī)的信息化,就是:我們在現(xiàn)實中干完事了,然后人根據(jù)我們實際干的事,打開電腦軟件找到某個功能模塊,然后根據(jù)我們對這件事的理解,在這個功能模塊UI窗口中輸入了各種字段信息。這些信息都是基于我們?nèi)说淖晕依斫獾?,這些信息不是在現(xiàn)實實際干事的時候自動生成的,而是事中事后由人工來理解判斷由人工來輸入的,所以經(jīng)常會出現(xiàn)電腦自洽、現(xiàn)實自洽,但電腦和現(xiàn)實兩張皮、不一致。
那我們再說回到人工智能。為啥人工智能在2018年大模型出來之前需要海量的人工做海量的標(biāo)注呢?就是因為數(shù)據(jù)質(zhì)量不高,需要人工將這些海量數(shù)據(jù)打上標(biāo)簽,這其實和信息化輸入結(jié)構(gòu)性字段信息是一樣本質(zhì)的。
但是我們不想這么海量人工打標(biāo)簽怎么辦?所以大模型的競爭只能是高質(zhì)量的數(shù)據(jù),而且這樣的高質(zhì)量數(shù)據(jù)越多越好。為啥會這樣呢?就是因為高質(zhì)量數(shù)據(jù)相當(dāng)于在數(shù)據(jù)產(chǎn)生的時候就是由專業(yè)人產(chǎn)生的,他們產(chǎn)生信息的時候就不會瞎產(chǎn)生,而是帶有一定的結(jié)構(gòu)性和邏輯性,這和普通人隨便說話顛三倒四是不一樣的。
所以現(xiàn)在的人工智能大模型為啥能采用無監(jiān)督無標(biāo)注的學(xué)習(xí)方式呢?就是要求喂的數(shù)據(jù)就必須是高質(zhì)量高結(jié)構(gòu)性高邏輯性的數(shù)據(jù)。就這么本質(zhì)簡單。所以像圖書、論文、Wiki、專業(yè)問答如SF這些數(shù)據(jù)都是高質(zhì)量高結(jié)構(gòu)性高邏輯性數(shù)據(jù)。所以為啥SF會屏蔽Open AI,會和Open AI打官司,就是因為Open AI想免費使用SF的高質(zhì)量數(shù)據(jù),然后搞好大模型去賣錢。
但是,世界上哪里有那么多高質(zhì)量的數(shù)據(jù)啊。所以沒辦法,前期盡量高質(zhì)量數(shù)據(jù),沒有的話就選次一點的數(shù)據(jù)。大家都明白垃圾輸入垃圾輸出。那怎么辦?那么辦法啰,只能在事后補救了,這就是我們常見到的:專家人工制作提示模板進行調(diào)優(yōu)、專家人工制作指令模板進行調(diào)優(yōu)、專家人工進行強化學(xué)習(xí)反饋進行調(diào)優(yōu)。
(4)算力
最后我們講講算力。
很多人奇怪,老美卡了我們那么多芯片:
1、計算機服務(wù)器的計算芯片
2、手機的計算芯片、通信芯片、圖形芯片
3、現(xiàn)在又卡我們的人工智能芯片
聽說現(xiàn)在英偉達的A100和H100芯片都炒到了天價,很多人納悶,我們現(xiàn)在已經(jīng)有了國產(chǎn)的CPU,為啥我們不能拿國產(chǎn)CPU來進行人工智能大模型的處理呢?非得需要專門的人工智能處理芯片呢?
其實無他,人工智能大模型的原理是深度神經(jīng)網(wǎng)絡(luò),深度神經(jīng)網(wǎng)絡(luò)的計算的數(shù)學(xué)原理是矩陣計算,咱們平常用的CPU擅長整數(shù)浮點數(shù)的四則運算,不擅長矩陣運算。當(dāng)然,你也可以用咱們CPU來搞人工智能大模型,但是性能肯定很慢,就比如說你想問大模型一個問題,大模型需要計算到明天才能告訴你答案,你愿意嗎?
(5)沒有先進落后之分,只有適用場景之分
所以人工智能并不神秘并不復(fù)雜,我們無須妄自菲薄,我們也不需要輕視或拋棄最經(jīng)典的人工智能,如:運籌學(xué)、優(yōu)化算法、因果推斷、時間序列預(yù)測、異常檢測算法...。其實這些古老的算法,一切都可深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí),也可以用Transfomer這塊標(biāo)準磚來搭建。就如同若干塊磚,你可以一會擺成S狀,也可以一會擺成B狀。
(6)技術(shù)成熟度
不過我的一個朋友昨天說了一句話蠻好:技術(shù)的成熟度,就是不斷從專家范圍到社會范圍到普通人普惠。
我想了想,還真是。
一開始流行的人工智能,如上述我寫的:運籌學(xué)、優(yōu)化算法、因果推斷、時間序列預(yù)測、異常檢測算法,都是很專家。即使我用運籌學(xué)給你做個應(yīng)用模型,你也不會用。就得乙方專家做,甲方專家用。
后來,互聯(lián)網(wǎng)興起了,最典型的人工智能技術(shù)就是搜索(如百度)、推薦(如抖音)。這就是乙方專家做,甲方普通用戶就能用。
現(xiàn)在,人工智能扎堆的熱點是:文本/音頻/視頻的識別和生成,這就產(chǎn)生的初級應(yīng)用如:數(shù)字助手、虛擬角色人、數(shù)字形象人,這就普惠了?,F(xiàn)在任何普通人都能應(yīng)用這些人工智能技術(shù)了。這就是技術(shù)的成熟度。