沒錯(cuò),下層芯片決定上層應(yīng)用,AI手機(jī)的應(yīng)用和能力,取決于高通驍龍AI可以支持的程度。那么問題來了:高通驍龍的AI,到底能怎么樣?可能要從戰(zhàn)略路線、產(chǎn)品能力和技術(shù)應(yīng)用三方面回答。
戰(zhàn)略:5G+AI
在今年5月召開的高通AI創(chuàng)新論壇上,當(dāng)時(shí)高通總裁克里斯蒂安諾·阿蒙就分享過對(duì)大方向和大趨勢(shì)的看法。一句話:兩大技術(shù)趨勢(shì),一是5G,一是AI。
西安監(jiān)控系統(tǒng) 西安監(jiān)控軟件 西安監(jiān)控監(jiān)控系統(tǒng) 西安海康監(jiān)控 西安高清大華監(jiān)控 西安三星監(jiān)控
5G到底能做什么?高通的判斷是更好服務(wù)AI,可以為所有終端及其周邊萬物帶來了機(jī)器學(xué)習(xí)和AI等技術(shù)。5G會(huì)比4G更快、更低時(shí)延,但這還不夠,5G還能帶來與額外的處理器進(jìn)行連接。這也就意味著,移動(dòng)終端上的邊緣計(jì)算能力,將被5G推到新高度,智能終端都會(huì)擁有更加強(qiáng)大的計(jì)算力。
一個(gè)小案例,未來在進(jìn)行手機(jī)游戲時(shí),將達(dá)到PC一樣的性能,利用智能手機(jī)的系統(tǒng)級(jí)芯片(SoC),更好的VR體驗(yàn)都不再是問題,通過無線邊緣的處理能力,獲得之前只能在專用游戲PC才能享有的體驗(yàn)。
時(shí)也運(yùn)也,5G帶來的計(jì)算變革,與AI結(jié)合,諸多目前只有云端才能完成的AI能力,在終端就能實(shí)現(xiàn)——每一臺(tái)手機(jī)都會(huì)越用越聰明。以往,AI和機(jī)器學(xué)習(xí)算法模型的訓(xùn)練、執(zhí)行和推理都是在云端處理,但5G到來,終端側(cè)就能完成訓(xùn)練、執(zhí)行和推理,所有的搭載AI處理器的終端設(shè)備,都會(huì)具有更強(qiáng)的機(jī)器學(xué)習(xí)能力。核心是數(shù)據(jù)處理將在最靠近數(shù)據(jù)源的位置處理,對(duì)云端處理進(jìn)行補(bǔ)充。
于是,備受關(guān)注的用戶隱私性會(huì)得到更好保障,也會(huì)有助于個(gè)性化體驗(yàn)。同時(shí),此前終端-云-終端的計(jì)算模式帶來的不穩(wěn)定和時(shí)延,都將被終端側(cè)計(jì)算的穩(wěn)定性替代,移動(dòng)環(huán)境帶來的計(jì)算時(shí)延等都將成為歷史。總之,手機(jī)為核心的智能終端,基礎(chǔ)設(shè)施要迎來時(shí)代性革新。但不意味著把“趨勢(shì)”打磨成量產(chǎn)級(jí)技術(shù)、并裝進(jìn)手機(jī)里,就一馬平川。
4大技術(shù)挑戰(zhàn)
一是能效。在大數(shù)據(jù)量運(yùn)算中,是否還能降低功耗,提升能效,是AI算法高效運(yùn)行在移動(dòng)終端平臺(tái)上的關(guān)鍵,也是用戶體驗(yàn)的核心指標(biāo)——手機(jī)發(fā)燒,體驗(yàn)就會(huì)變差。
二是個(gè)性化。AI最核心的特點(diǎn)就是能夠通過機(jī)器學(xué)習(xí)找到每一個(gè)用戶的偏好和行為習(xí)慣,然后做出千人千面的反饋和決策。于是如何使深度學(xué)習(xí)的模型能夠根據(jù)個(gè)人的特點(diǎn),進(jìn)行持續(xù)學(xué)習(xí)、模型調(diào)整和保護(hù)隱私的分布式學(xué)習(xí),也是終端側(cè)AI非常重要的挑戰(zhàn)。
三是高效。不比云端無邊無際的“空間”,終端側(cè)AI的題中之義就要求要通過最少的數(shù)據(jù),實(shí)現(xiàn)在半監(jiān)督甚至無監(jiān)督的條件下的機(jī)器學(xué)習(xí),這會(huì)直接體現(xiàn)為終端AI應(yīng)用的千人千面體驗(yàn)——到底能否快速讀懂你。
四是系統(tǒng)架構(gòu)。需要有系統(tǒng)底層平臺(tái),讓能效、個(gè)性化和高效等問題的解決方案有底層系統(tǒng)性支持。
最后,高通交出的答卷是:驍龍人工智能引擎(AI Engine),也稱AIE。
AIE
AIE,發(fā)布之日起就備受關(guān)注,因?yàn)樽尞a(chǎn)業(yè)界感受到了AI應(yīng)用正在從具體走向普遍,從部分成為全局。這是一個(gè)底層土壤“準(zhǔn)備好了”的風(fēng)向標(biāo)時(shí)刻。然而事實(shí)上,這并不是高通驍龍的第一次AI實(shí)踐,而是第三次迭代了。
第一代AI平臺(tái)是驍龍820,實(shí)現(xiàn)了CPU上運(yùn)行神經(jīng)網(wǎng)絡(luò),并采用了當(dāng)時(shí)商用領(lǐng)域最為主流的框架Caffe。第二代是驍龍835,引入了神經(jīng)處理SDK,當(dāng)時(shí)高通與Google和Facebook進(jìn)行了深入合作,針對(duì)兩者提供的框架進(jìn)行了優(yōu)化,在終端側(cè)支持TensorFlow和Caffe2。無論是TensorFlow,還是Caffe2,曾經(jīng)都通常在云端運(yùn)行。但“裝入”驍龍后,一旦網(wǎng)絡(luò)經(jīng)過訓(xùn)練,開發(fā)者就可以從驍龍移動(dòng)平臺(tái)中選擇合適的內(nèi)核運(yùn)行,高通對(duì)所有這些內(nèi)核都進(jìn)行了優(yōu)化。
另外,離線工具可以在目標(biāo)運(yùn)行前,對(duì)模型進(jìn)行轉(zhuǎn)換、優(yōu)化、量化。所以在驍龍835推出后,智能手機(jī)開始進(jìn)入智能相冊(cè)管理和人臉識(shí)別的時(shí)代,成為智能手機(jī)新賣點(diǎn)。此后,年度大招才被發(fā)布。產(chǎn)業(yè)迎來當(dāng)前最主流的升級(jí):驍龍845搭載AIE,其后驍龍710上也搭載AIE——AI引擎首次恩澤千元機(jī)。當(dāng)然,驍龍820、驍龍660等更早發(fā)布的處理器,也迅速搭載了AIE。
在構(gòu)造上,AIE有一系列硬件與軟件組件組成,其中關(guān)鍵組件包括——硬件:Hexagon向量處理器、Adreno GPU和Kryo CPU的人工智能優(yōu)化組合;以及一套軟件工具和庫(kù):驍龍神經(jīng)處理SDK、Android NN和Hexagon NN。以此讓手機(jī)廠商和其他終端開發(fā)者,能夠在驍龍內(nèi)核上處理及加速AI應(yīng)用。最直接的應(yīng)用效應(yīng),相信你已經(jīng)在各大手機(jī)廠商發(fā)布會(huì)上耳熟能詳了。比如AI刷臉、拍照翻譯、AI個(gè)性化美顏、系統(tǒng)優(yōu)化,以及學(xué)習(xí)了用戶行為習(xí)慣的負(fù)一屏。其實(shí)還有更直觀的應(yīng)用案例,特別是3D視覺和視頻技術(shù),才更顯出AIE帶來的手機(jī)能力變化。
技術(shù)應(yīng)用
比如商湯提供的實(shí)時(shí)視頻風(fēng)格轉(zhuǎn)換方案。在視頻拍攝或直播中,可以實(shí)現(xiàn)P圖一樣的P視頻,實(shí)時(shí)為視頻換風(fēng)格,或者進(jìn)行人物美化。核心思路就是先將實(shí)時(shí)將攝像頭采集到的普通視頻,通過模型處理成特定風(fēng)格化后的效果視頻,但背后需要AIE賦予的AI模型訓(xùn)練,以及實(shí)時(shí)計(jì)算能力,否則就無法保證風(fēng)格化之后的視頻的效果,以及保證轉(zhuǎn)換后視頻的實(shí)時(shí)性和流暢性。還有曠視科技向手機(jī)廠商供應(yīng)的3D Animoji。也是因?yàn)锳IE,曠視的算法可以在驍龍芯片上實(shí)現(xiàn)更快的處理速度,并在極低功耗的情況下實(shí)現(xiàn)復(fù)雜的場(chǎng)景感知計(jì)算,完成實(shí)時(shí)3D人臉建模和面部表情肌追蹤等工作。
值得一提的是,AIE在過去半年帶來的最強(qiáng)體驗(yàn)還是拍照方面的提升,因?yàn)橛辛藢貯I處理和加速,國(guó)產(chǎn)安卓旗艦終于可以在無需堆疊硬件傳感器的前提下,通過軟件算法等實(shí)現(xiàn)更優(yōu)質(zhì)的拍照能力,無論是前置單攝,還是后置雙攝,都可以逆光拍照也清晰,都可以大光圈人像。但面向未來,AIE展現(xiàn)的更大趨勢(shì),肯定還不止于視覺。
未來:終端全面AI化
按照驍龍AIE展現(xiàn)的能力,語(yǔ)音交互無疑會(huì)是AI手機(jī)們爭(zhēng)奪的下一重要功能。其實(shí)基于手機(jī)的“虛擬助理”也已經(jīng)越來越普遍,但在AIE加持下,各家的虛擬助理都會(huì)更聰明。
此外,手機(jī)側(cè)將上馬的智能應(yīng)用,也會(huì)越來越多:而且不止于手機(jī),其他終端硬件都能在搭載AIE的驍龍芯片賦能下,升級(jí)為智能終端。無論是可穿戴設(shè)備、機(jī)器人/無人機(jī)、攝像頭、AR/VR,還是其他如車載產(chǎn)品、IoT設(shè)備,都可以AI加持。所以贏下了整整一個(gè)移動(dòng)互聯(lián)網(wǎng)時(shí)代的高通驍龍,照此進(jìn)程下,還將會(huì)繼續(xù)成為智能手機(jī)行業(yè)向前發(fā)展的重要刻度尺——也還會(huì)是整個(gè)智能終端設(shè)備的。
換而言之,不光AI手機(jī)看高通驍龍,更多智能終端將至未至的變革,也能從高通那里窺見能力雛形。高通的AI平臺(tái)到位了,AI終端也就到位了。