8位芯片突破AI技術(shù)瓶頸

隨著(zhù)在美國舊金山舉行的國際電子組件會(huì )議(IEDM)以及在加拿大蒙特利爾舉行的神經(jīng)信息處理系統大會(huì )(NeurlPS)雙雙啟動(dòng)，對于任何希望迎頭趕上人工智能(AI)研發(fā)進(jìn)展步伐的人來(lái)說(shuō)，最近正是把握龐大機會(huì )的最佳時(shí)刻。

例如，IBM研究人員介紹其打造數字和模擬AI芯片的新AI途徑。IBM聲稱(chēng)其數字AI芯片首次展現“使用8位浮點(diǎn)數成功訓練深度神經(jīng)網(wǎng)絡(luò )(DNN)，同時(shí)在一系列深度學(xué)習模型和數據集上完整保持準確性(accuracy)。”

另外，IBM研究人員在IEDM還展示了一款模擬AI芯片，采用了8位精度(precision)的內存(in-memory)乘法以及相變內存。

IBM Research-Almaden副總裁兼實(shí)驗室主任Jeffrey Welser在接受《EE Times》訪(fǎng)問(wèn)時(shí)指出，“我們確實(shí)認為目前進(jìn)行中的這些工作——例如試圖降低精度以提高性能提升并降低功率——對于持續推進(jìn)AI非常重要。”

這一點(diǎn)至關(guān)重要。Weiser解釋說(shuō)，因為這個(gè)世界正從“狹義AI”(narrow AI)轉變?yōu)?ldquo;廣義AI”(broad AI)，例如我們從“用AI在因特網(wǎng)上辨識貓”進(jìn)展到“分析醫學(xué)影像，或者我們希望能夠將文本和成像信息整合在一起，以提出解決方案”。

他補充說(shuō)：“所有這些更廣泛的問(wèn)題需要更大的神經(jīng)網(wǎng)絡(luò )、更大的數據集和多模態(tài)數據集……為此，我們需要改變架構和硬件來(lái)實(shí)現這一切。”

Weiser認為IBM發(fā)表的兩篇論文可看出“一連串有趣的進(jìn)展”，有助于使業(yè)界走向“廣義AI”的未來(lái)。

市場(chǎng)研究公司Linley Group總裁兼首席分析師Linley Gwennap說(shuō)：“機器學(xué)習繼續迅速發(fā)展?，F有硬件無(wú)法有效處理研究人員建構的最大神經(jīng)網(wǎng)絡(luò )，因此他們正在尋找各種新方法來(lái)提高性能和效率。”

Gwennap補充說(shuō)，這些新的發(fā)展將會(huì )對于硬件供貨商帶來(lái)巨大壓力，因為芯片公司“必須靈活、快速地在這個(gè)混亂的市場(chǎng)中生存”。

AI的GPU時(shí)代結束

IBM大膽預測GPU在A(yíng)I領(lǐng)域的主導地位即將結束。

Welser說(shuō)：“GPU能夠為繪圖處理進(jìn)行大量的平行矩陣乘法運算。這種矩陣乘法恰巧與神經(jīng)網(wǎng)絡(luò )所需的完全相同。”在他看來(lái)，“這有點(diǎn)巧合，但它非常重要。因為沒(méi)有那些‘GPU’，我們永遠無(wú)法達到我們目前已在A(yíng)I實(shí)現的性能。”但是，Welser補充說(shuō)，“隨著(zhù)我們更能掌握關(guān)于如何實(shí)現AI的更多知識，目前也正著(zhù)手尋找方法設計一種更高效的硬件。”

降低精度

提高效率的途徑之一是降低AI處理所需的精度。

Welser解釋說(shuō)：“幾年前我們開(kāi)始意識到一個(gè)大方向是，雖然習慣于非常精確的計算——以32位計算浮點(diǎn)作為標準，甚至64位，才能為真正準確的計算類(lèi)型倍增精度，但這一點(diǎn)在A(yíng)I中并不一定非常重要。”

他強調，在A(yíng)I中，“對于神經(jīng)網(wǎng)絡(luò )在意的是當你展示一個(gè)影像或單詞時(shí)，它是否能得到正確的答案。當我們問(wèn)它是貓還是狗時(shí)，它回答說(shuō)是一只貓。如果答案正確，你并不一定會(huì )注意到其間進(jìn)行的所有計算過(guò)程。”

理想情況下，AI應該模仿人眼。Welser說(shuō)：“如果你從一扇起霧的窗子看出去，你看到一個(gè)人走在街上。這是一個(gè)低度定位的影象……但是你可能經(jīng)常會(huì )說(shuō)：‘喔，那是我媽走過(guò)來(lái)了！’所以，只要你得到正確的答案，視覺(jué)影像是否“正確精準其實(shí)是無(wú)關(guān)緊要的。”

他解釋說(shuō)，這就解釋了AI處理中精度逐漸較低的趨勢。

Welser繼續說(shuō)道：“對于32位計算，我必須在32位上進(jìn)行計算。如果我們可以在16位上進(jìn)行，那基本上只需要一半的計算能力，或者可能是芯片面積的一半甚至更少。如果你可以再降低至8位或4位，那就更好了。”他說(shuō)，“所以，這讓我在面積、功率、性能和吞吐量方面獲得了巨大的勝利——我們能夠以多快的速度完成這一切。”

然而，Welser坦承，“很長(cháng)一段時(shí)間，我們認為我們必須持續使用32位精度進(jìn)行AI培訓，當時(shí)別無(wú)他法。”

2015年，IBM Research發(fā)表了針對傳統CMOS技術(shù)的新型數據流相關(guān)文章，推出為AI模型訓練與推論而降低精度的途徑。IBM展示以16位精度的訓練模型，其準確度約相當于32位訓練模型，而不至于犧牲準確度。

從那時(shí)起，IBM觀(guān)察到：“降低精度的方法很快地被采納為業(yè)界標準，16位訓練和8位推論如今已經(jīng)司空見(jiàn)慣，并促使新創(chuàng )公司和創(chuàng )投業(yè)者(VC)投資大量涌入，投入打造降低精度的AI芯片。”盡管存在這樣一種新興趨勢，但由于人們需要保持模型的高準確度，因此，小于16位的“訓練”幾乎不可能實(shí)現。

如何實(shí)現？

Welser說(shuō)IBM開(kāi)發(fā)一連串讓研究人員可應用于A(yíng)I處理的方法，實(shí)現了這一目的。例如，他說(shuō)：“我們確實(shí)有一部份以8位來(lái)做，有些部份采用16位進(jìn)行累積，而其他部份則以不同組件實(shí)現，所以不至于失去精度。”

換句話(huà)說(shuō)，比起普遍將8位計算應用于整個(gè)操作，IBM團隊的研究成果更加復雜，但研究人員找到了各種方法組合，分別應用于流程的不同部份。

Welser證實(shí)，“沒(méi)錯，這完全正確。例如，我們現在可以使用8位進(jìn)行所有的權重更新過(guò)程，但仍然使用16位進(jìn)行一些加法和累積步驟過(guò)程。事實(shí)證明這非常重要，因為16位加法比16位乘法更容易，所以實(shí)際上以16位的方式執行它是有幫助的。”

也許更重要的是，正如Welser所指出的，IBM的研究成果關(guān)鍵在于“提出一種數據流架構，讓數據以非常流暢的方式流經(jīng)芯片，而且以這種方式運行最終也不至于造成瓶頸。”

最后，“我們證明您可以有效地使用8位浮點(diǎn)，以取得較過(guò)去人們使用16位或32位相同的準確度。”

8位操作的障礙？

Linley Group的Gwennap表示，最新的GPU和AI芯片支持使用IEEE定義格式的16位浮點(diǎn)(FP16)。

然而，他補充說(shuō)，“盡管如此，大多數開(kāi)發(fā)人員還在使用FP32訓練神經(jīng)網(wǎng)絡(luò )。”他說(shuō)，“8位FP的問(wèn)題在于缺乏標準格式，只有幾種可能的指數組合和有意義的尾數。在標準(IEEE或某些非正式協(xié)議)建立之前，芯片制造商將發(fā)現難以在硬件中有效實(shí)施。”

那么在商業(yè)世界多久才開(kāi)始使用8位精度進(jìn)行訓練？Welser說(shuō)目前還不得而知，因為“我們現在看到第一次使用16位技術(shù)的情況越來(lái)越多，但是產(chǎn)業(yè)界大部份還是著(zhù)眼于32位……”

然而，他強調說(shuō)他并未看到任何降低精度的實(shí)際障礙，“只要我們能夠顯示出相同輸出的結果。”他指出，從用戶(hù)的角度來(lái)看，“如果芯片速度更快、耗功更低，價(jià)格更便宜，而且也能得到同樣的答案，就沒(méi)什么好計較的了。”

當然，在其下的軟件基礎設施修改必發(fā)揮作用。

Welser證實(shí)，“你必須擁有能夠降低精度的軟件或算法，使其得以正確執行?！褂捎诂F在所有的軟件架構都是為使用GPU和32位而建構的，「所有的一切都必須為接受16位或8位而進(jìn)行修改。”

在用戶(hù)存取實(shí)際硬件之前，業(yè)界可能持續使用已知的內容。

8位精度的內存乘法

IBM在IEDM展示該公司所謂的8位精度內存乘法以及設計中的相變內存(PCM)。

在IEDM上，IBM科學(xué)家發(fā)表了一項關(guān)于新型內存內運算(in-memory computing；IMC)裝置的研究，它比起當今的商業(yè)技術(shù)達到了更低100-1000倍的運算能耗級。該組件非常適用于邊緣AI應用，例如自動(dòng)駕駛、醫療保健監控和安全性

工程界已經(jīng)意識到，降低能耗的關(guān)鍵是盡量減少運算架構中出現數據必須從內存移至處理器進(jìn)行運算的機會(huì )。這種移動(dòng)需要耗負大量的時(shí)間和精力。

對于更高效AI處理的需求促使許多人致力于研究?jì)却鎯冗\算。Mythic在追逐這一點(diǎn)的AI芯片新創(chuàng )公司中脫穎而出，但其后還可能出現更多競爭對手。

在Welser看來(lái)，模擬技術(shù)“很自然地適于邊緣AI”。正如從運算發(fā)展史的觀(guān)察，模擬運算需要低功耗，證明它具有高能效。但它也不準確。Welser說(shuō)：“這就是為什么數字運算最終勝過(guò)模擬運算。”

但是，Tirias Research首席分析師Kevin Krewell表示，模擬正在回歸中，因為內存內運算與模擬運算可以相互搭配。他解釋說(shuō)：“內存數組保持神經(jīng)網(wǎng)絡(luò )權重，模擬組件則執行總和和觸發(fā)。”

Krewell補充說(shuō)，“挑戰在于保持模擬的正確校準，以及過(guò)程和溫度變化的準確性。此外，內存和模擬組件也不像數字組件那樣擴展。”

權重是內存的阻值

同樣地，Welser解釋說(shuō)，模擬運算中神經(jīng)網(wǎng)絡(luò )使用的權重是“存在于內存內部的阻值”。它們不必移入和移出，都是固定的。Welser說(shuō)：“換句話(huà)說(shuō)，由于采用內存內運算架構，內存單元兼作處理器，有效地實(shí)現了儲存和運算的雙重任務(wù)。”

然而，Welser所說(shuō)的挑戰是：“我們將要使用的是什么阻值狀態(tài)？它能使我們在訓練時(shí)將其設置為各種不同的阻值嗎？它必須夠準確才可用。”

Welser解釋說(shuō)，雖然數字AI硬件會(huì )降低精度，但模擬至今一直受到內部精度相對較低的限制，從而影響了模型精度。

在開(kāi)發(fā)接近8位精度的能力時(shí)，IBM使用了相變內存(PCM)。Welser說(shuō)，PCM長(cháng)久以來(lái)一直用于模擬內存。在此情況下，“我們使用PCM來(lái)回儲存更多不同的阻值。更重要的是，我們正使用一種新穎的架構。”

IBM的論文詳細介紹在純量乘法運算中實(shí)現8位精度的技術(shù)。該公司聲稱(chēng)，這導致“以往的模擬芯片準確度提高了大約一倍，而且也比同類(lèi)精度的數字架構功耗更低33倍”。

Gwennap坦言IBM已經(jīng)在PCM上研究一段時(shí)間了，但他稱(chēng)之為“僅僅是一項研究計劃”。

Gwennap認為這種PCM途徑的最大挑戰在于可制造性。“模擬特性因不同的晶體管以及產(chǎn)在線(xiàn)的不同芯片而異，這就是為什么大多數產(chǎn)業(yè)都使用較不易受這種變化影響的數字電路。”

《EE Times》向Linley Group和IBM分別詢(xún)問(wèn)了商用AI芯片(如Mythic)使用內存內運算架構的情況。Gwennap說(shuō)：“Mythic似乎最接近于將這項技術(shù)投入生產(chǎn)，但即使如此也還需要至少一年的時(shí)間。”

IBM承認，“Mythic采用了一種專(zhuān)注于使用內存內運算的有趣方法。”然而，IBM也指出，Mythic的芯片“僅適用于推論應用”。

根據IBM發(fā)言人，IBM的不同之處是：“我們相信完整的AI解決方案需要加速推論和訓練。我們正在開(kāi)發(fā)可用于推論和訓練的非揮發(fā)性?xún)却娼M件，并使其發(fā)展得更成熟。”