英偉達(dá)cuda的優(yōu)勢及挑戰(zhàn)

wangdizhe

ds對英偉達(dá)的挑戰(zhàn)，并不是簡單的“算法平權(quán)”。。還有開源對閉源的挑戰(zhàn)。。。如果只是了解ah100或者gb200這種東西，意義不大，英偉達(dá)的護(hù)城河主要是cuda。。

cuda的故事起步于2006年11月份發(fā)布的geforce8800gtx。。。19年前了，那是一個起點。。。。2007年6月份發(fā)布了nv的gpgpu，cuda出世。。這個跳躍是讓顯卡不僅能用在圖像繪制了，也能用在其他方面了

ai的本質(zhì)，其實和btc的哈希算法類似，都是大量的數(shù)學(xué)計算。。。這也可以解釋為啥近10年金融越來越“數(shù)學(xué)化”，包括做對沖的幻方能弄出ds，也是因為它是最具“金融數(shù)學(xué)化底蘊的對沖私募”。。。

主要就是transformer那套，也就是比如從一維的向量到二維的矩陣。。然后再到三位或高位的張量。。核心不在于算的多難，而在于算的題量很大。。

gpu更像一個“事業(yè)部經(jīng)理”，而cpu類似于一個“ceo”。。。it世界一開始，ceo比較重要 ，因為機會多多，需要面面俱到，就像80-90年代做生意，壓對方向很重要。。。但隨著時間發(fā)展，需要不斷“細(xì)分而深化”，尤其是顯卡計算部分，這部分其實初期是游戲推進(jìn)的，但后期科學(xué)計算的需求上來了，把控機會需要更好的“項目經(jīng)理”。。

Gpu內(nèi)部有很多邏輯計算單位，每個單元基本上只做簡單的加減乘除，靠著分工協(xié)同完成龐大的計算任務(wù)。。。cuda就是gpu這個項目部經(jīng)理手下的“調(diào)度總管”(類似于常務(wù)主管)。。比如計算張量這個活，就具體分派誰誰來做。。。也就是cuda的作用，其實就是“算力調(diào)度者”，它優(yōu)化算法效率。。。

這個作用類似于斯隆對通用汽車的管理，也就是在具體的“算力事業(yè)部內(nèi)”，cuda這個算力調(diào)度者，甚至有比肩整個事業(yè)部經(jīng)理的實力。。。因為所謂的算力，amd也有，也就是經(jīng)理不稀罕，調(diào)度總管那套管理方法，卻是稀缺的。。。

算力管理的優(yōu)化，也是ds之所以引人矚目的地方，因為人們認(rèn)為“算力調(diào)度工作”應(yīng)該在cuda邏輯下優(yōu)化。。。但沒想到ds，用了一些方法，似乎實現(xiàn)了更大的優(yōu)化，人們好奇的就是它是如何實現(xiàn)的？以及優(yōu)化算力之后，對于未來算力需求是不是降低？以及這對于“算力優(yōu)化”世界，意味著什么？

cuda的好處，是如果研究者，只會ai模型的訓(xùn)練及推理方法，而不會任務(wù)分類的話，也沒事，nv有cudnn程序庫，這樣玩ai的，只需要專注于訓(xùn)練或推論就行了。。。因為模型中所有需要任務(wù)分類的地方，cudnn都會自動配置好。。。。。就是cuda不僅配合nv硬件可以發(fā)揮更高更快的算法優(yōu)勢，而且也幫你做好了“算力分配套件”(也就是任務(wù)翻譯)，降低了項目開發(fā)的門檻，等于是一個特殊的“懶人包”。。。所以開發(fā)人員都喜歡用，然后20年過去了，用的人越來越多，產(chǎn)生生態(tài)影響力和開發(fā)依賴度。。。

未來英偉達(dá)還要推行量子計算，比如2023年就推出了cuda quantun平臺，這部分也是為未來布局。。其實邏輯核心依然是“并行計算”，也就是用多個處理單元，同時推進(jìn)。。。計算量越大，越快，就越容易“大力超快出奇跡”。。。從一定程度上，可以理解cuda在gpu領(lǐng)域，是類似于x86在cpu領(lǐng)域的那種“專利優(yōu)勢”。。。

cuda未來就沒有挑戰(zhàn)么？當(dāng)然有的，大概4個維度

1、硬件挑戰(zhàn)

首先基本上，每個做cpu的，其實都看著做gpu的這么火眼饞。。。amd的mi300x使用cpu+gpu的異構(gòu)結(jié)構(gòu)，擁有192gbhbm3內(nèi)存和5.3TB/s帶寬，直接對標(biāo)英偉達(dá)的H100，價格基本是其三分之一。。。然后amd還通過ROCm平臺通過兼容CUDA代碼吸引開發(fā)者，弱化CUDA生態(tài)。。。英特爾雖然遇到困境，但有美國政府撐腰，也沒閑著，其GPU加速器結(jié)合了Xe架構(gòu)和開放標(biāo)準(zhǔn)SYCL，通過OneAPI實現(xiàn)跨硬件(CPU/GPU/FPGA)統(tǒng)一編程，降低對CUDA的依賴。

然后就是科技巨頭的自研芯片，比如谷歌TPU通過專用張量核心和軟件棧在AI訓(xùn)練中實現(xiàn)更高能效比。。。AWS的自研芯片直接與CUDA生態(tài)脫鉤，挑戰(zhàn)英偉達(dá)的云市場份額。

以及中國勢力的挑戰(zhàn)，主要就是華為昇騰、寒武紀(jì)等國產(chǎn)芯片在政策驅(qū)動下?lián)屨急就潦袌觯ㄟ^兼容PyTorch等框架繞過CUDA綁定。

最后是硬件架構(gòu)方面的挑戰(zhàn)，尤其是RISC-V與開源硬件架構(gòu)，比如Ventana的Veyron正在催生新的開源加速器架構(gòu)，進(jìn)一步分化CUDA的硬件依賴。

2、軟件挑戰(zhàn)

英偉達(dá)的閉源屬具，讓其必然引來開源的挑戰(zhàn)，ds事件其實就是代表之一。。。

首先就是開源編譯器的性能逼近，比如OpenAI Triton，支持Python編寫GPU內(nèi)核，在NVIDIA GPU上性能接近CUDA，同時兼容AMD和英特爾硬件，成為CUDA的“平替”。。。再比如MLIR和LLVM生態(tài)，MLIR允許跨硬件優(yōu)化，開發(fā)者可通過單一代碼庫生成CUDA、ROCm或SYCL后端，削弱CUDA的工具鏈壟斷。

然后就是AI框架的硬件抽象化:比如PyTorch 2.0與TorchDynamo，PyTorch通過編譯器技術(shù)自動優(yōu)化計算圖，無需手動編寫CUDA內(nèi)核即可實現(xiàn)高性能，降低開發(fā)者對CUDA的依賴。再比如JAX和XLA編譯器，谷歌JAX的自動并行化和XLA編譯技術(shù)可在TPU/GPU間無縫遷移代碼，形成獨立于CUDA的生態(tài)。

最后是跨平臺標(biāo)準(zhǔn):比如Vulkan Compute和SYCL等開放標(biāo)準(zhǔn)支持多廠商硬件，未來可能擠壓CUDA的生存空間

3、cuda本身存在的技術(shù)瓶頸

內(nèi)存墻與通信瓶頸:GPU顯存容量和帶寬增長放緩，而大模型訓(xùn)練需要TB級內(nèi)存，迫使開發(fā)者轉(zhuǎn)向分布式計算或多芯片方案，CUDA的單卡優(yōu)化優(yōu)勢被稀釋。 。。其次是NVLink和InfiniBand的私有協(xié)議面臨UCIe(通用芯粒互聯(lián))等開放標(biāo)準(zhǔn)的競爭，可能削弱NVIDIA全棧技術(shù)的協(xié)同效應(yīng)。

能效比挑戰(zhàn): 隨著摩爾定律放緩，單純依靠制程升級提升算力的模式不可持續(xù)。CUDA需在稀疏計算、混合精度等算法層創(chuàng)新，但競爭對手通過架構(gòu)革新實現(xiàn)更高能效。

量子計算與神經(jīng)形態(tài)計算的長期威脅:量子計算在特定領(lǐng)域的突破可能分流HPC需求。。。神經(jīng)形態(tài)芯片(如Intel Loihi)更適合脈沖神經(jīng)網(wǎng)絡(luò)，這些新型計算范式與CUDA的SIMT模型不兼容。

4、市場及政策挑戰(zhàn)

地緣政治與供應(yīng)鏈風(fēng)險:美國對華高端GPU出口限制迫使中國廠商加速去CUDA化，華為昇騰的CANN和百度的PaddlePaddle正在逐漸強化替代性生態(tài)。。未來美國對從香港和新加坡渠道都會加強管理，對華ai芯片營收占到英偉達(dá)總量的20-25%，這部分如果管制加強，英偉達(dá)業(yè)績會受到影響。。。

云廠商的“去NVIDIA化”策略:AWS、Azure等云服務(wù)商通過自研芯片和多元化硬件方案降低對NVIDIA GPU的采購比例，CUDA在云端的統(tǒng)治力可能被削弱。

開發(fā)者社區(qū)的遷移成本降低:工具鏈可將CUDA代碼自動轉(zhuǎn)換為HIP(AMD)或SYCL(Intel)，遷移成本從“月級”降至“天級”，CUDA的生態(tài)鎖定效應(yīng)減弱。

英偉達(dá)也不傻，早就看到了這些威脅，因此也在cuda護(hù)城河上做出應(yīng)對， 大概做了4點應(yīng)對:

1、強化全棧優(yōu)勢:首先是軟硬件協(xié)同設(shè)計，通過Grace Hopper超級芯片通過NVLink-C2C實現(xiàn)CPU/GPU內(nèi)存一致性，提升CUDA在異構(gòu)計算中的競爭力。。。。然后是，CUDA-X生態(tài)擴展，集成更多加速庫，覆蓋量子計算和科學(xué)計算等新領(lǐng)域。

2、擁抱開放標(biāo)準(zhǔn):有限支持開源編譯器，同時推動NVIDIA貢獻(xiàn)標(biāo)準(zhǔn)組織(如參與MLIR開發(fā))，避免被邊緣化。

3、搶占新興場景:首先是重視“邊緣計算”，通過Jetson平臺和CUDA-on-ARM支持邊緣AI，應(yīng)對ROS 2等機器人框架的異構(gòu)計算需求。。。。然后是打造數(shù)字孿生與元宇宙，Omniverse平臺依賴CUDA實現(xiàn)實時物理仿真，構(gòu)建新的技術(shù)護(hù)城河。

4、商業(yè)模式創(chuàng)新:打造CUDA-as-a-Service，通過NGC提供預(yù)訓(xùn)練模型和優(yōu)化容器，增加用戶粘性。

整體來看，由于20年技術(shù)積累，開發(fā)者的生態(tài)黏性，以及巨大的遷移成本。。。導(dǎo)致cuda護(hù)城河當(dāng)下還比較強大，追的最快的就是amd，但至少3年內(nèi)英偉達(dá)cuda還是優(yōu)勢明顯。。。。但從seekingalpha等文章反饋來看，如果cuda被超越或者被追上。。。大概有2個臨界預(yù)警值:

1、技術(shù)臨界點:當(dāng)競爭對手的硬件性能超越NVIDIA且軟件生態(tài)成熟度達(dá)到80%以上。

2、經(jīng)濟臨界點:云廠商自研芯片成本低于采購NVIDIA GPU的30%。

所以要想投資互聯(lián)網(wǎng)或者芯片產(chǎn)業(yè)，需要對于技術(shù)趨勢有深度了解，閱讀大量的資料和文獻(xiàn)。。。對于“強科技成長”的估值尤其難，這也是巴菲特基本不碰強成長科技股的原因 。。。美股這么貴，我旁觀。。。先積累一些知識和資料，等回調(diào)時候方便下手。。

今日話題 雪球創(chuàng)作者中心

$納斯達(dá)克綜合指數(shù)$ $英偉達(dá)(NVDA)$ $AMD(AMD)$