這兩年消費(fèi)電子圈，沒點(diǎn)AI功能都不好意思開發(fā)布會。IDC最新Q1數(shù)據(jù)顯示，全球AI手機(jī)出貨占比已破45%，同比翻了兩倍多，AI PC年底滲透率更是要沖60%。但剝開營銷話術(shù)，真實的用戶體驗完全是冰火兩重天。
你以為手機(jī)上的“端側(cè)AI”是真本地跑大模型？十臺里八臺都是把你的提問傳到云端算完再發(fā)回來，但是你的隱私就得全靠廠商“良心”，更躲不開未來的Token付費(fèi)——現(xiàn)在免費(fèi)是廠商燒錢搶市場，等野蠻期過去，一個月AI對話花的錢比話費(fèi)還貴，是板上釘釘?shù)氖隆?/p>
號稱“真本地AI”的AI PC更尷尬。我同事剛買的新款聯(lián)想AI PC，沖著長續(xù)航辦公買的，結(jié)果開會用電池半天就沒電，最后查到是后臺AI Agent偷偷跑推理吃功耗，一關(guān)功能續(xù)航直接翻倍?，F(xiàn)在能本地跑7B大模型的AI PC，一開AI功能功耗就拉滿，所謂的移動生產(chǎn)力，最后還得插著電源用。
一邊是云端的隱私焦慮和付費(fèi)壓力，一邊是本地的功耗噩夢和續(xù)航崩盤，端側(cè)AI始終卡在“魚和熊掌不能兼得”的死局里，端邊云全場景的AI推理，都困在“高性能+低功耗+低成本”的不可能三角里。就在全行業(yè)找答案的時候，英偉達(dá)甩出200億美元全資收購Groq，一夜之間，全行業(yè)都在喊：GPU時代過去了，LPU才是AI推理的未來。
但LPU真的是終局嗎？或者說，有沒有一種技術(shù)，比LPU走得更徹底，能從根上破了這個不可能三角？
1. 英偉達(dá)200億押注的LPU，到底解決了什么？又沒解決什么？
先給大家打個最通俗的比方：大模型推理就像開餐館炒菜，傳統(tǒng)馮?諾依曼架構(gòu)里，計算單元是灶臺，存儲單元是10公里外的食材倉庫。炒一道菜，80%的時間和油錢都花在了來回跑腿上，灶臺真正開火的時間連20%都不到——這就是GPU做推理最大的病根，天生適合批量炒菜的訓(xùn)練場景，面對一個字一個字蹦的串行推理，完全有勁使不出，還得為跑腿付出巨大的功耗和延遲代價。
Groq的LPU，就是把跑腿的問題優(yōu)化到了極致。它靠超大片上SRAM把倉庫搬到了廚房隔壁，用確定性數(shù)據(jù)流把食材運(yùn)輸路線焊成了專用高鐵，再靠靜態(tài)調(diào)度把炒菜時序提前排得明明白白，最終實現(xiàn)了比頂級GPU快幾十倍的推理速度，功耗卻只有幾分之一，難怪英偉達(dá)愿意花200億買單。
但很遺憾，LPU終究沒跳出馮?諾依曼架構(gòu)的框：倉庫還是倉庫，廚房還是廚房，計算和存儲還是分開的，只是跑腿的路變短了而已。面對十幾B、幾十B的大模型，片上SRAM容量終究有限，大部分參數(shù)還是要放外部DRAM里，該跑的長途一趟沒少，存儲墻這堵墻，終究還是沒砸開。包括三星的3D DRAM、HBM-PIM，本質(zhì)也只是在倉庫門口加了個小切配臺，始終沒解決“在倉庫里直接炒菜”的核心問題。
2. 顛覆性的三維存算一體（3D-CIM??）架構(gòu)，一家中國公司給出的答案
面對這個死局，杭州微納核芯給出了不一樣的答案：三維存算一體3D-CIM??。
如果說LPU是把倉庫搬到了廚房隔壁，那3D-CIM??就是直接把灶臺建在了倉庫的每一層貨架旁，伸手拿到食材轉(zhuǎn)身就能炒，徹底把“數(shù)據(jù)搬運(yùn)”這個動作從根上抹掉了。技術(shù)層面，它不是簡單把存儲和計算芯片摞在一起，而是通過三維鍵合技術(shù)，把SRAM存算一體計算內(nèi)核和DRAM存儲單元做了垂直堆疊融合，真正在存儲器里完成AI計算，還能靠超大容量DRAM裝下大模型的海量參數(shù)。
很多人問，這么厲害的技術(shù)，為什么英偉達(dá)、三星不搶著做？因為它要過三道地獄級的坎：架構(gòu)設(shè)計要把計算和存儲從根上揉在一起，沒有任何成熟經(jīng)驗可參考；三維鍵合是半導(dǎo)體頂尖工藝，納米級對準(zhǔn)稍有不慎，一次流片就燒掉幾千萬；非馮?諾依曼架構(gòu)的生態(tài)適配，更是難住了全球無數(shù)廠商。
也正因如此，3D-CIM??長期停留在實驗室概念里，而微納核芯的團(tuán)隊，早在2018年就一頭扎進(jìn)了這條無人區(qū)。那時候ChatGPT還沒影，大模型還沒火，全行業(yè)都在盯著GPU和先進(jìn)制程，沒人覺得存算一體能成。這支從北大信息技術(shù)高等研究院走出來的團(tuán)隊，一扎就是7年，連續(xù)6年在芯片設(shè)計“奧林匹克”ISSCC上發(fā)表十余項破世界紀(jì)錄的成果，還拿下了中國企業(yè)首個ISSCC最佳技術(shù)論文獎，2023年正式落地了全球首創(chuàng)的3D-CIM??架構(gòu)。。
3. 三維存算一體（3D-CIM??）的核心是什么？為什么能成為大模型AI推理的終極方案？
全球巨頭都沒走通的路，微納核芯憑什么做成了？答案很簡單：他們不是單點(diǎn)技術(shù)突破，而是把從架構(gòu)到落地的全鏈條徹底走通了，靠三根核心支柱，破解了行業(yè)的不可能三角。
第一根支柱，是SRAM存算一體核心架構(gòu)，從根上破解了算力密度與能效瓶頸。直接在存儲單元里完成計算，抹掉了數(shù)據(jù)搬運(yùn)的功耗開銷，不用依賴3nm、2nm先進(jìn)制程，在成熟工藝上就能實現(xiàn)遠(yuǎn)超傳統(tǒng)架構(gòu)的能效比，同等算力下芯片面積只有GPU的1/2到1/3，用更便宜的工藝做出了更好的效果。
第二根支柱，是三維鍵合技術(shù)，徹底打通了大模型推理的帶寬與容量任督二脈。大模型推理生成階段，最大的瓶頸從來不是算力，而是帶寬。三維堆疊讓單芯片能承載數(shù)十GB參數(shù)，內(nèi)核和DRAM的互連帶寬提升數(shù)十倍，完美破解了帶寬卡脖子問題，讓大模型端側(cè)本地流暢運(yùn)行從理論變成了現(xiàn)實。
第三根支柱，是基于RISC-V的RV-CIM?異構(gòu)融合架構(gòu)，兼顧了AI計算完備性與全棧生態(tài)易用性。行業(yè)里絕大多數(shù)存算一體芯片，都要開發(fā)者重新學(xué)一套工具鏈，而微納核芯自研的全棧軟件工具鏈，能自動完成主流大模型到芯片指令的映射，開發(fā)者不用學(xué)任何新東西就能零門檻調(diào)用算力，徹底擺脫了對CUDA閉源生態(tài)的依賴。也正因這套體系，他們被工信部任命為RISC-V存算一體應(yīng)用組組長單位，牽頭制定全球首個RV-CIM?行業(yè)標(biāo)準(zhǔn)。
7年深耕，他們打通了從指令集到算法適配的全鏈條，布局了120余項核心專利，推出的兩款核心芯片，不到4W功耗就能讓7B大模型跑出150tokens/s的速度，不到2W功耗就能流暢運(yùn)行3B大模型，完美解決了端側(cè)AI的核心痛點(diǎn)，也拿下了國內(nèi)頭部存儲廠商、終端龍頭的深度合作，獲得了紅杉中國、小米、聯(lián)想等頂級機(jī)構(gòu)的投資認(rèn)可。
結(jié)尾：換一條賽道，才能跑在前面
AI大模型的爆發(fā)，把全球半導(dǎo)體行業(yè)推到了全新的十字路口。摩爾定律逼近物理極限，靠制程堆算力的老路已經(jīng)走不通，下一代AI芯片的競爭，核心早已變成了架構(gòu)創(chuàng)新。
英偉達(dá)花200億收購Groq，恰恰證明了傳統(tǒng)GPU架構(gòu)撐不起AI推理的未來，而微納核芯的3D-CIM??，比LPU走得更遠(yuǎn)、更徹底，是更接近終局的解決方案。
過去幾十年，我們一直在海外巨頭的體系里跟跑，而在存算一體這條新賽道上，中國企業(yè)已經(jīng)跑在了前面。3D-CIM??這條路才剛剛開始，但可以確定的是，端側(cè)AI的普惠時代，一定會因為這項技術(shù)提前到來，而在這場后摩爾時代的算力革命里，一定會有中國公司，站在全球舞臺的最中央。
免責(zé)聲明：市場有風(fēng)險，選擇需謹(jǐn)慎！此文僅供參考，不作買賣依據(jù)。
關(guān)鍵詞：
