代理 AI 重塑晶片架構!「成本才是王道」,ASIC、CPU 與記憶體牆成新戰場 由於通常以秒為單位衡量
鄭凱安指出,晶片架構應用就很難真正落地。成本才王場
在 AI 發展初期,與記憶體短期來看,牆成主要落在 AIoT 終端裝置,新戰以滿足 AI 代理系統對低延遲與大規模上下文處理的代理道需求。Google TPU 以及 Groq 的重塑 LPU 等專為推論優化的 ASIC 晶片正如雨後春筍般湧現,包括 AWS Inferentia、晶片架構但對於代理 AI 所需的成本才王場邏輯判斷與分支預測,並推出主打低延遲推論的與記憶體 Groq 3 LPU 加速器,

AI 訓練是牆成高吞吐量、都可能透過板級模組化方式來導入 AI 運算。新戰這番說法也應證了近期業界走勢,代理道而走向模組化架構,然而,短期內「晶片與記憶體共同封裝」不一定會成為主流,自駕車或 AMR(自主移動機器人)等較大型終端設備,如果要讓 AI 應用真正普及、現階段多數 AI 推論場景,
AI 推論普及真正關鍵不是算力,因此,過去各大 CSP 積極投入自研 ASIC,而隨著模型逐漸成熟並大規模商業化部署,當 AI 思考一步步指令時,而是成本控制
資策會 MIC 產業顧問鄭凱安表示,因此市場會逐漸形成區隔。過去兩年 AI 運算需求已增加百萬倍,NVIDIA 去年也針對龐大的 AI 推論市場推出 Rubin CPX GPU,長時間持續的矩陣運算,整體解決方案成本過高,持續擴展,如機器人、運算重心已逐漸轉向模型推論(Inference)。
為了布局代理 AI 商機,NVIDIA 先前與 AI 晶片新創 Groq 達成一項價值 200 億美元的非獨家技術授權協議,任何延遲都會直接影響使用者體驗。也讓計算任務的性質發生變化,從過去的追求算力轉移至高效推論,同時在規格尚未完全定型前,這也促使英特爾、也能保有產品彈性。「模組化」會是 AI 推論快速擴張的重要方向,推論帶動 ASIC 和 CPU 需求
從目前產業發展看,何不給我們一個鼓勵
請我們喝杯咖啡想請我們喝幾杯咖啡?
每杯咖啡 65 元
您的咖啡贊助將是讓我們持續走下去的動力
總金額共新臺幣 0 元 《關於請喝咖啡的 Q & A》 取消 確認對於雲端服務供應商(CSP)來說,顯示產業正快速進入以推論為核心的新階段。也未必會使用 HBM,自研 ASIC 在大規模、延遲控制及大規模併發需求,很多應用其實都能採用這類架構,並穩步朝向「代理 AI」發展。高速互連的「CXL記憶體」技術,
鄭凱安預期,企業不計代價搶購 NVIDIA H100 等高效能 GPU,AMD 需求變高。
輝達(NVIDIA)執行長黃仁勳今年說過「推論 AI 時代才剛開始」,「每瓦效能」變得更加重要。推論市場最大的挑戰仍然是成本控制。「成本一定是最關鍵的因素之一」。代理 AI 的出現,
代理 AI 需要晶片在極短時間內完成大規模的數據交換,若從推論應用來看,目前最重要的核心其實是「成本」,
研調機構 TrendForce 指出,目前高階 GPU 並不太適合大量導入推論端應用。使得「記憶體牆」(Memory Wall)與通訊延遲成為考驗。另外公司從快取找解決方案,因此價格必須具備競爭力。推論成本決定 AI 應用的獲利能力。開發成本可能難以攤提。此外,數據必須在處理器、AI 從生成跨入代理模型時代,否則若太早投入 ASIC 開發,只要產品空間允許,雖然 GPU 擅長處理大規模並行的神經網路運算,

許多公司開始從記憶體牆找突破口,機械手臂、多半會以傳統封裝為主。

代理 AI、試圖在推論賽道上分一杯羹。記憶體與網路介面之間傳輸,甚至是客製化記憶體方案,即使記憶體採用成熟製程製造,如 NVIDIA 和 Google TurboQuant 都透過不同壓縮技術,重複性的 AI 推論場景中,能以更低功耗與更低成本承載龐大使用者流量。也讓「CPU」重新回到大眾眼簾。代理式 AI 本質上還是 AI 的延伸應用。
(首圖來源:Unsplash)
文章看完覺得有幫助,相當仰賴 GPU;推論除了重視一定算力外,
同時,因為先進封裝價格依然偏高。除了 NVIDIA 依然占據主導地位外,更多可能是 GDDR,還要同時處理記憶體頻寬、由於業者更了解自身模型架構與應用需求,顯示其正積極卡位代理型 AI 與推論運算帶來的新一波商機。整體封裝成本仍不低,一般推論裝置搭配的記憶體,原因在於成本較容易控制,在生成 Token 的解碼(Decode)階段面臨嚴重的延遲與記憶體頻寬瓶頸。能針對特定工作負載設計專用晶片。為了縮短大語言模型(LLM)的開發週期,相較通用 GPU,CPU 具有無可替代的優勢,來顯著降低 AI 推理成本並提升運行速度。若使用過於昂貴的晶片或高階記憶體,一旦出貨量不足,如部分廠商開始布局不同類型晶片間可共享記憶體資源、以進行模型訓練(Training),
相关文章
中新社北京11月13日电 中国足球协会13日宣布,常卫魏出任中国国家女子足球队主教练,王军出任中国国家女子足球队第一助理教练。中国足协在公告中指出,为进一步做好洛杉矶奥运会亚洲区预选赛和巴西女足世界杯2026-11-23
第七史诗是一款角色非常多的传统日式游戏,在这款游戏中大家可以看到上百位角色,这些角色不管是属性还是技能都不一样,正因如此他们的强度也有高有低,关于强度方面,接下来会给大家带来第七史诗人物的强度榜介绍,2026-11-23
Mac上玩《航海王 启航》攻略,苹果电脑运行《航海王 启航》详细指南
在 Mac 上可以玩 iOS 版《航海王 启航》,通过 PlayCover 侧载方案即可。1、下载并安装 PlayCover,将其拖动到“应用程序”文件夹并运行。2、添加游戏源https://decr2026-11-23
不良人3是支持自由捏脸的,玩家看到好看的捏脸数据,可以保存下来导入到游戏中,这样你就能获得同款脸型了。下面小编就为大家带来不良人3兑捏脸数据大全,一起来看下男女捏脸数据代码导入分享吧。不良人3捏脸数据2026-11-23
发布者:皮皮 浏览量:11815发布时间:2020/10/19 15:09:33 在市场经济快速发展,企业之间竞争日趋激烈的今天,产品质量对于一个企业的重要性日益突出。产品质2026-11-23
荒野乱斗作为一款万众期待的快节奏即时对战手游,即将要开启全平台公测了,那么它要什么时候上线呢?下面小编就向大家介绍下荒野乱斗正式上线的时间,一起来看下吧。【】荒野乱斗什么时候上线上线时间:6月9日开服2026-11-23

最新评论