在GTC 2026主题演讲上，一款名为英伟达Groq 3 LPU的全新芯片负责亮相。Groq 3是本届GTC最受凝视的发布之一，这款专为高速推空想象的LPU将被整合进Vera Rubin平台，谋略于2026年下半年开动出货。

一、LPU专用于大模子推理

LPU（Language Processing Unit，话语处理单位）是专为章程处理的打算密集型任务想象新式芯片架构，其中枢目的是通过架构立异优化话语模子的推理恶果。LPU由Groq公司推出，Groq公司中枢本领钞票于旧年12月被英伟达收购，被黄仁勋定位为Rubin GPU的“推理协处理器”，成为了Vera Rubin平台的基石。LPU旨在用于大模子推理阶段，是惟一一款为拓荒者提供所需性能且资本不影响拓荒者的定制推理芯片。

与大普遍依赖HBM（高带宽内存）行为责任内存层的AI加快器不同，Groq 3 LPU芯片集成了500MB的片上SRAM（静态赶快存取存储器），以保证内存带宽，其片上内存带宽高达150TB/s，而HBM4的带宽仅为22TB/s。这意味着，关于带宽极端明锐的AI解码操作，Groq 3 LPU的带宽是传统HBM的近7倍。

LPU 中枢TSP 架构，包含五大功能切片，MXM用于扩充矩阵运算，SXM用于对矢量进行移位和旋转操作，MEM用于内存读/写运算，M用于向量上的算术运算，ICU为指示箝制单位，负责获取和改革指示并在其他切片上扩充。从全体来看，ICU排布于芯片下方，MXM、SXM、MEM功能切片以M功能切片为中心呈双侧对称散布。

二、LPU可谴责大模子推理蔓延

现在主流的大模子聘请的架构是Decode-Only架构，在使用Decode-Only架构的大模子进行推理时，通盘推理历程主要分为两个阶段：一个是Prefill阶段，一个是Decode阶段。

Prefill阶段：处理输入教唆（prompt），并行打算整个输入token，生成中间景色。这一阶段需要苍劲的浮点运算智商和大容量内存来存储键值缓存。

Decode阶段：逐一生成输出token，每一步都依赖于之前生成的token。这一阶段对蔓延极端明锐，且受内存带缓期制严重。

在英伟达新引入的Dynamo软件框架合营下，Rubin GPU愚弄其288GB HBM4和苍劲的浮点运算智商，处理复杂的提防力机制（Attention）打算和数学运算，存储大型键值缓存，LPU处理前馈神经采集（FFN）层打算，竣事极低蔓延的逐token生成。简便来说，便是让Rubin GPU负责预填充阶段，让Groq LPU负责解码阶段。

LPU聘请SRAM行为存储介质，惩处大模子推理阶段靠近的内存带宽受限问题。在Groq 的想象中，芯片里面莫得改革器。每一比特数据在芯片里面的流动旅途、在哪个时钟周期到达哪个功能单位，开云皆备在编译阶段由算法打算完成，带来了硬件不再需要为了“揣摸”指示流向而糜费晶体管和功耗。同期，Groq聘请SRAM替代HBM，带来了信托性时延、数据流想象等上风。Groq通过静态改革，去除了整个与打算无关的“箝制支拨”，而在传统CPU/GPU中，约有60%-80%的能量浮滥在数据的搬运、缓存赓续和指示改革上。

三、LPU具备无边潜在发展空间

推理Tokens浮滥量大幅增长，推理芯片市集畛域迎来高增长。从Tokens使用角度来看，据国度数据局，2024岁首我国日均Token的浮滥量为1000亿，箝制2025年6月底，日均Token浮滥量已摧毁30万亿，1年半的时刻增长了300多倍。据QYResearch数据，2024年公共推理AI芯片市集畛域简略为142.1亿好意思元，瞻望2031年将达到690.1亿好意思元，2025年-2031年CAGR为25.7%。

推理需求捏续高增长，推理芯片市集畛域再度上调预期。现时AI期间已从考研上半场迈入推理下半场，跟着Agent期间到来，推理需求将捏续高增长。2026年公共AI芯片市集畛域瞻望达2800亿好意思元，其中推理芯片占比52%，畛域约1450亿好意思元，年复合增速超50%，而LPU在能效比、性价比、时延等方面显赫优于GPU，有望成为推理市集的主导本贯通线，市集后劲浩大。

四、中枢意见

胜宏科技：LPU 用52层M9 PCB中枢供应商，深度绑定英伟达Rubin平台，高端算力板卡量产与委派智商凸起。

沪电股份：英伟达LPU机柜PCB主力供应商，具备50层以上板量产智商，匹配推理硬件高规格需求。

深南电路：布局高多层背板与先进封装基板，干事AI算力硬件，随LPU机柜放量晋升高端居品占比。

科翔股份：深耕高端PCB与高阶HDI，配套AI算力硬件，切入算力干事器与光模块供应链，受益LPU硬件升级。

东威科技：PCB电镀教育龙头，市占率超50%，居品适配高多层与高频高速板，深度受益LPU产业链扩产。

菲利华：公共高端石英布寡头，英伟达LPU推理芯片中枢Q布独家供应商，公共唯二欢乐英伟达Q布介电整个条目的企业，居品适配Vera Rubin液冷算力教育的高频高速需求。

北京君正：公共SRAM行业龙头之一，在SRAM存储芯片领域本领实力丰足，市集份额较高。

恒烁股份：专注于SRAM存储芯片领域，推出了SRAM数字存算一体决策，正在研发存算一体的AI推理芯片。

寒武纪：国内AI芯片想象逾越企业开云app在线下载，其念念元系列芯片可用于LPU的推理加快，与LPU的低蔓延、高模糊本贯通线高度协同。

• 开云app在线下载
• 英伟
• 横空出世
• 再遭
• LPU