周末翻一封订阅的英文newsletter，DwarkeshPatel请来MatX的创举东谈主ReinerPope，他想搞明晰一块AI芯片里面到底如何运转。

最费力的是，Reiner莫得效一句大词。他要了一块黑板，从最小的一个逻辑门启动，一层一层往上搭，直到搭出一整块芯片。

一、最底下，惟一三种零件

一块芯片最底层的零件，简便到不可念念议：与门（AND）、或门（OR）、非门（NOT）。再加上把它们连起来的金属线。仅此辛勤。上千亿个晶体管堆在一齐、连成这些门，便是今天通盘AI的物理载体。

AI芯片绝大部分期间只干一件事：矩阵乘法。而矩阵乘法拆到最小，是一个叫"乘加"（multiply-accumulate）的算作——两个数相乘，再把阻挡累加进一个总额。一次矩阵乘法，便是把这个算作访佛亿万次。

剥到最底，你手机里的语音助手、数据中心里的大模子，全部的智能，都开辟在天文数字次的"乘一下、加一下"上头。

二、用门搭一个乘法器，和那条决定一切的泛泛律

Reiner在黑板上手算了一个四位数乘四位数。

先把一个数的每一位，去乘另一个数——每一次相乘，便是一个与门（两个比特都是1才输出1）。四位乘四位，要十六个与门，获得十六个中间阻挡。

难的是把它们加起来。这里他请出了芯片上"最大"的一种门：全加器（fulladder）。它作念的事朴素得可人——把团结列的三个比特加起来，输出两个比特，无非是数一数这一列有几个1，再用二进制写出来——跟小学列竖式里"满二进一"是一趟事。三进两出，是以也叫3→2压缩器。

把这些全加器层层叠起来，每次吃掉一列里的三个数、吐出两个，一直压到只剩一个数，乘法就算罢了。这套程序作念法叫Dadda乘法器。

Reiner在黑板上手推乘加：16个与门生成中间阻挡，再用全加器（3→2压缩器）层层乞降，这便是Dadda乘法器

算一笔账：一个p位乘q位的乘法器，要用掉p×q个与门和p×q个全加器。盯住这个p×q——它跟位数的泛泛成正比。而一个纯粹的加法器，只须一排全加器，正比于位数p。

愣一下的场地在这里：乘法比加法贵得多，何况乘法器的面积，是随位数泛泛膨大的。这条不起眼的泛泛律，接下来会引爆一切。

三、精度的魔法：为什么砍一半位数，能快近四倍

这几年总听到FP8、FP4这种词，说的是芯片用几位精度去示意一个数。

直观上，精度从8位砍到4位，速率该快一倍。但记取上一节那条泛泛律：面积随位数泛泛走。位数减半，乘法器面积不是减半，是减到四分之一。

乘法器面积随位数的泛泛膨大：精度从FP16砍到FP8再到FP4，面积每砍一档就缩到四分之一

是以英伟达从B300这一代启动，在居品规格里改了口径：FP4的算力是FP8的三倍，而不再是畴昔的两倍。Reiner说，按泛泛律本该是四倍，能作念到三倍依然很接近了。

这一下点透了一件大事：神经网罗之是以能用这样低的精度跑得这样好，最压根的原因便是这条泛泛律。低精度从来不是"勉强着用"，而是把"满盈的精度"这件不菲的虚耗主动扔掉，换回成倍的速率。够用，本人便是一种极致的高效。

四、芯片实在的老本，不在算，在搬

到这里你大要认为，芯片的面积都花在乘法器上了。恰巧相背。

把乘加单元装进一个旧式的处理器中枢：附近有个寄存器堆（registerfile），存着一小批数；每次从里面取三个数，算一下乘加，再把阻挡写且归。

问题出在"取第三号寄存器里阿谁数"这个算作。写步伐的东谈主一转代码就处置，理所虽然。可在硬件上，"从一堆里大肆挑一个出来"本人便是个啰嗦电路，叫多路遴荐器（mux）：你得把每一个候选都用门过一遍，再汇到一齐，能力拣出要的阿谁。一个n选一、p位宽的mux，要n×p个与门加一堆或门。

一个乘加要三个输入，就要三个这样的mux。Reiner把账一摆：寄存器堆惟一八格时，光是把三个数挑出来送进去，要二十四份门的老本；而实在作念乘法的部分，只须四份。

左边是Dadda乘法器，右边是寄存器堆经mux喂给乘加单元（×+）。实在算的电路很小，挑数据、搬数据的电路很大

这是全片最关键的一击：在阿谁中枢里，简直八分之七的面积和功耗，都花在把数据搬进搬出寄存器堆上，实在用来蓄意的只占八分之一高下。光挑数那三个mux就已是二十四比四、约七分之一，再算上寄存器本人的存储和阻挡写回，搬运那侧只多不少。咱们认为芯片在拚命算，其实它大部分期间在拚命搬。

这一条，是意会后头一切的钥匙。整部AI芯片进化史，本体上便是一场"少搬少量"的宣战。

五、越搬越远越贵：存储的层级，和笃定的延长

搬运的代价，随距离层层放大。

离蓄意最近的是片上的寄存器和SRAM，快，但小，何况极占面积；远少量是片外的DRAM、HBM，容量大得多，却慢得多——CPU的缓存比主存快上两个数目级，莫得缓存，步伐会慢一百倍。

芯片的存储层级：越往上越快、越贵、越小，越往下越慢、越低廉、越大。离蓄意越远，搬运越贵

带宽（bandwidth）说到底是什么？是你能同期拉几许根线收支。而线是要占面积的。Reiner那句话很爽脆：带宽就等于芯单方面积。这便是为什么内存带宽永恒是瓶颈——它不是不愿给你更多，是每一根线都在和蓄意单元抢地皮。

这里还藏着一个分叉。CPU用缓存（cache），由硬件自动决定一个数在不在缓存里，好用，但你事前不知谈此次探问要花多久，全看附近还跑着什么步伐。TPU这类芯片改用便笺存储（scratchpad）：用一种辅导明确读片上，用另一种辅导明确读HBM，全交给软件安排。

反直观的恰巧在这里：主动铲除"聪惠的缓存"，换来的是笃定的延长。你能精准算出每个数什么时候到。这便是高频来回偏疼FPGA、TPU在中枢里也坚捏笃定延长的原因——在需要掐着纳秒作念事的时局，可揣测比"平均更快"值钱得多。

六、脉动阵列：少搬少量的艺术

既然搬最贵，最聪惠的目标便是尽量不搬。

矩阵乘法有个高深的性质——阿谁权重矩阵，不错在很长一段期间里保捏不动。于是有了脉动阵列（systolicarray）：把权重平直焊在蓄意单元的原地，让输入数据像水一样从一头流进、另一头流出，一份权重反复用上成百上千次。

连权重如何加载都很隆重：不走不菲的宽总线，而是逐步"涓流"灌进去，一个时钟挪一格。归正只灌一次，不错慢，慢就能省线。

脉动阵列：权重固定在网格里不动，数据从边精粹进流出。谷歌TPU的矩阵单元便是它；英伟达的TensorCore也用了团结个念头

省钱的奥秘一句话就能说清：阵列越大，每从寄存器堆里读一次，就忽闪越多的活，那笔固定的搬运老本就摊得越薄。老一代TPU把这个阵列作念到256×256这样大一派，是当今已知最省的矩阵乘电路。谷歌TPU里的矩阵单元，本人便是一块脉动阵列；英伟达从Volta那代引入的TensorCore，底层亦然团结个念头——仅仅没作念成严格的脉动结构。

七、时钟、活水线，和"快不等于多"

上千亿个晶体管要协同责任，如何对皆节奏？

谜底是时钟。大要每一纳秒，全芯片通盘电路一齐停一下、跳到下一步，整皆齐整，像一支皆步走的雄师。这一拍，便是一个时钟周期。

黑板右上的时钟（CLK）：信号同步两头的寄存器，中间夹着一团逻辑云——这团逻辑必须鄙人一拍敲响之前算完

想跑得更快，比如从1GHz提到2GHz，就得保证每一段逻辑都能鄙人一拍敲响之前算完。常用技巧叫活水线寄存器插入：把一长段逻辑从中间切一刀、塞个寄存器进去，每段变短，时钟就能翻倍——代价是多占了存储面积。

那能不成一直切下去？切到极致，一个门加一个寄存器成一个环，时钟能飙到五六GHz。可这时简直通盘面积都花在寄存器上了，每一拍实在干的活少得恻隐。

这里有个好多东谈主想反的论断：时钟快，不等于干得多。你不错有很低的延长，却惟一很低的吞吐——这和大模子推理时把batchsize调小是团结趟事：单个用户拿到下一个词很快，但一小时处理的总词数反而更少。最辣手的是那种我方绕回我方的响应电路，你没法轻视从中间切一刀，不然就改变了蓄意本人。整块芯片的时钟上限，时时就卡在这种环上。

八、FPGA与ASIC：活泼是要付费的

一样一个电路，焊死了作念成专用芯片（ASIC），照旧作念成现场可改的FPGA？

ASIC第一颗要走一整套流片（tape-out），三千万好意思元起步；可一朝量产，单元老本和能效要好上十倍傍边。FPGA第一颗只须一万好意思元，代价是又慢又费电。是以FPGA的用武之地，是那种每个月就要改一次、又条目延长极笃定的活，比如高频来回——你不想为每次编削都付一次流片的钱。

FPGA如何作念到"现场可编程"？靠两样东西：寄存器负责存，查找表（LUT）负责当门用。一个LUT有四位输入、一位输出。四位输入一共十六种组合，把每种组合对应的输出列成一张十六行的真值表存起来——你想要它当与门，就填与门那张表；想要异或门，就填异或门那张表。

精妙也古怪都在这少量：所谓"可编程的门"，本体便是一张随时能改写的真值表。但代价惊东谈主：这样一个LUT，里面其实是个十六选一的mux，要三十二个门，PG娱乐电子游戏中国APP下载去完结一个底本三个门就能搭好的电路。活泼性的全部老本，便是把每一个门都用mux包起来——Reiner说，是"一齐mux到底"。这便是FPGA比ASIC贵十倍的来处。

FPGA的真面容：寄存器和查找表（LUT）被一大堆mux连在一齐，橙色是现场编程出来的连线。一齐mux到底

九、一整块芯片：GPU、TPU，和MatX想作念的事

把这些零件拼成一整块芯片，GPU和TPU走了两条不同的路。

GPU是一整片铺满了简直一样的小单元（叫SM），中间夹一块分享的L2缓存，规规整整的网格。TPU则粗粒度得多：几块很大的矩阵单元，中间配一个向量单元。

上头是GPU——一格格简直交流的小单元SM平铺，中间一块L2；底下是TPU——几块大矩阵单元（MXU）夹着一个向量单元

Reiner一句话戳破了两者的干系：GPU其实便是把许许多多个微缩版的小TPU，平铺在一整块芯片上。每个SM里的tensorcore，约等于一个削弱的矩阵单元。

接下来是全片最优雅的收束：莫得谁十足更好。TPU那种大块头，能把寄存器堆的固定老本摊得更薄，是以阵列能作念得更大、更省；但向量单元和矩阵单元之间的数据，只可挤过两条文模线。GPU单元小、到处都是向量单元，数据能走十六条线，更活泼、跨的距离也更短、更省电——前提是你别跨出单个SM。规整省老本但固执，细碎够活泼但搬运贵，又一次回到"算与搬"的衡量。

那MatX想作念什么？Reiner公开讲过一个"可拆分的脉动阵列"：既能当一块大阵列用，也能拆成若干小阵列——想同期要TPU的大而省，和GPU的小而活。说到砍面积，有个现成的例子：CPU里有一大块有益猜"下一条辅导往哪跳"的分支揣测器，而GPU干脆把它通盘扔掉，省下的面积全堆给蓄意——这恰是当年GPU甩开CPU的关键之一。MatX想顺着这条路再走一步：保留GPU那种小阵列加SRAM环绕的活泼，再把为支捏CUDA架构而设、跑AI却用不上的那些电路也一并省却。

瞎想一块芯片，到头来简直全是尺寸的弃取：阵列作念多大，寄存器堆配多大，FP4给几许、FP8给几许。莫得程序谜底，全看你赌哪一种负载会赢。

十、旨趣一通，半导体的几条干线也就明晰了

看懂了上头这些，再回头看这几年半导体最热的那些叙事，会有一种眨眼间通透的嗅觉。它们简直都在回复团结个问题：如何把"搬"这件事作念得更低廉。

先说存储这条线。著述里阿谁层级——寄存器、SRAM、DRAM、再到最外面的闪存——其实便是一张半导体的产业舆图。最外层的NANDFlash最慢最低廉，3DNAND这几年比的是"层数"，本体是在一样一块面积上往天上堆更多存储单元，越堆越高，单元容量越低廉。可一朝想通了"搬运比容量金贵"，你就不会再用"越大越好"去意会存储——实在卡脖子的从来不是能存几许，是能多快地搬进搬出。

DRAM是中间那一层，快得多，但它的带宽被死死摁在一个物理上限上：你能从一块芯片引出几许根线（引脚）。三星、SK海力士、好意思光这三家的竞争，说到底便是在这条物理红线下，谁能榨出更多带宽。

于是有了HBM（高带宽内存），这一轮AI行情里最硬的一个词。它的念念路简便得惊东谈主：单片引脚不够，那就把好几片DRAM像盖楼一样叠起来，再用一种叫TSV（硅通孔）的技术，在芯片里面平直买通上基层，一次性引出极宽的总线，带宽一举擢升五到十倍。读懂了"搬运是瓶颈"，你就读懂了为什么HBM是AI期间最关键的一块拼图——它正面解决了阿谁最贵的问题。SK海力士因为最早把HBM喂进英伟达，一跃成了整条AI芯片供应链的咽喉。

再往下一层是封装。数据搬得越近越省，那索性别让GPU和HBM隔着老远——台积电的CoWoS，便是把蓄意芯片和一摞HBM放到团结块基板上牢牢挨着，把搬运的距离压到最短。chiplet（小芯片）亦然团结个兴致：与其造一整块高大、良率堪忧的芯片，不如拆成几块小的再拼起来。先进封装这两年这样金贵，根子照旧那句话——近，便是省。

HBM把多片DRAM用TSV硅通孔垂直堆叠，再靠台积电CoWoS封装和GPU挤在团结块基板上，把最贵的那段搬运距离压到最短

临了回到MatX那条线。ASIC的全部赌注，便是著述里反复出现的阿谁衡量：当负载足够笃定——比如通盘宇宙都在跑Transformer——就不错像TPU那样，砍掉GPU为"卤莽下一种未知算法"而预留的活泼性，把省下来的面积全部还给蓄意。赌对了，阻挡碾压；赌错了，下一个架构一来就得推倒重练。

这些干线，莫得一条是编造热起来的。把芯片里面那谈物理题看清醒，产业舆图上的泰半个热门，都能我方对上号。

十一、顺着团结条旨趣，往前看

一样这套兴致兴致，不单能表示注解畴昔，也能拿战争前看。顺着它推，下一批瓶颈和契机落在哪，标的其实特地明晰。

第一步，让数据走垂直标的。芯片里面的搬运距离，被二维平面的布局死死按住——再相邻的两个模块，横着走亦然毫米级。可如若把逻辑层和存储层像盖楼一样垂直叠起来（3DIC），数据从上一层穿到下一层，只走微米级的距离，比横着快上几个数目级。下一步是把蓄意逻辑也叠上去，让内存和逻辑濒临面（logic-on-memory）——台积电的SoIC、英特尔的Foveros都在作念这件事。实在的拦路虎是散热：叠得越高，夹在中间那几层的热越难导出去。

第二步，干脆别搬。最透澈的省搬运，是让蓄意平直发生在数据待的场地。脉动阵列依然是这个念头的雏形——权重不动，数据流过。把它推到至极，便是存内蓄意（PIM）：平直在内存阵列里作念乘加，数据一步都不挪。三星和SK海力士依然在HBM里试着塞进蓄意单元。难点在于存储工艺和逻辑工艺天生不对，良率和精度都是坎。但标的不会错——只须"搬"照旧最贵的那件事，"不搬"就永恒有招引力。

第三步，拼起来之后，迤逦成了新瓶颈。上一节阿谁拆成小芯片再拼的作念法，会坐窝撞上团结条铁律：芯片与芯片之间的搬运，成了新的最贵门径。于是谁界说了芯片间互连的程序，谁就掐住下一代的咽喉——UCIe这类洞开互连之争，抢的恰是"芯片之间那段搬运"的言语权。

再往前一步，是改写"搬"和"算"的物理本人。上头几步都还在数字电路的框架里腾挪。再往根上走，是换掉电路的物理完结：像忆阻器（memristor）这样的新器件，能在团结个物理点上既存数据又作念蓄意，用模拟的风景一次算完一整列乘加——把"存"和"算"合二为一，连"搬"这个算作都取消掉。这还很早，工艺、噪声、可量产性一个都没解决。但它指向的是结尾：当存与算不再分家，今天这套层级与搬运的全部烦闷，可能从根上消散。

这些标的，莫得一个是注定的赢家。但它们都朝着团结处去——搬运的至极。

十二、把这把尺子，量一量中国

这套旨趣最实用的场地，是给了咱们一把尺子：不再朦拢说"中国芯片逾期几年"，而是分维度看——到底落在"算"上，照旧"搬"上。

先说被反复念叨的制程。EUV光刻机被卡，中芯海外量产大致停在7纳米这档，再往下莫得高产量的路。制程决定一样一块面积能塞几许晶体管，平直对应"算"的密度。这一刀，落在最疼的场地。

可别忘了全片那记最重的一击：一个中枢里实在在算的惟一八分之一，剩下八分之七都在搬。制程逾期，逾期的主如若那八分之一。把尺子转到"搬"这一侧，画面坐窝复杂起来。

精度是第一个回转。那条泛泛律——位数砍半，乘法器面积缩到四分之一——意味着一颗7纳米芯片把精度压到FP8，单元面积的吞吐能靠拢一颗5纳米跑FP16的。低精度是条简直不挑制程的近路：DeepSeek平直用FP8教导，本体是拿算法的聪惠赎制程的逾期。

封装是第二个。"近便是省"这条铁律恰巧不依赖发轫进的光刻。把几块锻练工艺的小芯片拼起来（chiplet）、用先进封装挤到一块基板上，是绕开EUV的边门。华为把两颗缝成一颗用，走的便是这条路——这是当今追得最紧的一段。

最深的那谈沟是HBM。带宽便是面积，搬运是终极瓶颈，而HBM恰是这门时刻的金冠。SK海力士靠它扼住整条供应链，中国的长鑫才刚起步，差着好几代。制程还能用封装和精度绕，HBM这谈墙却莫得边门。

临了是阿谁赌局。GPU留着活泼性卤莽未知算法，ASIC把活泼性砍掉、面积全还给蓄意。当制程本就逾期，赌一个笃定的负载——全宇宙都在跑Transformer——把省下的晶体管全堆到算力上，反而更合算。华为昇腾赌的恰是这个，代价也写在原文里：赌错一代架构，就得推倒重练。

而ASIC这条路，恰厚味中国的一项所长。专用芯片的命门是两件事：赌对负载、再把电路一遍遍打磨到极致——后者是典型的东谈主海工程。中国每年涌出的芯片与AI工程师数以十万计，东谈主力老本惟一硅谷的零头，"为每一种负载有益作念一颗"这种又费东谈主又费时的活，在这里反而办得起。何况赌哪种负载，本就要海量确切场景去校准——而中语互联网的数据与诈欺密度，给的恰是这个。

收起尺子，论断既不悲不雅也不随性：中国在"算"的最前沿逾期一档，但芯片的泰半山河在"搬"，而"搬"这一侧裂成了几块——封装能追，低精度能补，HBM是真沟。

从一个门，到一整块芯片

两个多小时，Reiner从一个与门讲到一整块TPU，中间莫得一句空论。这宇宙上最复杂的造物之一PG娱乐电子游戏(中国)IOS|Android|通用APP下载，底层逻辑朴素得不像话。它一辈子只在作念两件事——算，和搬。而通盘的小巧，通盘的代际之争，全在如何让"算"多少量，让"搬"少少量。