Top Chinese Frontier AI Models Carry the Fingerprint of Export-Controlled NVIDIA Blackwell GPUs

发表时间: 2026-11 · Blog post by Will DePue (unemploymentlabs.com)

原文: https://unemploymentlabs.com/checkpoint-forensics

作者/机构:Will DePue
发布日期:2026年11月12日

速读

一句话结论 本文通过对公开模型权重的逆向取证分析,证实了 DeepSeek、Moonshot AI 等四家中国 AI 实验室的六个最新模型是在受出口管制的 NVIDIA Blackwell GPU 上进行初始化和训练的。

要解决什么问题 现有的硬件使用调查往往只能依赖内部泄露或新闻报道,缺乏直接的技术证据。原有做法的卡点在于,大模型经过海量数据的长时间训练后,其最终权重看起来已经与训练它的底层硬件完全脱钩。这个卡点之所以重要,是因为在面临严格的芯片出口管制时,外界无法仅凭公开的模型文件来确证开发者是否使用了受限的先进算力。具体到机制上,难点在于如何从经历了数十亿次梯度更新的稠密参数矩阵中,剥离出训练带来的数值改变,从而提取出只与特定物理芯片架构强绑定的底层初始化特征。

怎么做的 核心思路是利用深度学习框架在 GPU 上并行生成随机数时的硬件绑定特性,通过逆向匹配模型权重的初始排列规律来倒推芯片型号。它能绕开上述卡点,是因为即使经过训练,部分未被激活的权重会完美保留初始值,而更新过的权重也会残留初始大小的统计痕迹。关键设计包含三个步骤。首先是确定硬件的线程分配逻辑:在 PyTorch 和 cuRAND 中,伪随机数生成算法 Philox 会根据设定的种子生成确定性的数列,并将任务分发给 GPU 的流式多处理器(SM)。每个 SM 固定分配 2048 个线程,总线程数 $T = \text{SM数量} \times 2048$ 决定了数值的写入步长。假设线程编号为 $i$,它填入权重矩阵的位置满足不变量:

$$ \text{Position}_k = i + k \times T \quad (k = 0, 1, 2, \dots) $$

其次是建立芯片指纹库:不同代际的 NVIDIA 芯片具有不同的物理 SM 数量。例如 Hopper 架构有 132 个 SM,而 Blackwell 架构的 B200/B300 有 148 个 SM,GB200/GB300 有 152 个 SM。改变 SM 数量会导致同一个随机数列被错位写入完全不同的参数位置。最后是残迹搜索与验证:在约 6T 种种子与布局的组合空间中,算法首先寻找词表中未参与训练的保留权重,进行精确的位级别比对;对于被训练改变的权重,则利用较高的初始值倾向于导致较高的最终值这一微弱但可测量的统计相关性进行匹配。一旦在某一组权重上锁定了种子和 SM 数量,就将该组合代入模型中未参与搜索的其他权重层进行交叉验证,从而确认初始化硬件。

效果如何 实验在公开权重的开源模型上进行,对比基线是 24 个开发者已公开披露过训练硬件的已知模型,它们代表了不同的硬件路线:基于 Hopper 架构的 Llama 3.1、基于 GB200 架构的 Nemotron-3 Ultra、基于 A100 架构的 Pythia 以及基于 AMD MI250X 架构的 OLMo-7B-Twin-2T。量化结果显示,该方法在 24 个已知基线上实现了 100% 的准确匹配。在对中国前沿模型的检测中,测出 DeepSeek-V4-Flash 和 MiniMax-M3 匹配 148 个 SM 的 Blackwell 布局,而 DeepSeek-V4-Pro、Kimi K3、Kimi K3.1-Pro 和 Ling-3.1-flash 匹配 152 个 SM 的 Blackwell 布局。在统计显著性上,这六个模型的最强证据得分介于 49 到 1385 sigma 之间,远超 8 sigma 的随机巧合阈值。作者也承认了该方法的局限与失效场景:它仅适用于公开权重的模型;如果模型是在 CPU 上初始化的(如部分 Qwen 模型),或者使用了不带有此类 GPU 线程指纹的框架(如百度的 PaddlePaddle),该方法就会失效。此外,该指纹只能确凿证明模型是在 Blackwell 上进行初始化的,虽然极大概率训练也在同集群完成,但无法绝对排除在其他芯片上继续训练的可能;同时,AMD MI300X 在极端罕见的特殊配置下也能模拟出 148 或 152 个计算单元的布局,尽管作者通过底层浮点计算差异在 DeepSeek-V4-Flash 上排除了 AMD 的可能性,但仍构成了理论上的干扰项。

主要贡献

本文针对公开发布的AI模型进行了一项取证分析(Forensic Analysis),核心研究目标是探究中国顶尖AI实验室是否在受美国出口管制的情况下,获取并使用了NVIDIA最先进的Blackwell架构GPU来训练其前沿大模型。

核心创新点:
本研究提出了一种完全基于模型自身公开权重(Published Weights)的硬件指纹提取技术,而无需依赖内部泄露或知情人士爆料。通过恢复模型初始化时的伪随机数生成器(PRNG)种子和GPU线程布局,能够精确匹配出生成这些初始权重的硬件配置。

主要发现:

  1. 发现受控硬件的使用证据:深度求索(DeepSeek)、月之暗面(Moonshot AI)、MiniMax和蚂蚁集团(Ant Group)自2026年4月以来发布的6个最新模型中,包含了与NVIDIA Blackwell硬件相匹配的数值模式。而这些公司早期发布的模型则匹配NVIDIA上一代Hopper架构。
  2. 具体的硬件匹配:

    • DeepSeek-V4-Flash 和 MiniMax-M3 匹配了拥有148个流多处理器(SMs)的B200或B300芯片。
    • DeepSeek-V4-Pro、Kimi K3、Kimi K3.1-Pro 以及 Ling-3.1-flash 匹配了拥有152个流多处理器的GB200或GB300芯片。
  3. 验证与可靠性:该方法在物理Blackwell芯片上(针对DeepSeek-V4-Flash和Kimi K3)得到了确认。此外,该方法在24个已公开披露训练硬件的模型上进行了测试,准确率达到100%。

  4. 排除其他可能性:排除了AMD MI300X(同样受出口管制)作为DeepSeek-V4-Flash初始化硬件的可能性,并认为其他五个模型使用AMD硬件的可能性极低。
  5. 集群规模估计:基于模型规模和训练数据量,估计这些模型每个训练任务大约需要1,500到3,500张Blackwell GPU,运行一个半月到三个月。

背景知识与设计原则

模型权重的初始化机制:
模型的权重(Weights)或参数(Parameters)是决定其如何处理信息和生成答案的数十亿个可调数字。在训练开始前,这些数字需要一个初始值。在本文研究的软件环境中,这些初始值来自一个名为Philox的伪随机数生成(PRNG)算法。Philox以一种确定性的方式生成看似随机的数字。Philox的起始输入是一个被称为“种子(Seed)”的数字。在给定相同的种子和设置下,Philox每次都会生成相同的数字序列,这使得工程师能够从相同的起点重复实验。

GPU线程对随机数生成的工作分配:
为了快速填充数十亿个权重,大多数主流AI模型开发中使用的软件框架PyTorch,会将Philox的工作分配给GPU上许多并行的工作单元,称为线程(Threads)。(这一过程是通过NVIDIA的随机数生成库cuRAND实现的)。每个线程根据种子生成自己的数字序列,并填充特定的一组位置。线程的总数决定了这些位置是如何被分配的。在本文研究的NVIDIA芯片上,一个足够大的初始化任务会为每个处理单元——即流多处理器(SM,Streaming Multiprocessor)——使用最大2,048个线程。因此,拥有更多SM的芯片会将相同的工作分配给更多的工作单元,从而改变它们生成的数字的存放位置。

硬件布局对权重排列的直接影响:
Figure 1 展示了在具有6个SM和每个SM 8个线程(总共48个线程)的简化GPU上这一过程是如何工作的。将权重想象成一长排空盒子,折叠成网格以适应页面。第一个线程填充第一个盒子,第二个线程填充第二个盒子,以此类推,直到所有48个线程都完成一次填充。然后,第一个线程的下一个数字进入第49个盒子,再下一个进入第97个盒子,依此类推。黑色边框追踪了这一个线程在网格中的路径:第一个线程填充每第48个位置。颜色标识了哪个处理单元提供每组值,而右侧面板中的亮度代表了值本身。

Figure 1 Figure 1. GPU如何填充权重。这个简化的例子使用了六个处理单元,每个单元有八个线程,总共48个线程。带有轮廓的单元格属于线程0,它填充每第48个位置。真实的芯片使用更多的线程,但放置规则是相同的。

改变SM数量导致布局错乱:
如果保持种子不变,但使用一个具有5个SM而不是6个SM的GPU。在简化示例中,这意味着有40个线程而不是48个线程。第一个线程生成完全相同的数字序列,但现在将其数字放入第1、41、81个盒子,而不是第1、49、97个盒子。Figure 2 追踪了这些数字随着位置改变的情况。在整个网格中,只有6%的值与原始排列匹配。种子是对的,但工作单元(线程)数量错了。这就是为什么模型权重的排列能够成为识别创建它的芯片的线索。

Figure 2 Figure 2. 在不同GPU上的相同种子。在这个拥有5个处理单元和40个线程的玩具例子中,线程0生成相同的序列,但填充每第40个位置而不是每第48个。显示的矩阵中只有6%与原始排列匹配。

精准复现权重的必要条件:
因此,要重现权重,必须同时满足两个条件。种子必须生成正确的数字,而线程数必须将它们放在正确的位置。种子正确但线程数错误,主要会导致正确的数字出现在错误的位置;线程数正确但种子错误,则会生成完全不同的数字。Figure 3 展示了为什么只有正确的组合才能重现原始的排列。

Figure 3 Figure 3. 种子和布局都必须匹配。只有当种子和线程数都正确时,才能重现原始矩阵。改变其中任何一个都会破坏大部分匹配。简化的芯片代表了Blackwell B300和Hopper H100。褪色的单元格与发布的权重不同。编号的单元格显示了线程0的数字落在哪里,每个面板下方的条带显示了数字本身。

方法细节

真实芯片的配置参数:
在真实的芯片上,线程数要大得多,但原理是相同的。在本文研究的NVIDIA配置中,Hopper架构的H100 SXM、H200和H800拥有132个SM,使用270,336个线程;Blackwell架构的B200/B300拥有148个SM,使用303,104个线程;而Blackwell架构的GB200/GB300拥有152个SM,使用311,296个线程。因此,恢复线程数就可以告诉我们是哪个硬件组匹配了初始排列,尽管它无法区分同一组内的具体芯片。例如,一个Hopper匹配结果无法区分它是H800、H100还是H200。

未受训练影响的权重的完美匹配:
接下来的问题是,这种排列在训练后是否有足够的残留让我们能够恢复它。一些权重,例如那些保留给在训练期间从未遇到过的单词或符号的权重,可以保持未被触碰,并几乎完美地保留其初始值。我们可以将这些保留的值直接与由候选种子和线程数生成的初始值进行比较。Figure 4 展示了这样的比较:DeepSeek-V3的保留权重匹配Hopper的排列,而DeepSeek-V4-Flash的保留权重匹配Blackwell的排列。

Figure 4 Figure 4. 保留的初始值揭示了布局。每个点将发布的权重与从种子重新生成的值进行比较。对角线意味着值匹配。DeepSeek-V3匹配Hopper布局,而V4-Flash匹配Blackwell布局。面板显示了每个模型中四个保留行的4,096个值。

受过训练的权重的微弱痕迹:
即使是经过训练改变的权重,也能保留其初始值的微弱痕迹。每个最终权重都是其初始值加上训练期间所做的所有调整。如果这些调整没有完全抵消或掩盖初始的差异,那么其中一些差异就会存留下来。例如,两个初始值分别为$0.2$和$0.8$的权重,如果它们各自增加约$0.1$,之后它们的排序方式依然相同。实际的调整变化要大得多,所以单个权重不能告诉我们太多信息。但是,在成百上千的权重中,我们可以测试较高的初始值是否仍然倾向于对应较高的最终值。Figure 5 展示了这种微弱但可测量的关系。这是在这些权重中发现的一个现象,而不是保证能在每次训练中存留的属性。

Figure 5 Figure 5. 训练过的权重保留了较弱的痕迹。左侧和中间的面板平均了DeepSeek-V4-Flash的42层中每层745,472个权重。在Blackwell布局下,较高的初始值仍然预测了略高的最终值($r = 0.066$,57 sigma);在Hopper布局下,这种关系消失了。右侧面板显示了来自单个层的较弱证据。

逆向工程搜索过程:
这些存留的痕迹让我们能够进行逆向推导。假设在Figure 1布局的一个虚构例子中,种子7使第一个线程生成$0.2$、$-0.5$和$0.8$。在48个线程下,这些值进入第1、49和97个位置;在40个线程下,它们进入第1、41和81个位置。如果发布的权重保留了第一种模式,我们可以尝试候选的种子和线程数,直到我们重现它。在实际调查中,我们比较其对应位置上的数千个值。未被触碰的权重可以完全匹配;训练过的权重可能只显示上述较弱的相似性。在任何一种情况下,我们寻找能够最好地重现存留模式的组合。

保留数据集的交叉验证:
随后,我们在搜索过程中未使用的保留权重上测试该组合。在使用一组权重选择了一个种子和线程数之后,我们使用它们来预测一组不同权重的初始值,并且不改变任何设置来人为提高拟合度。在这些以前未使用的权重上的匹配,比仅限于帮助我们选择组合的权重上的匹配,构成了更强有力的证据。Figure 6显示了这些比较:DeepSeek-V3匹配Hopper H100 SXM、H200或H800芯片的初始化布局;DeepSeek-V4-Flash匹配Blackwell B200/B300;而Kimi K3匹配Blackwell GB200/GB300。

Figure 6 Figure 6. 比较候选布局。每个模型都有一个清晰的峰值:DeepSeek-V3在132个SM,V4-Flash在148个,Kimi K3在152个。其他测试的布局得分接近于零。

六个中国模型的指纹确认:
在调查中,我们在来自四家中国公司的六个模型中发现了强烈暗示在Blackwell芯片上初始化的模式:DeepSeek的DeepSeek-V4-Flash和DeepSeek-V4-Pro,Moonshot AI的Kimi K3和Kimi K3.1-Pro,MiniMax的MiniMax-M3,以及Ant Group的Ling-3.1-flash。V4-Flash和MiniMax-M3匹配148-SM布局;其他四个匹配152-SM布局。这些是初始权重的指纹,它们支持(但不能单独证明)在AI模型训练中使用了Blackwell芯片的推论。

调查方法的局限性:框架与架构依赖:
值得注意的是,我们用于识别这些模型初始化硬件的取证方法仅适用于某些特定的模型。它需要公开发布的权重,因此闭源模型无法被检查。它还需要生成初始权重的软件留下可识别的、依赖于硬件的模式。在本文检查的GPU上运行的PyTorch留下了这样的模式;而用于训练百度ERNIE-5.5模型的PaddlePaddle框架则没有。我们能够恢复ERNIE-5.5的种子(2760),但无法确定用于初始化它的硬件。同样,在普通处理器(CPU)而不是GPU上初始化的权重不会留下GPU指纹;阿里巴巴的几个Qwen3模型就是以这种方式初始化的,因此没有留下用于训练它们的GPU的痕迹。在美团的LongCat-2.0中,我们也未发现指纹,该公司表示该模型是在“AI ASIC超级节点”上训练的;在DeepSeek-V4.1-Flash中,尽管进行了详尽的搜索,也没有发现指纹。

调查方法的局限性:初始化与训练的硬件解耦:
该方法识别的是生成初始权重的硬件,而不是后来参与训练模型的每一块芯片。当一次训练任务在生成权重的同一批GPU上进行训练时,指纹指向这两者。但是,一个实验室可以在一个系统上生成权重并将其移动到另一个系统,或者在新的硬件上继续训练现有的模型。仅凭权重无法排除这些可能性。混合集群引入了同样的局限性。如果NVIDIA芯片生成了部分权重,而华为芯片后来参与了训练,那么NVIDIA的模式可能会存留下来,而不会暴露华为的参与。不同的NVIDIA代际如果在它们初始化的部分中留下了痕迹,并且这些痕迹存留下来,就可能会留下不同的模式。在Kimi K3中,至少有64个独立播种的进程各自留下了相同的152-SM布局。因此,一个兼容Blackwell的模式支持其在初始化时的使用(需考虑下文提到的AMD替代方案);它并不能确立整个训练过程都使用了Blackwell。同样,Hopper模式也不能排除后来在Blackwell上进行训练的可能性。

调查方法的局限性:地理位置与合规性:
这些权重也无法揭示芯片的拥有者是谁,或者它们位于何处。Blackwell系统可以从中国境外的据中心租用。这些证据仅涉及对硬件的访问权限;其本身并不能证明芯片被走私进入中国或发生了违反出口管制的情况。

排除旧版NVIDIA芯片与中国特供版:
不同的芯片能否产生这些兼容Blackwell的模式之一?在本文测试的NVIDIA配置中,旧款芯片不能:软件可以使用少于芯片实际拥有的处理单元,但不能赋予它比物理上更多的处理单元。在本文研究的标准PyTorch行为下,它们无法产生148或152个SM的布局。面向中国市场的Blackwell显卡每个SM使用不同数量的线程,并且不会产生这两种总数中的任何一种。

AMD MI300X作为替代方案的物理验证:
AMD呈现了另一种可能性。一块MI300X通常使用304个处理单元,但它可以被分成两组,每组152个,或者配置为仅使用148个。其随机数软件也可以生成与NVIDIA相同的底层序列。这样的配置将是非常不寻常的,但我们在物理MI300X上确认,将其限制为152或148个单元时,它再现了我们与Blackwell关联的布局,所以单凭布局无法解决这个问题。

通过数值级微小差异排除AMD:
为了区分它们,我们寻找了数值本身微小的数字差异。AMD和NVIDIA在生成数字的过程中的一项计算执行方式略有不同。在物理MI300X上,DeepSeek-V4-Flash保留的权重指向了NVIDIA:在两个供应商结果不同的377个值中,发布的权重有363个匹配NVIDIA,而匹配AMD的为0。同样的测试无法解决其他五个模型的问题,但我们认为AMD的解释对它们来说是非常不可能的。在正常配置下,MI300X不会产生这两种布局;实验室必须配置整个集群,使其使用与Blackwell芯片相同数量的处理单元。其他公开证据也指向Blackwell:美国官员和新闻报道声称DeepSeek和Moonshot AI正在使用Blackwell芯片,且蚂蚁集团的公开代码包含在GB300上生成的基准测试结果。

在物理芯片上的复现与验证:
为了复现将DeepSeek-V3与Hopper联系起来、将DeepSeek-V4-Flash与Blackwell联系起来的结果,我们在Hopper级NVIDIA H100和Blackwell级NVIDIA B300上运行了未经修改的PyTorch。我们已确定DeepSeek的种子编号为953049583,并发现它被用于DeepSeek-V3和DeepSeek-V4-Flash的初始化。使用该种子,H100重现了DeepSeek-V3中保留的初始值,但未能重现V4-Flash的;B300重现了V4-Flash中保留的值,但未能重现V3的。 在B300上,未经修改的PyTorch重现了DeepSeek-V4-Flash中469个选定行中的461行,相关性均高于$0.99$,其中包括445个逐位(bit-for-bit)完全匹配的整行。有8个选定行被训练部分改变。在H100上,它逐位重现了DeepSeek-V3中所有57,344个保留值。这两种芯片都没有重现另一个模型保留的行。将种子更改1个数字,在两台机器上都未能重现任何匹配的行。在租用的GB200上,未经修改的PyTorch同样使用Moonshot的种子20256586重现了Kimi K3的所有13个保留行;将种子更改1个数字则未能重现任何行。

在已知硬件模型上的验证:
当答案已知时,我们的取证方法也能得出正确的结果。有24个案例中,开发者公开说出了特定模型背后的硬件;我们的取证方法与每一个案例都一致。Meta的Llama 3.1模型(在H100上训练)读取为132;EleutherAI的八个Pythia模型(在A100上训练)读取为108。NVIDIA自己的Nemotron-3 Ultra(其技术报告指出其中一个训练阶段使用了GB200)读取为152,与Kimi K3相同。DeepSeek和Moonshot曾报告其早期模型使用了H800。我们的Hopper读取结果与这些披露一致,但同时也与H100 SXM或H200硬件一致;它们不能独立验证H800的使用。

统计显著性与置信度量化:
当我们将发布的权重与候选种子和芯片布局生成的数字进行比较时,即使候选者是错误的,不可避免地也会存在一些相似性。多少相似性算作证据取决于我们比较了多少权重:少数几个数字之间的一致很容易是偶然的,而数千个数字之间的一致则很难用偶然来解释。我们的统计模型解释了比较权重的数量,并测量了观察到的匹配超出偶然预期的相似性有多远。我们用标准差或sigma($\sigma$)来表达这个距离。分数越高意味着反对偶然匹配的证据越强,前提是统计模型正确描述了数据中的随机变异。

庞大搜索空间中的显著性基准:
我们还必须考虑到我们尝试了多少个候选者。搜索大约六万亿(6 trillion)种种子和布局的组合给了我们数万亿次找到幸运匹配的机会。在正态分布模型下,5 sigma或更高的正向匹配大约在350万次比较中偶然发生一次。这在单一测试中将是惊人的,但在我们这样庞大的搜索中并不令人惊讶。因此,我们使用大约8 sigma作为评估整个搜索中偶然匹配的基准。

结论性的统计证据:
我们的发现大幅超出了该基准。 我们首先使用一组权重选择一个种子和布局,然后在没有参与选择该组合的独立集合上测试相同的组合。这检查了明显的指纹是否延伸到了引导我们找到它的数字之外。每个模型的最强证据范围从49到1,385 sigma;即使是报告中最弱的单个测试也达到了20 sigma。在我们的统计模型下,这些结果太强了,不能归因于偶然的相似性。它们确立了共享初始化模式的证据;要精确识别是哪种计算硬件产生了该模式,以及它是否也执行了训练,需要上述讨论的独立论证。

实验环境

实验结果

结论

基于严谨的取证调查,作者认为有强有力的证据表明,六个中国AI模型是在受出口管制的NVIDIA硬件上初始化的,并且对于DeepSeek-V4-Flash而言,该证据是决定性的。作者认为,这种初始化也强烈暗示它们是在相同的受出口管制硬件上进行训练的。虽然这留下了一些未解之谜——例如开发这些模型的公司是通过何种途径获得受出口管制的NVIDIA系统的——但作者认为这一事实值得公众的紧急关注。

附录

Appendix 1:各中国实验室历代模型的硬件演变

通过DeepSeek重用同一种子以及Moonshot使用固定规则派生种子的特性,可以追踪实验室的硬件迭代轨迹。

Appendix 2:每个被识别模型的完整目录与验证说明

该附录详细列出了所有评估模型、其公开披露的硬件、本方法的预测结果以及出口状态。

补充细节

外部证据与参考资料支持: