曾參與 OpenAI Sora、GPT-4o 等模型開發的前研究工程師 Will DePue，11月12日在社群平台 X 公布一項調查，宣稱從中國 AI 業者公開的模型權重中，找到 NVIDIA 最新 Blackwell GPU 的硬體特徵。涉及的公司包括 DeepSeek、月之暗面（Moonshot AI）、MiniMax 與螞蟻集團，共有六款模型被判定使用 Blackwell 架構進行權重初始化。由於這些高階晶片受到美國對中國的出口管制，研究結果也引發外界對中國 AI 企業如何取得運算資源的關注。DePue 創辦的研究組織 Unemployment Labs 在報告中指出，AI 模型開始訓練前，必須先為數十億甚至數千億個參數設定初始數值。這些看似隨機的數字，實際上會受到 GPU 運算架構與隨機種子（Seed）影響。不同晶片擁有不同數量的運算單元，即使使用相同種子，參數排列方式也可能不同。部分數值在後續訓練中沒有被修改，因此仍保留最初的排列特徵，形成研究人員所稱的「GPU 硬體指紋」，可用來反推當初建立模型權重的硬體類型。請繼續往下閱讀...研究團隊分析約6兆種晶片配置與隨機種子的組合後，發現 DeepSeek-V4-Flash 與 MiniMax-M3 的權重特徵符合 Blackwell B200、B300；DeepSeek-V4-Pro、Kimi K3、Kimi K3.1-Pro 及螞蟻集團 Ling-3.1-flash，則符合 Grace Blackwell GB200、GB300 系列。相較之下，DeepSeek-V3、Kimi K2.5 等較早版本，以及研究涵蓋的阿里巴巴 Qwen、智譜 GLM 等模型，仍呈現前代 Hopper 架構的特徵。這項方法主要辨識 GPU 的運算單元數量，例如 Hopper 的132個SM、Blackwell 的148個SM，以及 Grace Blackwell 的152個SM，無法進一步區分同組內的所有晶片型號。為了確認結果，DePue 使用實際的 NVIDIA B300 與 GB200 晶片重新產生模型初始權重，成功重現 DeepSeek-V4-Flash 與 Kimi K3 中保留下來的數值；改用 H100 或更換隨機種子後，便無法得到相同結果。他也公布驗證程式碼，並表示已有 OpenAI、Anthropic 的資深研究人員獨立確認。另有研究者公開表示成功重現部分比對結果，但目前尚未看到兩家公司正式發表驗證聲明，這項方法的完整適用範圍仍有待更多研究檢驗。不過，硬體指紋能辨識模型權重的初始化特徵，並不能直接證明整個模型訓練過程都使用相同晶片，更無法判斷設備位於中國境內或海外資料中心。DePue 也在報告中承認，這些證據不足以確認晶片如何取得，以及是否有人違反美國出口管制。研究結果雖為中國 AI 業者可能接觸受管制高階 GPU 提供新的技術線索，但相關企業的實際硬體來源、訓練地點與採購方式，仍未獲得證實。參考資料:https://unemploymentlabs.com/checkpoint-forensics
评论 (0)