DeepSeek的$ 1.6B開發：揭穿可負擔性神話

DeepSeek的新聊天機器人具有令人驚訝的功能：幾乎回答任何問題。這種AI是中國初創公司的產品，已迅速成為主要市場參與者，甚至導致NVIDIA的股價大幅下降。

DeepSeek的成功源於其創新的建築和培訓方法。關鍵技術包括：

• 多語預測（MTP）： MTP不是單獨預測單詞，而是同時預測多個單詞，從而提高準確性和效率。
• 專家的混合物（MOE）：該體系結構使用多個神經網絡，加速培訓並提高性能。 DeepSeek V3使用256個網絡，每個令牌都激活了8個網絡。
• 多頭潛在註意力（MLA）： MLA專注於關鍵的句子部分，反复提取關鍵細節以最大程度地減少信息丟失並捕獲細微的含義。

DeepSeek最初聲稱，僅使用2048 GPU的強大的DeepSeek V3車型的培訓成本非常低600萬美元。

但是，半分析顯示，DeepSeek使用了大約50,000個NVIDIA HOPPER GPU，包括10,000 H800、10,000 H100和其他H20單位 - 佔據了多個數據中心。這代表了大約16億美元的服務器投資，運營費用接近9.44億美元。

高級對沖基金的子公司DeepSeek擁有其數據中心，提供了對優化和更快創新的控制。它的自籌資金地位增強了靈活性。此外，DeepSeek吸引了頂尖人才，一些研究人員每年收入超過130萬美元，主要來自中國大學。

DeepSeek最初的600萬美元培訓成本索賠具有誤導性；它僅涵蓋培訓前的GPU使用情況，不包括研究，改進，數據處理和基礎架構。該公司的AI開發投資總額超過5億美元。但是，與更大的官僚主義公司相比，它的精益結構允許有效的創新。

DeepSeek的成功凸顯了資金龐大的獨立AI公司與行業巨頭競爭的潛力。儘管其“革命性預算”主張被誇大了，但由於大量投資，技術突破和強大的團隊，其成功是不可否認的。成本差異很明顯：DeepSeek的R1型號的培訓成本為500萬美元，而Chatgpt4的1億美元。但是，它仍然比競爭對手便宜。