DeepSeek的$ 1.6B开发：揭穿可负担性神话

DeepSeek的新聊天机器人具有令人惊讶的功能：几乎回答任何问题。这种AI是中国初创公司的产品，已迅速成为主要市场参与者，甚至导致NVIDIA的股价大幅下降。

DeepSeek的成功源于其创新的建筑和培训方法。关键技术包括：

• 多语预测（MTP）： MTP不是单独预测单词，而是同时预测多个单词，从而提高准确性和效率。
• 专家的混合物（MOE）：该体系结构使用多个神经网络，加速培训并提高性能。 DeepSeek V3使用256个网络，每个令牌都激活了8个网络。
• 多头潜在注意力（MLA）： MLA专注于关键的句子部分，反复提取关键细节以最大程度地减少信息丢失并捕获细微的含义。

DeepSeek最初声称，仅使用2048 GPU的强大的DeepSeek V3车型的培训成本非常低600万美元。

但是，半分析显示，DeepSeek使用了大约50,000个NVIDIA HOPPER GPU，包括10,000 H800、10,000 H100和其他H20单位 - 占据了多个数据中心。这代表了大约16亿美元的服务器投资，运营费用接近9.44亿美元。

高级对冲基金的子公司DeepSeek拥有其数据中心，提供了对优化和更快创新的控制。它的自筹资金地位增强了灵活性。此外，DeepSeek吸引了顶尖人才，一些研究人员每年收入超过130万美元，主要来自中国大学。

DeepSeek最初的600万美元培训成本索赔具有误导性；它仅涵盖培训前的GPU使用情况，不包括研究，改进，数据处理和基础架构。该公司的AI开发投资总额超过5亿美元。但是，与更大的官僚主义公司相比，它的精益结构允许有效的创新。

DeepSeek的成功凸显了资金庞大的独立AI公司与行业巨头竞争的潜力。尽管其“革命性预算”主张被夸大了，但由于大量投资，技术突破和强大的团队，其成功是不可否认的。成本差异很明显：DeepSeek的R1型号的培训成本为500万美元，而Chatgpt4的1亿美元。但是，它仍然比竞争对手便宜。