Desenvolvimento de US $ 1,6B da Deepseek: Desmistribuindo o mito da acessibilidade

O novo chatbot da Deepseek possui uma capacidade surpreendente: responder praticamente qualquer pergunta. Essa IA, um produto da startup chinesa, tornou -se rapidamente um dos principais players de mercado, causando quedas significativas no preço das ações da NVIDIA.

O sucesso da Deepseek decorre de seus métodos inovadores de arquitetura e treinamento. As principais tecnologias incluem:

• Previsão com vários toques (MTP): Em vez de prever palavras individualmente, o MTP prevê várias palavras simultaneamente, aumentando a precisão e a eficiência.
• Mistura de especialistas (MOE): Esta arquitetura usa várias redes neurais, acelerando o treinamento e melhorando o desempenho. O Deepseek V3 utiliza 256 redes, ativando oito para cada token.
• Atenção latente de várias cabeças (MLA): O MLA se concentra nas peças cruciais da frase, extraindo repetidamente os principais detalhes para minimizar a perda de informações e capturar significado diferenciado.

A Deepseek reivindicou inicialmente um custo de treinamento notavelmente baixo de US $ 6 milhões para seu poderoso modelo Deepseek V3 usando apenas 2048 GPUs.

No entanto, a semiânica revelou o uso de aproximadamente 50.000 GPUs da NVIDIA Hopper - incluindo 10.000 H800, 10.000 H100 e unidades H20 adicionais - em vários centers de dados. Isso representa um investimento total do servidor de aproximadamente US $ 1,6 bilhão e as despesas operacionais quase 944 milhões.

A Deepseek, uma subsidiária do High-Flyer Hedge Fund, possui seus data centers, fornecendo controle sobre otimização e inovação mais rápida. Seu status autofinanciado aumenta a flexibilidade. Além disso, a Deepseek atrai os melhores talentos, com alguns pesquisadores ganhando mais de US $ 1,3 milhão anualmente, principalmente das universidades chinesas.

A reivindicação inicial de custo de treinamento de US $ 6 milhões da Deepseek é enganosa; Ele abrange apenas o uso de GPU pré-treinamento, excluindo pesquisas, refinamento, processamento de dados e infraestrutura. O investimento total de desenvolvimento de IA da empresa excede US $ 500 milhões. Sua estrutura enxuta, no entanto, permite inovação eficiente em comparação com empresas maiores e mais burocráticas.

O sucesso da Deepseek destaca o potencial de empresas independentes de IA bem financiadas para competir com os gigantes do setor. Embora suas reivindicações de "orçamento revolucionário" sejam exageradas, seu sucesso é inegável, resultante de investimentos substanciais, avanços tecnológicos e uma equipe forte. A diferença de custo é gritante: o modelo R1 da Deepseek custou US $ 5 milhões para treinar, em comparação com os US $ 100 milhões do ChatGPT4. No entanto, ainda é mais barato que seus concorrentes.