Développement de 1,6 milliard de dollars de Deepseek: démystifier le mythe de l'abordabilité

Le nouveau chatbot de Deepseek possède une capacité surprenante: répondre pratiquement à toutes les questions. Cette IA, un produit de la startup chinoise, est rapidement devenue un acteur majeur du marché, provoquant même des baisses importantes du cours des actions de Nvidia.

Le succès de Deepseek provient de ses méthodes d'architecture et de formation innovantes. Les technologies clés comprennent:

• Prédiction multi-token (MTP): Au lieu de prédire les mots individuellement, MTP prévoit plusieurs mots simultanément, augmentant la précision et l'efficacité.
• Mélange d'experts (MOE): Cette architecture utilise plusieurs réseaux de neurones, accélérant la formation et améliorant les performances. Deepseek V3 utilise 256 réseaux, activant huit pour chaque jeton.
• Attention latente multi-tête (MLA): MLA se concentre sur les parties cruciales de la phrase, extrait à plusieurs reprises les détails clés pour minimiser la perte d'informations et capturer une signification nuancée.

Deepseek a initialement réclamé un coût de formation remarquablement faible de 6 millions de dollars pour son puissant modèle V3 Deepseek en utilisant seulement 2048 GPU.

Cependant, la semianalyse a révélé l'utilisation par Deepseek d'environ 50 000 GPU de trémie NVIDIA, notamment 10 000 H800, 10 000 H100 et des unités H20 supplémentaires - accessibles à plusieurs centres de données. Cela représente un investissement total de serveur d'environ 1,6 milliard de dollars et des dépenses opérationnelles près de 944 millions de dollars.

Deepseek, une filiale du hedge fund de haut niveau, possède ses centres de données, fournissant un contrôle sur l'optimisation et l'innovation plus rapide. Son statut autofinancé améliore la flexibilité. En outre, Deepseek attire les meilleurs talents, certains chercheurs gagnant plus de 1,3 million de dollars par an, principalement des universités chinoises.

La demande de coût de formation initiale de 6 millions de dollars de Deepseek est trompeuse; Il ne couvre que l'utilisation du GPU avant la formation, à l'exclusion de la recherche, du raffinement, du traitement des données et des infrastructures. L'investissement total de développement de l'IA de la société dépasse 500 millions de dollars. Sa structure Lean, cependant, permet une innovation efficace par rapport aux entreprises plus grandes et plus bureaucratiques.

Le succès de Deepseek met en évidence le potentiel de sociétés d'IA indépendantes bien financées pour rivaliser avec les géants de l'industrie. Bien que ses revendications de «budget révolutionnaire» soient exagérées, son succès est indéniable, résultant d'investissements substantiels, de percées technologiques et d'une équipe solide. La différence de coût est Stark: le modèle R1 de Deepseek a coûté 5 millions de dollars pour s'entraîner, par rapport aux 100 millions de dollars de ChatGPT4. Cependant, il est encore moins cher que ses concurrents.