Desarrollo de $ 1.6b de Deepseek: desacreditar el mito de la asequibilidad

El nuevo chatbot de Deepseek cuenta con una capacidad sorprendente: responder prácticamente cualquier pregunta. Esta IA, un producto de la startup china, se ha convertido rápidamente en un importante jugador del mercado, incluso causando caídas significativas en el precio de las acciones de Nvidia.

El éxito de Deepseek proviene de sus innovadores métodos de arquitectura y capacitación. Las tecnologías clave incluyen:

• Predicción múltiple (MTP): en lugar de predecir palabras individualmente, MTP pronostica múltiples palabras simultáneamente, aumentando la precisión y la eficiencia.
• Mezcla de expertos (MOE): esta arquitectura utiliza múltiples redes neuronales, acelerando la capacitación y mejorando el rendimiento. Deepseek V3 utiliza 256 redes, activando ocho para cada token.
• Atención latente múltiple (MLA): MLA se centra en piezas de oración cruciales, extrayendo repetidamente detalles clave para minimizar la pérdida de información y capturar el significado matizado.

Deepseek inicialmente reclamó un costo de capacitación notablemente bajo de $ 6 millones por su poderoso modelo Deepseek V3 utilizando solo 2048 GPU.

Sin embargo, el semianálisis reveló el uso de Deepseek de aproximadamente 50,000 GPU de la tolva NVIDIA, incluidas 10,000 H800, 10,000 H100 y unidades H20 adicionales, a los centros de datos múltiples de acuerdo. Esto representa una inversión de servidor total de aproximadamente $ 1.6 mil millones y gastos operativos cerca de $ 944 millones.

Deepseek, una subsidiaria de High-Flyer Hedge Fund, posee sus centros de datos, proporcionando control sobre la optimización y la innovación más rápida. Su estado autofinanciado mejora la flexibilidad. Además, Deepseek atrae al máximo talento, y algunos investigadores ganan más de $ 1.3 millones anuales, principalmente de las universidades chinas.

El reclamo inicial de capacitación de $ 6 millones de Deepseek es engañoso; Solo cubre el uso previo de la GPU, excluyendo la investigación, el refinamiento, el procesamiento de datos e infraestructura. La inversión total de desarrollo de IA de la compañía supera los $ 500 millones. Sin embargo, su estructura magra permite una innovación eficiente en comparación con empresas más grandes y burocráticas.

El éxito de Deepseek destaca el potencial de las compañías de IA independientes bien financiadas para competir con los gigantes de la industria. Si bien sus reclamos de "presupuesto revolucionario" son exagerados, su éxito es innegable, como resultado de una inversión sustancial, avances tecnológicos y un equipo fuerte. La diferencia de costos es marcada: el modelo R1 de Deepseek costó $ 5 millones para entrenar, en comparación con los $ 100 millones de ChatPPT4. Sin embargo, sigue siendo más barato que sus competidores.