Blog

Aug 29, 2023

El chip Nvidia H100 es el más buscado del mundo

Parece que todo el mundo quiere tener en sus manos los chips H100 de Nvidia en estos días. Microsoft y Google, que están desarrollando motores de búsqueda generativos impulsados ​​por IA, son algunos de los mayores clientes.

Parece que todo el mundo quiere tener en sus manos los chips H100 de Nvidia en estos días.

Microsoft y Google, que están desarrollando motores de búsqueda generativos impulsados ​​por IA, son algunos de los mayores clientes de los chips H100 de Nvidia. Fabricantes de servidores afirman haber esperado más de seis meses para recibir sus últimos pedidos. Los inversores de capital riesgo están comprando chips H100 para las nuevas empresas en las que invierten.

Pero no son sólo las empresas tecnológicas las que buscan hacerse con los H100: Arabia Saudita y los Emiratos Árabes Unidos supuestamente han adquirido miles de estos chips de 40.000 dólares para construir sus propias aplicaciones de inteligencia artificial, según el Financial Times, que citó fuentes anónimas.

Esta fuerte demanda de un chip de una empresa ha provocado una especie de frenesí de compras. "Quién recibirá cuántos H100 y cuándo es el principal chisme del valle", como lo expresó Andrej Karpathy de OpenAI en una publicación de Twitter.

Incluso Elon Musk, en medio de su obsesión por luchar contra Mark Zuckerberg, encontró tiempo para comentar sobre la escasez de chips de Nvidia. (Musk no identifica si se refiere a los chips H100, que debutaron el año pasado, o a los chips de Nvidia en general. Pero los chips para IA ciertamente están de moda en este momento). Tesla de Musk está gastando mil millones de dólares para construir una nueva supercomputadora llamada Dojo , para entrenar su flota de vehículos autónomos y procesar los datos de los mismos. El plan Dojo comenzó, dijo Musk, sólo porque Tesla no tenía suficiente GPU Nvidia: unidades de procesamiento de gráficos, como se llaman estos chips. "Francamente... si pudieran entregarnos suficientes GPU, es posible que no necesitemos Dojo", dijo Musk a inversores y analistas en una conferencia telefónica en julio. “Tienen tantos clientes. Sin embargo, han tenido la amabilidad de priorizar algunos de nuestros pedidos de GPU”.

Si Tesla hubiera podido recibir la cantidad de chips de Nvidia que necesitaba, esos chips se habrían destinado a computadoras especializadas que entrenarían la gran cantidad de datos de video que, según Musk, se necesitan para lograr una “solución generalizada para la autonomía”. "

Los datos deben procesarse de alguna manera. Por lo tanto, Dojo está diseñado para optimizarse para entrenamiento por video, no para sistemas generativos de inteligencia artificial, para procesar la cantidad de datos necesarios para los vehículos autónomos, dijo Musk, lo cual es importante para lograr una conducción autónoma que sea más segura que la conducción humana.

Los modelos de lenguajes grandes (LLM) se entrenan con cantidades masivas de datos para generar respuestas complejas a preguntas. Pero integrar los LLM en aplicaciones del mundo real, como los motores de búsqueda, requiere mucha potencia informática.

En un estudio, investigadores de la Universidad de Washington y la Universidad de Sydney analizaron los altos costos de ejecutar un LLM. Google procesa más de 99.000 consultas de búsqueda por segundo. Si se incorporara GPT-3 en cada consulta, y suponiendo que cada consulta genera 500 tokens, que son objetos que representan el derecho a realizar alguna operación, Google necesitaría aproximadamente 2.700 millones de GPU A100 (un chip Nvidia AI más antiguo) para mantener arriba. Los investigadores estimaron que el coste de estas GPU superaría los 40.000 millones de dólares sólo en gastos de capital.

Lo que Google y otras empresas necesitan es un chip más potente que funcione mejor al mismo precio o a un precio inferior, dijo Willy Shih, profesor de práctica de gestión en la Escuela de Negocios de Harvard y que anteriormente trabajó en IBM y Silicon Valley Graphics. Ingrese la Nvidia H100, llamada así en honor a la científica informática Grace Hopper. El H100 está diseñado para IA generativa y funciona más rápido que los modelos anteriores. Cuanto más potentes sean los chips, más rápido se podrán procesar las consultas, dijo Shih.

La demanda de chips de IA de alto rendimiento ha sido una bendición para Nvidia, que domina el mercado (en parte debido a la suerte) mientras los competidores luchan por ponerse al día.

A medida que las nuevas empresas de IA generativa trabajan para crecer y se quedan sin H100, eso presenta oportunidades para que los competidores, como Amazon y Google, que están trabajando en la construcción de sus propios chips similares a Nvidia, estén a la altura de las circunstancias. Los chips de Amazon se llaman Inferentia y Tranium; Las de Google son unidades de procesamiento tensoriales.

“Una cosa es tener acceso a la infraestructura. Pero otra cosa es cuando, por ejemplo, quieres escalar la aplicación y de repente te das cuenta de que no tienes suficiente capacidad disponible”, dijo Arun Chandrasekaran, analista de Gartner que se centra en la nube y la IA. "Así que creo que estos desafíos tardarán algún tiempo en nivelarse".

Nuestra sesión informativa gratuita, rápida y divertida sobre la economía global, que se imparte todas las mañanas de los días laborables.