Más de El 40% de las empresas a gran escala utilizan activamente la IA, y otro 40% está explorando sus opciones de IA. De acuerdo con datos de encuestas recientes, sin embargo, persisten los desafíos, ya que el 38% de los profesionales de TI citan la falta de infraestructura tecnológica como el mayor obstáculo para el éxito de la IA.
En un reciente Podcast sobre los disruptores tecnológicos, el presentador Woo Jin Ho conversó con el Chief Technology Officer de Penguin Solutions, Phil Pokorny, y el vicepresidente de marketing global, Mark Seamans, para analizar cómo las empresas pueden reducir la complejidad de la infraestructura en un mercado de IA al rojo vivo.
Temas de actualidad: precio, rendimiento y potencia
1. Tema candente: Precio de la IA
El desafío: la infraestructura de IA es cara.
«La IA puede costar entre 10 y 20 veces más que un servidor estándar», afirma Mark. Para gestionar eficazmente el gasto en IA, hay dos consideraciones fundamentales: coste por consulta y valor por carga de trabajo. El costo por consulta incluye los gastos de capital en servidores más los costos continuos, como alimentación y refrigeración. El valor por carga de trabajo, por su parte, habla de los beneficios de soluciones como la automatización de procesos empresariales (BPA) basada en inteligencia artificial o el análisis de datos en profundidad.
La solución: soluciones probadas y personalizadas.
«Penguin Solutions se centra exclusivamente en el diseño, la creación, el despliegue y la gestión de la IA», afirma Mark. «Si bien estos sistemas parecen ordenadores estándar, todo el proceso de diseño y construcción es diferente al de la TI genérica». Penguin Solutions' El enfoque integral ofrece soluciones de IA personalizadas que ayudan a garantizar la alineación entre el costo y el valor.
2. Tema candente: Rendimiento de la IA
El desafío: equilibrar el esfuerzo y la producción.
Según Phil, «la implementación de la IA puede suponer una curva de aprendizaje empinada para los departamentos de TI, y es posible que no sea evidente cómo un modelo de IA puede beneficiar a las empresas». Señala que una salida de IA fiable requiere que varias GPU trabajen juntas mediante una estructura InfiniBand ajustada con precisión, mientras que Mark destaca la necesidad de ampliar la infraestructura para gestionar las crecientes necesidades de capacidad. «El tiempo de desarrollo entre los nuevos procesadores solía ser de 2 a 4 años», afirma. «Ahora se ha reducido a medio año».
La solución: traer a los expertos.
«Uno de los servicios clave que ofrecemos es nuestra fábrica», afirma Phil. «No le enviamos piezas sin procesar. Hacemos las estanterías, el apilamiento y las pruebas en nuestras instalaciones». También señala el trabajo de Penguin con Meta. En lugar de pedirle a su equipo de producción que implementara y administrara un clúster de HPC, Meta eligió Penguin Solutions. Cinco años y 16 000 GPU después, la asociación sigue siendo sólida.
3. Tema candente: El poder de la IA
El desafío: demasiado y muy poco.
Los sistemas habilitados para IA requieren cantidades significativas de energía y generan cantidades sustanciales de calor. Como señala Phil: «El centro de datos típico utiliza una alimentación de 120 voltios, pero esto no es suficiente para un rack HPC. Las empresas deben planificar las actualizaciones a 240 o 277 voltios». Sin embargo, incluso con esa escalabilidad, señala que las empresas pueden tener dificultades para comprar la energía que necesitan, según capacidad de la infraestructura de servicios públicos local.
Mientras tanto, el calor generado como subproducto de este uso de electricidad requiere una gestión eficaz para limitar el riesgo de daños en el hardware.
La solución: soluciones validadas por AI Factory
Implementación de IA y HPC basada en diseños de infraestructura validados permite a las organizaciones adaptar el enfoque de entrega para que se adapte a las capacidades de potencia de su centro de datos y, al mismo tiempo, ofrecer el máximo rendimiento de la solución. Penguin Solutions también está a la vanguardia de la entrega de soluciones de refrigeración por inmersión a base de aceite para permitir una entrega de servidores muy densos y, al mismo tiempo, reducir el consumo total de energía del sistema.
Manteniendo la calma
A medida que el mercado de la IA se calienta, los ejecutivos y los administradores de TI se ven presionados para implementar soluciones inteligentes y ofrecer un valor constante.
Penguin Solutions puede ayudar a reducir la complejidad de la infraestructura de IA con soluciones que ofrecen precio, rendimiento y potencia. Póngase en contacto hoy mismo para hablar con uno de nuestros expertos para obtener más información.
