¿Qué es el almacenamiento HPC? Una guía definitiva

El almacenamiento informático de alto rendimiento (HPC) incluye la red de baja latencia con un acceso a los datos de alta velocidad necesario para los proyectos de HPC. La HPC es el uso de ordenadores y superordenadores agrupados y conectados para realizar tareas complejas en paralelo. 

Pero lo que hace que la HPC sea tan importante es algo más que una simple velocidad computacional. Es la capacidad de la HPC para analizar conjuntos de datos masivos a escala de exabytes lo que la hace responsable de tantos avances modernos. Para realizar estas tareas complejas, los entornos HPC exigen soluciones de almacenamiento modernas para los clústeres HPC. 

Además, a medida que la inteligencia artificial (IA ) y la HPC convergen, las empresas tradicionales pueden beneficiarse aún más de entender y diseñar la HPC y adoptar la IA . Algunos responsables empresariales incluso deciden abandonar sus equipos de HPC tradicionales en favor de una infraestructura de IA convergente más estable y ágil que se despliegan ellos mismos o a través de socios integradores de sistemas.

Aquí tiene un análisis profundo de las demandas de HPC en cuanto al almacenamiento y cómo se pueden diseñar las infraestructuras empresariales para soportarlas.

La HPC es el uso de sistemas informáticos avanzados (por ejemplo, superordenadores o clústeres de ordenadores de alto rendimiento) para procesar tareas complejas en paralelo, normalmente en campos como la investigación científica, la ingeniería, la fabricación y la informática. La HPC impulsa las simulaciones científicas, el modelado, las verificaciones y la IA generativa, lo que permite que los investigadores y los profesionales analicen conjuntos de datos masivos y resuelvan problemas complejos de manera eficiente. 

El alcance es un aspecto; el otro es la velocidad. Y cuanto más rápida sea la infraestructura de datos que hay debajo de estos sistemas, más rápidos serán los cálculos.

Descubra cómo el equipo Mercedes-AMG Petronas F1 utiliza una cuadrícula informática de alto rendimiento para convertir las simulaciones de túneles de viento en prototipos. >>

Existen diferentes tipos de computación de alto rendimiento para diversos casos de uso. Algo que todos tienen en común: Generan y procesan enormes cantidades de datos. Los tipos más comunes de computación de alto rendimiento se definen por el modo en que los ordenadores trabajan juntos y en qué trabajan juntos, lo que incluye:

• Supercomputación: Diseñado para cálculos numéricos intensivos que se suelen utilizar en simulaciones científicas, modelado climático, gemelos digitales, entornos de realidad aumentada o virtual e investigación avanzada.
• Informática de clústeres: Los ordenadores en red que trabajan en paralelo en tareas distribuidas en múltiples máquinas, a menudo utilizados en instituciones académicas y de investigación. Los clústeres de computación de alto rendimiento (HPC) son una colección de ordenadores de alto rendimiento interconectados diseñados para el procesamiento paralelo, a menudo en aplicaciones científicas y de ingeniería.
• Computación distribuida: Se pueden aprovechar múltiples ordenadores conectados a través de una red cuando los sistemas están inactivos, gracias al software que los voluntarios descargan para que sus ordenadores estén disponibles cuando no están en uso. Los proyectos de HPC como Folding@home utilizan estos sistemas. 
• Computación en la nube: Los servidores remotos almacenan, gestionan y procesan datos, ofreciendo recursos informáticos escalables para diversas aplicaciones. Las soluciones de HPC basadas en la nube proporcionan acceso bajo demanda a recursos informáticos de alto rendimiento, para que los usuarios puedan acceder a la potencia computacional sin grandes inversiones iniciales.
• Informática cuántica: Aunque sigue siendo un nuevo ámbito de investigación y rara vez se utiliza en la empresa, la computación cuántica tiene el potencial de realizar cálculos a gran escala para resolver problemas complejos más rápidamente que los ordenadores clásicos.
• Computación acelerada: El uso de aceleradores de hardware especializados, como unidades de procesamiento gráfico (GPU) y unidades de procesamiento neuronal (NPU), para mejorar el rendimiento computacional, especialmente en tareas relacionadas con la IA y también en simulaciones del mundo real, como gemelos digitales y omniversos. 

Descubra cómo Folding@home funciona como un motor de supercomputación en FlashBlade ®. >>

Sí y no. Si bien los proyectos de IA casi siempre utilizan los recursos de la HPC, la mayoría de los proyectos de la HPC no están estrictamente relacionados con la IA.

A medida que las empresas buscan reestructurar sus infraestructuras de TI para soportar nuevos proyectos de IA, las infraestructuras de HPC a menudo se ven como modelos para las infraestructuras de IA, si solo porque son similares en cuanto a alcance y escala. La HPC está tan cerca como muchas empresas han tenido que construir centros de datos diseñados para proyectos de este ámbito, hardware especializado como GPU, chips y potencia computacional; sin embargo, ambas no son sinónimos.

Los proyectos de IA requieren mucha potencia computacional, aceleradores de hardware y arquitecturas de procesamiento paralelas y computación en clúster durante la transformación de datos y el entrenamiento de modelos, de manera similar a la HPC. También utilizan una variedad de tecnologías y métodos, incluida la HPC. (Otros incluyen el aprendizaje profundo, la visión artificial, el aprendizaje automático y el procesamiento del lenguaje natural). 

La HPC puede soportar la IA, pero también es más amplia. Si bien la IA se centra en modelos y algoritmos para ayudar en la toma de decisiones, el reconocimiento de patrones y el procesamiento del lenguaje (como vemos con la IA generativa), los proyectos de HPC pueden aplicarse a una gama más amplia de tareas más allá de la IA, incluida la ciencia, las simulaciones, la investigación, la ingeniería, el análisis de datos y el modelado numérico.

También difieren en cómo manejan los datos. La IA funciona con grandes conjuntos de datos, necesarios para entrenar modelos. La HPC puede manejar y maneja grandes conjuntos de datos, pero se centra más en los cálculos que realiza. 

«La HPC rara vez ha estado en el ámbito de la TI empresarial, por lo que suele mantenerse dentro de los límites del ámbito académico y de la investigación. La mayoría de las empresas ni siquiera han entrado en HPC, pero incluso para las que lo han hecho, a menudo no se mezcla con otros flujos de trabajo; se trata como un silo y se gestiona como una bestia diferente”. -  Podcast de TI de Gestalt

¿La computación en la nube es la misma que la HPC?

No, la computación en la nube no es sinónimo de HPC. La computación en la nube, como se ha mencionado anteriormente, es más bien un "cómo", ya que proporciona recursos que pueden aprovecharse para proyectos de HPC. En general, la computación en la nube es un concepto que define cómo se alojan y entregan los servicios y las infraestructuras, y esto puede incluir la HPC.

¿Qué sectores confían en la HPC?

Como hemos mencionado anteriormente, las organizaciones que más probablemente utilizarán las redes HPC y los entornos de almacenamiento HPC son las que se dedican a la investigación científica, la ciencia medioambiental, la previsión meteorológica, la ingeniería aeroespacial y automotriz, los servicios financieros, el petróleo y el gas, la fabricación y la atención sanitaria, incluida la investigación genómica y las pruebas farmacéuticas.

Sin embargo, la HPC no se limita a estos campos y puede beneficiar a cualquier empresa que necesite realizar cálculos complejos, ejecutar simulaciones con muchos datos, procesar gráficos, animaciones y efectos visuales de alta definición o realizar análisis de macrodatos.

Los entornos HPC suelen tener tres componentes principales: procesadores informáticos, redes y almacenamiento. Una de las demandas principales de los proyectos de HPC es el acceso rápido a los datos, lo que hace que el almacenamiento sea un componente crítico para el éxito de estos entornos. 

Para funcionar con velocidad y escalabilidad, los entornos HPC requieren arquitecturas de sistema de archivos modernas con niveles fríos y calientes y servidores de metadatos de alta disponibilidad. La integración de NVMe y el almacenamiento de objetos proporciona al sistema HPC la capacidad de satisfacer las demandas de las cargas de trabajo modernas con una baja latencia y un gran ancho de banda.

El almacenamiento de datos de la HPC funciona descargando los datos de las CPU, la memoria y los controladores de almacenamiento de un modo rápido y eficiente, para que las CPU puedan seguir procesando sin interrupciones. La plataforma de datos de un sistema HPC también tiene que ser accesible y estratificada, manteniendo los datos calientes cerca de los nodos y accesibles para ellos.

Arquitectura de almacenamiento HPC: Procesamiento paralelo, agrupación e interconexiones de alta velocidad

Dentro de la computación de alto rendimiento, hay tres conceptos fundamentales clave que explican cómo se realizan las tareas:

• Procesamiento paralelo: Aquí se describe el modo en que los ordenadores (o nodos) trabajan conjuntamente para realizar una tarea. En la HPC, los problemas grandes pueden dividirse en tareas más pequeñas y luego resolverse con múltiples procesadores o núcleos de computación a la vez, lo que permite que la HPC pueda manejar tanto conjuntos de datos masivos como cálculos tan rápidamente. Las tareas pueden gestionarse de manera independiente por parte de los procesadores o estos pueden colaborar en una sola tarea. Sin embargo, como se dividan y conquisten, es fundamental que ocurra en paralelo.
• Agrupamiento: La agrupación en clúster es una arquitectura que utiliza la HPC, en la que varios nodos trabajan conjuntamente como uno solo, lo que permite que se realice un trabajo paralelo, solo a una escala mayor. También es una manera de incorporar la fiabilidad en un entorno HPC. Como los nodos están conectados por una red a un sistema unificado y único, las tareas pueden dividirse y realizarse, incluso si un nodo de la red falla. Esto incluye la orquestación y la programación, donde el software gestiona los recursos de clúster disponibles y delega de manera inteligente el trabajo en el clúster más adecuado. 
• Interconexiones de alta velocidad: Esto describe la comunicación entre los nodos de un clúster y estos enlaces (por ejemplo, Ethernet de alta velocidad) son la columna vertebral de la potencia y la velocidad colaborativas de la HPC. Las interconexiones de alta velocidad permiten que la comunicación rápida y el procesamiento paralelo se realicen de manera rápida y eficiente entre los ordenadores del clúster y entre los nodos de almacenamiento y los nodos de computación.

Características que hay que buscar en el almacenamiento HPC

El almacenamiento es cada vez más importante en la era de las aplicaciones, los macrodatos y la HPC. Lo que se necesita es una arquitectura nueva e innovadora para soportar las aplicaciones avanzadas, al tiempo que proporciona el mejor rendimiento en todas las dimensiones de concurrencia: IOPS, rendimiento, latencia y capacidad. Lo ideal es que el almacenamiento HPC ofrezca:

• Una solución de almacenamiento flash con un sistema elástico escalable horizontalmente que puede proporcionar un rendimiento totalmente flash a conjuntos de datos a escala de petabytes, ideal para análisis de macrodatos.
• Escala horizontal masiva para permitir operaciones de lectura/escritura simultáneas, mientras que múltiples nodos acceden al almacenamiento al mismo tiempo.
• Eficiencia y simplicidad para los arquitectos de almacenamiento
• Acceso a datos de alta velocidad. El almacenamiento tiene que ser capaz de gestionar solicitudes rápidas y frecuentes.
• Redundancia y tolerancia a fallos
• NVMe para un acceso de baja latencia
• Almacenamiento de objetos para simplificar y satisfacer las necesidades de las aplicaciones nativas de la nube

Herramientas avanzadas de gestión de datos, como la reducción de datos, que ayudan a la compresión y la deduplicación.

Tanto el almacenamiento HPC como el almacenamiento en la nube gestionan los datos, pero tienen diferencias clave.

• La nube es general; la HPC es específica. El almacenamiento HPC está adaptado para las aplicaciones informáticas de alto rendimiento, optimizado para un procesamiento paralelo eficiente y un acceso rápido a los datos. El almacenamiento en la nube ofrece almacenamiento general como servicio para una amplia gama de aplicaciones (incluida la HPC).
• La nube es un modelo operativo. El almacenamiento en la nube es un modelo de servicio para almacenar y gestionar los datos de manera remota. 
• La HPC está ajustada para el rendimiento . Los servicios de almacenamiento en la nube pueden limitar la cantidad de proyectos de personalización granular que necesitan para un rendimiento óptimo. El almacenamiento HPC se optimizará para la velocidad y el acceso, mientras que la nube favorece más la flexibilidad y la escalabilidad.
• Los modelos de costes del almacenamiento en la nube le obligan a "comprar" más capacidad para obtener más rendimiento, aunque no necesite el espacio de almacenamiento adicional.

Cabe destacar que las cargas de trabajo HPC de las universidades y los centros de investigación se están pasando cada vez más a la nube, mientras que las cargas de trabajo HPC comerciales y empresariales siguen teniendo tendencia a estar en las instalaciones locales. Sin embargo, el coste total de propiedad (TCO ) es alto para las cargas de trabajo de HPC basadas en la nube y la repatriación de los conjuntos de datos de HPC a las instalaciones locales o su traslado a otro proveedor de la nube también es cara.

La computación de alto rendimiento ya es compleja y desafiante, por lo que no es de extrañar que el entorno de almacenamiento necesario para soportarla también pueda serlo. Las cargas de trabajo complejas, el alto volumen de datos en el rango de exabytes, los requisitos de seguridad de los datos, las integraciones y la estratificación de los datos hacen que navegar por la HPC sea complicado para las empresas. Sin embargo, las soluciones que ofrecen unas capacidades robustas y una facilidad de uso, como FlashBlade de Pure Storage®, pueden gestionar e incluso compensar esa complejidad sin añadir cuellos de botella o retrasos. FlashBlade

El almacenamiento HPC puede no ser siempre la solución más rentable para cada sistema o red, ya que no todas las cargas de trabajo requieren un almacenamiento específicamente adaptado a los retos de la HPC. Sin embargo, a medida que más cargas de trabajo como la IA se vuelven habituales en la empresa, el mismo rendimiento y la misma escalabilidad que exige el almacenamiento HPC pueden acabar siendo más beneficiosos universalmente.

El almacenamiento de HPC está pensado para satisfacer las demandas únicas de las tareas computacionales a gran escala, las simulaciones y las aplicaciones con un uso intensivo de datos, pero no todas las cargas de trabajo requerirán esa velocidad y escalabilidad y pueden tener otros requisitos únicos. Es importante sopesar los pros y los contras, pero en general, el almacenamiento HPC es bueno para:

• Conjuntos de datos masivos y cargas de trabajo complejas
• Rendimiento para soportar el procesamiento paralelo y el acceso rápido a los datos
• Crecimiento previsto de los datos
• Integraciones estrechas con clústeres de computación

FlashBlade es utilizado por más del 25% de las empresas Fortune 100 por su simplicidad, agilidad y capacidad para:

• Maximice el uso de las GPU y las CPU.
• Impulse unas IOPS masivas y un rendimiento con una alta concurrencia y una baja latencia, sin comprometer el rendimiento multidimensional.
• Soporta decenas de miles de millones de archivos y objetos con el máximo rendimiento y unos servicios de datos enriquecidos.
• Aproveche las API automatizadas y el soporte nativo de protocolo NFS , SMB y S3 de alto rendimiento para hacer que los despliegues, la gestión y las actualizaciones sean sencillos.

Descubra cómo FlashBlade ayuda a impulsar la computación de alto rendimiento para estas tres organizaciones innovadoras. >>