¿Qué es HPC Storage? Una guía definitiva

El almacenamiento de computación de alto rendimiento (HPC) comprende la red de baja latencia con acceso a datos de alta velocidad que se requiere para los proyectos de HPC. HPC es el uso de computadoras y supercomputadoras agrupadas y conectadas para llevar a cabo tareas complejas en paralelo. 

Pero es más que solo la velocidad computacional lo que hace que HPC sea tan significativo. Es la capacidad de HPC para analizar conjuntos de datos masivos de escala de exabyte lo que lo hace responsable de tantos avances modernos. Para llevar a cabo estas tareas complejas, los entornos de HPC exigen soluciones de almacenamiento modernas para clústeres de HPC. 

Además, a medida que convergen la inteligencia artificial (AI ) y la HPC, las empresas tradicionales pueden beneficiarse aún más de la comprensión y la arquitectura de HPC, mientras adoptan la AI . Algunos líderes empresariales incluso eligen abandonar sus equipos de HPC tradicionales a favor de una infraestructura de AI convergente más estable y ágil que se implementan ellos mismos o a través de socios integradores de sistemas.

Aquí le mostramos un análisis profundo de las demandas de HPC sobre el almacenamiento y cómo se pueden diseñar las infraestructuras empresariales para respaldarlas.

HPC es el uso de sistemas informáticos avanzados (p. ej., supercomputadoras o clústeres de computadoras de alto rendimiento) para procesar tareas complejas en paralelo, generalmente en campos como investigación científica, ingeniería, fabricación y ciencias informáticas. HPC potencia las simulaciones científicas, el modelado, las verificaciones y AI generativa, lo que permite a los investigadores y profesionales analizar conjuntos de datos masivos y resolver problemas complejos de manera eficiente. 

El alcance es un aspecto; el otro es la velocidad. Y cuanto más rápida sea la infraestructura de datos debajo de estos sistemas, más rápidos serán los cálculos.

Descubra cómo el equipo Mercedes-AMG Petronas F1 utiliza una red informática de alto rendimiento para convertir las simulaciones de túneles de viento en prototipos. >>

Existen diferentes tipos de computación de alto rendimiento para varios casos de uso. Algo que todos tienen en común: Generan y procesan grandes cantidades de datos. Los tipos más comunes de computación de alto rendimiento se definen por la forma en que las computadoras trabajan juntas y en qué trabajan juntas, entre ellos:

• Supercomputación: Diseñado para cálculos numéricos intensivos que a menudo se utilizan en simulaciones científicas, modelado climático, gemelos digitales, entornos de realidad aumentada o virtual e investigación avanzada.
• Computación en clúster: Computadoras en red que trabajan en paralelo en tareas distribuidas en varias máquinas, a menudo utilizadas en instituciones académicas y de investigación. Los clústeres de computación de alto rendimiento (HPC) son una colección de computadoras interconectadas de alto rendimiento diseñadas para procesamiento paralelo, a menudo en aplicaciones científicas e de ingeniería.
• Computación distribuida: Se pueden aprovechar varias computadoras conectadas a través de una red cuando los sistemas están inactivos, gracias al software que los voluntarios descargan para que sus computadoras estén disponibles cuando no están en uso. Los proyectos de HPC como Folding@home aprovechan estos sistemas. 
• Computación en la nube: Los servidores remotos almacenan, administran y procesan datos, ofreciendo recursos informáticos escalables para varias aplicaciones. Las soluciones de HPC basadas en la nube proporcionan acceso según demanda a recursos informáticos de alto rendimiento para que los usuarios puedan acceder a la potencia computacional sin grandes inversiones iniciales.
• Computación cuántica: Aunque sigue siendo una nueva área de investigación y rara vez se usa en la empresa, la computación cuántica tiene el potencial de realizar cálculos a gran escala para resolver problemas complejos más rápido que las computadoras clásicas.
• Computación acelerada: Usar aceleradores de hardware especializados como unidades de procesamiento de gráficos (GPU) y unidades de procesamiento neural (NPU) para mejorar el rendimiento computacional, especialmente en tareas relacionadas con la AI y también simulaciones del mundo real como gemelos digitales y el omniverso. 

Descubra cómo Folding@home ejecuta una potencia de supercomputación en FlashBlade ®. >>

Sí y no. Si bien los proyectos de AI casi siempre aprovechan los recursos de HPC, la mayoría de los proyectos de HPC no están estrictamente relacionados con la AI.

A medida que las empresas buscan reestructurar sus infraestructuras de TI para respaldar nuevos proyectos de AI, las infraestructuras de HPC a menudo se ven como modelos para infraestructuras de AI, si solo porque son similares en alcance y escala. HPC está tan cerca como muchas empresas han llegado a construir centros de datos diseñados para proyectos de este alcance, hardware especializado como GPU, chips y potencia computacional; sin embargo, ambas no son sinónimos.

Los proyectos de AI requieren mucha potencia computacional, aceleradores de hardware y arquitecturas de procesamiento en paralelo, y computación en clústeres durante la transformación de datos y el entrenamiento de modelos, similar a HPC. También aprovechan una variedad de tecnologías y métodos, incluida HPC. (Otros incluyen aprendizaje profundo, visión por computadora, aprendizaje automático y procesamiento de lenguaje natural). 

HPC puede admitir AI pero también es más amplio. Si bien la AI se centra en modelos y algoritmos para ayudar en la toma de decisiones, el reconocimiento de patrones y el procesamiento del lenguaje (como lo vemos con la AI generativa), los proyectos de HPC pueden aplicarse a una gama más amplia de tareas más allá AI, incluidas la ciencia, las simulaciones, la investigación, la ingeniería, el análisis de datos y el modelado numérico.

También difieren en la forma en que manejan los datos. AI funciona con grandes conjuntos de datos, necesarios para entrenar modelos. HPC puede y maneja grandes conjuntos de datos, pero su enfoque está más en los cálculos que lleva a cabo. 

“La HPC rara vez ha estado en el ámbito de la TI empresarial, por lo general se mantiene dentro de los límites académicos y de la investigación. La mayoría de las empresas ni siquiera se han abalanzado en HPC, pero incluso para aquellas que lo han hecho, a menudo no se mezcla con otros flujos de trabajo; se trata como un silo y se administra como una bestia diferente”. -  Podcast de TI de Gestalt

¿La computación en la nube es lo mismo que HPC?

No, la computación en la nube no es sinónimo de HPC. La computación en la nube, como se mencionó anteriormente, es más un “cómo”, ya que proporciona recursos que se pueden aprovechar para proyectos de HPC. En general, la computación en la nube es un concepto que define cómo se alojan y entregan los servicios y las infraestructuras, y esto puede incluir HPC.

¿Qué industrias confían en HPC?

Como mencionamos anteriormente, es más probable que las organizaciones aprovechen las redes de HPC y los entornos de almacenamiento de HPC en los campos de investigación científica, ciencia ambiental, pronóstico del clima, ingeniería aeroespacial y automotriz, servicios financieros, petróleo y gas, fabricación y atención de la salud, incluida la investigación genómica y las pruebas farmacéuticas.

Sin embargo, HPC no se limita a estos campos y puede beneficiar a cualquier empresa que necesite llevar a cabo cómputos complejos, ejecutar simulaciones con gran cantidad de datos, procesar gráficos de alta definición, animaciones y efectos visuales, o realizar análisis de Big Data.

Los entornos de HPC suelen tener tres componentes principales: procesadores informáticos, redes y almacenamiento. Una demanda central de los proyectos de HPC es el acceso rápido a los datos, lo que hace que el almacenamiento sea un componente fundamental para el éxito de estos entornos. 

Para operar con velocidad y escala, los entornos de HPC requieren arquitecturas modernas de sistemas de archivos con niveles fríos y calientes y servidores de metadatos de alta disponibilidad. La integración de NVMe y almacenamiento de objetos le brinda al sistema HPC la capacidad de satisfacer las demandas de cargas de trabajo modernas con baja latencia y alto ancho de banda.

El almacenamiento de datos de HPC funciona descargando datos de CPU, memoria y controladores de almacenamiento de manera rápida y eficiente, para que las CPU puedan continuar el procesamiento sin interrupción. La plataforma de datos para un sistema HPC también debe ser accesible y por niveles, manteniendo los datos calientes cerca de los nodos y accesibles para ellos.

Arquitectura de almacenamiento de HPC: Procesamiento paralelo, clúster e interconexiones de alta velocidad

Dentro de la computación de alto rendimiento, existen tres conceptos fundamentales clave que explican cómo se llevan a cabo las tareas:

• Procesamiento paralelo: Esto describe cómo las computadoras (o nodos) trabajan juntas para llevar a cabo una tarea. En HPC, los grandes problemas pueden dividirse en tareas más pequeñas que luego se resuelven con varios procesadores o núcleos de procesamiento a la vez, por lo que HPC es capaz de manejar conjuntos de datos masivos y cómputos tan rápidamente. Los procesadores pueden manejar las tareas de forma independiente o pueden colaborar en una sola tarea. Sin importar cómo se dividan y conquisten, es clave que suceda en paralelo.
• Agrupamiento: El clúster es una arquitectura aprovechada por HPC en la que varios nodos trabajan juntos como uno solo, lo que permite nuevamente que se realice un trabajo paralelo, solo a mayor escala. También es una forma de generar confiabilidad en un entorno de HPC. Debido a que los nodos están conectados por una red a un sistema unificado y único, las tareas se pueden dividir y llevar a cabo, incluso si falla un nodo en la red. Esto incluye organización y programación, donde el software administra los recursos de clúster disponibles y delega de manera inteligente el trabajo al clúster más adecuado. 
• Interconexiones de alta velocidad: Esto describe la comunicación entre nodos en un clúster, y estos enlaces (p. ej., Ethernet de alta velocidad) son la columna vertebral de la potencia y velocidad de colaboración de HPC. Las interconexiones de alta velocidad permiten que la comunicación rápida y el procesamiento en paralelo ocurran de manera rápida y eficiente entre las computadoras en el clúster y entre los nodos de almacenamiento y los nodos de procesamiento.

Funciones que debe buscar en HPC Storage

El almacenamiento es cada vez más importante en la era de las aplicaciones, big data y HPC. Lo que se necesita es una arquitectura nueva e innovadora para admitir aplicaciones avanzadas y, al mismo tiempo, proporcionar el mejor rendimiento en todas las dimensiones de la concurrencia: IOPS, rendimiento, latencia y capacidad. Idealmente, el almacenamiento HPC ofrece:

• Una solución de almacenamiento flash con un sistema elástico de escalabilidad horizontal que puede ofrecer un rendimiento basado íntegramente en tecnología flash a conjuntos de datos a escala de petabytes, ideal para el análisis de big data
• Escala horizontal masiva para permitir operaciones de lectura/escritura simultáneas mientras varios nodos acceden al almacenamiento al mismo tiempo
• Eficiencia y sencillez para arquitectos de almacenamiento
• Acceso a datos de alta velocidad. El almacenamiento debe poder manejar solicitudes rápidas y frecuentes.
• Redundancia y tolerancia a fallas
• NVMe para acceso de latencia baja
• Almacenamiento de objetos para simplificar y satisfacer las necesidades de aplicaciones nativas en la nube

Herramientas avanzadas de administración de datos, como la reducción de datos, que ayudan a la compresión y desduplicación.

Si bien tanto el almacenamiento HPC como el almacenamiento en la nube administran datos, tienen diferencias clave.

• La nube es general; HPC es específico. El almacenamiento HPC está diseñado para aplicaciones informáticas de alto rendimiento, optimizado para un procesamiento paralelo eficiente y un acceso rápido a los datos. El almacenamiento en la nube ofrece almacenamiento general como servicio para una amplia gama de aplicaciones (incluida HPC).
• La nube es un modelo operativo. El almacenamiento en la nube es un modelo de servicio para almacenar y administrar datos de forma remota. 
• HPC está sintonizado para el rendimiento . Los servicios de almacenamiento en la nube pueden limitar la cantidad de proyectos de personalización granular necesarios para un rendimiento óptimo. El almacenamiento de HPC se optimizará en cuanto a velocidad y acceso, mientras que la nube favorece más la flexibilidad y la escalabilidad.
• Los modelos de costos de almacenamiento en la nube lo obligan a “comprar” más capacidad para obtener más rendimiento, incluso si no necesita el espacio de almacenamiento adicional.

Cabe destacar que las cargas de trabajo de HPC de la universidad y el centro de investigación se trasladan cada vez más a la nube, mientras que las cargas de trabajo de HPC comerciales y empresariales siguen estando en las instalaciones. Sin embargo, el costo total de propiedad (TCO) es alto para las cargas de trabajo de HPC basadas en la nube, y la repatriación de conjuntos de datos de HPC a las instalaciones o trasladarlos a otro proveedor de la nube también es costosa.

La computación de alto rendimiento ya es compleja y desafiante, por lo que no es de extrañar que el entorno de almacenamiento necesario para admitirla también pueda serlo. Las cargas de trabajo complejas, el alto volumen de datos en el rango de exabytes, los requisitos de seguridad de datos, las integraciones y el nivelado de datos hacen que navegar por HPC sea un negocio complicado. Sin embargo, las soluciones que ofrecen capacidades sólidas y facilidad de uso, como Pure Storage ® FlashBlade, pueden manejar e incluso compensar esa complejidad sin agregar cuellos de botella o retrasos.

Es posible que el almacenamiento de HPC no siempre sea la solución más rentable para cada sistema o red, ya que no todas las cargas de trabajo requieren un almacenamiento específicamente ajustado para los desafíos de HPC. Sin embargo, a medida que más cargas de trabajo como la AI se vuelven comunes en la empresa, el mismo rendimiento y escalabilidad que exige el almacenamiento HPC podría terminar siendo más beneficioso universalmente.

El almacenamiento de HPC está diseñado para satisfacer las demandas únicas de las tareas computacionales a gran escala, las simulaciones y las aplicaciones de uso intensivo de datos, pero no todas las cargas de trabajo requerirán esa velocidad y escalabilidad, y es posible que tengan otros requisitos únicos. Es importante sopesar las ventajas y desventajas, pero en general, el almacenamiento HPC es bueno para:

• Conjuntos de datos masivos y cargas de trabajo complejas
• Rendimiento para admitir el procesamiento paralelo y el acceso rápido a los datos
• Crecimiento de datos esperado
• Integraciones estrechas con clústeres de procesamiento

FlashBlade es utilizado por más del 25 % de las empresas de Fortune 100 por su sencillez, agilidad y capacidad para:

• Maximice la utilización de GPU y CPU.
• Impulse IOPS masivas, rendimiento con alta simultaneidad y baja latencia sin comprometer el rendimiento multidimensional.
• Admite decenas de miles de millones de archivos y objetos con el máximo rendimiento y servicios de datos enriquecidos.
• Aproveche las API automatizadas y la asistencia de protocolos nativos de alto rendimiento NFS , SMB y S3 para que las implementaciones, la administración y las actualizaciones sean fáciles.

Descubra cómo FlashBlade ayuda a potenciar la computación de alto rendimiento para estas tres organizaciones innovadoras. >>