O que é armazenamento HPC? Um guia definitivo

O armazenamento de computação de alto desempenho (HPC, High-Performance Computing) inclui a rede de baixa latência com acesso a dados de alta velocidade necessário para projetos de HPC. HPC é o uso de computadores e supercomputadores em cluster e conectados para realizar tarefas complexas em paralelo. 

Mas é mais do que apenas a velocidade computacional que torna a HPC tão significativa. É a capacidade da HPC de analisar grandes conjuntos de dados de escala de exabytes que a torna responsável por tantas inovações modernas. Para realizar essas tarefas complexas, os ambientes de HPC exigem soluções de armazenamento modernas para clusters de HPC. 

Além disso, à medida que a inteligência artificial (AI) e a HPC convergem, as empresas tradicionais podem se beneficiar ainda mais da compreensão e da arquitetura da HPC enquanto adotam a AI. Alguns líderes de negócios estão até mesmo optando por abandonar suas equipes tradicionais de HPC em favor de uma infraestrutura de AI convergente mais estável e ágil que implantam sozinhos ou por meio de parceiros integradores de sistemas.

Veja a seguir uma análise detalhada das demandas da HPC sobre armazenamento e como as infraestruturas corporativas podem ser desenvolvidas para apoiá-las.

HPC é o uso de sistemas computacionais avançados (por exemplo, supercomputadores ou clusters de computadores de alto desempenho) para processar tarefas complexas em paralelo, geralmente em campos como pesquisa científica, engenharia, fabricação e ciência da computação. A HPC potencializa simulações científicas, modelagem, verificações e AI, permitindo que pesquisadores e profissionais analisem grandes conjuntos de dados e resolvam problemas complexos com eficiência. 

O escopo é um aspecto; o outro é a velocidade. Quanto mais rápida a infraestrutura de dados abaixo desses sistemas, mais rápidos serão os cálculos.

Saiba como a equipe de F1 da Mercedes-AMG Petronas usa uma rede de computação de alto desempenho para transformar simulações de túneis de vento em protótipos. >>

Há diferentes tipos de computação de alto desempenho para vários casos de uso. Uma coisa que todos eles têm em comum: Eles geram e processam grandes quantidades de dados. Os tipos mais comuns de computação de alto desempenho são definidos por como os computadores funcionam juntos e no que eles estão trabalhando juntos, incluindo:

• Supercomputação: Desenvolvido para cálculos numéricos intensivos frequentemente usados em simulações científicas, modelagem climática, gêmeos digitais, ambientes de realidade virtual ou aumentada e pesquisa avançada.
• Computação de cluster: Computadores em rede que trabalham em paralelo em tarefas distribuídas em várias máquinas, frequentemente usadas em instituições acadêmicas e de pesquisa. Clusters de computação de alto desempenho (HPC, High-Performance Computing) são uma coleção de computadores de alto desempenho interconectados desenvolvidos para processamento paralelo, frequentemente em aplicativos científicos e de engenharia.
• Computação distribuída: Vários computadores conectados por meio de uma rede podem ser aproveitados quando os sistemas estão ociosos, graças ao software que os voluntários baixam para disponibilizar seus computadores quando não estão em uso. Projetos de HPC como o Folding@home aproveitam esses sistemas. 
• Computação em nuvem: Os servidores remotos armazenam, gerenciam e processam dados, oferecendo recursos de computação escaláveis para vários aplicativos. As soluções de HPC baseadas em nuvem fornecem acesso sob demanda a recursos de computação de alto desempenho para que os usuários possam acessar a energia computacional sem grandes investimentos iniciais.
• Computação Quantum: Embora ainda seja uma nova área de pesquisa e raramente usada na empresa, a computação quântica tem o potencial de realizar cálculos em grande escala para resolver problemas complexos mais rapidamente do que os computadores clássicos.
• Computação acelerada: Usar aceleradores de hardware especializados, como unidades de processamento gráfico (GPUs, Graphics Processing Units) e unidades de processamento neural (NPUs, Neural Processing Units) para melhorar o desempenho computacional, especialmente em tarefas relacionadas à AI e também simulações do mundo real, como gêmeos digitais e o omniverse. 

Descubra como o Folding@home executa uma potência de supercomputação no FlashBlade ®. >>

Sim e não. Embora os projetos de AI quase sempre aproveitem os recursos de HPC, a maioria deles não está estritamente relacionada à AI.

À medida que as empresas buscam reformular suas infraestruturas de TI para dar suporte a novos projetos de AI, as infraestruturas de HPC são frequentemente vistas como modelos para infraestruturas de AI, apenas porque são semelhantes em escopo e escala. A HPC está tão próxima quanto muitas empresas conseguiram criar datacenters desenvolvidos para projetos desse escopo, hardware especializado como GPUs, chips e potência computacional; no entanto, os dois não são sinônimos.

Os projetos de AI exigem muita potência computacional, aceleradores de hardware e arquiteturas de processamento paralelo, além de computação em cluster durante a transformação de dados e o treinamento de modelos, semelhante à HPC. Eles também aproveitam uma variedade de tecnologias e métodos, incluindo HPC. (Outros incluem aprendizagem profunda, visão computacional, aprendizado de máquina e processamento de linguagem natural.) 

A HPC pode dar suporte AI, mas também é mais ampla. Embora a AI se concentre em modelos e algoritmos para ajudar na tomada de decisões, no reconhecimento de padrões e no processamento de linguagem (como vemos com a AI generativa ), os projetos de HPC podem ser aplicados a uma gama mais ampla de tarefas além da AI, incluindo ciência, simulações, pesquisa, engenharia, análise de dados e modelagem numérica.

Eles também diferem em como lidam com dados. A AI funciona com grandes conjuntos de dados, necessários para treinar modelos. A HPC consegue lidar com grandes conjuntos de dados, mas seu foco é mais nos cálculos que realiza. 

“O HPC raramente esteve no domínio da TI corporativa, normalmente permanecendo dentro dos limites da academia e da pesquisa. A maioria das empresas nem sequer se depara com a HPC, mas mesmo para aquelas que o fizeram, muitas vezes ela não se mistura com outros fluxos de trabalho; ela é tratada como um silo e gerenciada como uma fera diferente.” -  Podcast de TI da Gestalt

A computação em nuvem é igual à HPC?

Não, a computação em nuvem não é sinônimo de HPC. A computação em nuvem, como mencionado acima, é mais um “como”, fornecendo recursos que podem ser aproveitados para projetos de HPC. Em geral, a computação em nuvem é um conceito que define como os serviços e as infraestruturas são hospedados e fornecidos, e isso pode incluir a HPC.

Quais setores dependem da HPC?

Como mencionamos anteriormente, as organizações com maior probabilidade de aproveitar redes e ambientes de armazenamento de HPC são aquelas nas áreas de pesquisa científica, ciência ambiental, previsão do tempo, engenharia aeroespacial e automotiva, serviços financeiros, petróleo e gás, fabricação e saúde, incluindo pesquisa genômica e testes farmacêuticos.

No entanto, a HPC não se limita a esses campos e pode beneficiar qualquer empresa que precise realizar cálculos complexos, executar simulações com muitos dados, processar gráficos, animações e efeitos visuais de alta definição ou realizar análise de Big Data.

Os ambientes de HPC normalmente têm três componentes principais: processadores de computador, rede e armazenamento. Uma demanda central dos projetos de HPC é o acesso rápido aos dados, o que torna o armazenamento um componente essencial para o sucesso desses ambientes. 

Para operar com velocidade e escala, os ambientes de HPC exigem arquiteturas avançadas de sistemas de arquivos com camadas quentes e frias e servidores de metadados de alta disponibilidade. A integração do NVMe e do armazenamento de objetos dá ao sistema HPC a capacidade de atender às demandas de cargas de trabalho modernas com baixa latência e alta largura de banda.

O armazenamento de dados da HPC funciona descarregando dados de CPUs, controladores de memória e armazenamento com rapidez e eficiência, para que as CPUs possam continuar o processamento sem interrupções. A plataforma de dados para um sistema HPC também precisa ser acessível e em camadas, mantendo os dados ativos próximos e acessíveis pelos nós.

Arquitetura de armazenamento HPC: Processamento paralelo, clustering e interconexões de alta velocidade

Na computação de alto desempenho, há três conceitos fundamentais que explicam como as tarefas são realizadas:

• Processamento paralelo: Isso descreve como os computadores (ou nós) trabalham juntos para realizar uma tarefa. Na HPC, grandes problemas podem ser divididos em tarefas menores e, em seguida, resolvidos por vários processadores ou núcleos de computação de uma só vez, e é assim que a HPC é capaz de lidar com grandes conjuntos de dados e computações tão rapidamente. As tarefas podem ser tratadas de forma independente por processadores ou processadores podem colaborar em uma única tarefa. Não importa como eles dividem e conquistam, isso é essencial.
• Clustering: O clustering é uma arquitetura aproveitada pela HPC em que vários nós trabalham juntos como um só, permitindo que o trabalho paralelo aconteça, em uma escala maior. Também é uma maneira de criar confiabilidade em um ambiente de HPC. Como os nós são conectados por uma rede em um sistema unificado e único, as tarefas podem ser divididas e executadas, mesmo que um nó na rede falhe. Isso inclui orquestração e agendamento, em que o software gerencia os recursos disponíveis do cluster e delega de maneira inteligente o trabalho ao cluster mais adequado. 
• Interconexões de alta velocidade: Isso descreve a comunicação entre nós em um cluster, e esses links (por exemplo, Ethernet de alta velocidade) são a espinha dorsal da potência e velocidade colaborativas da HPC. As interconexões de alta velocidade permitem que a comunicação rápida e o processamento paralelo aconteçam com rapidez e eficiência entre computadores no cluster e entre nós de armazenamento e processamento.

Recursos a serem procurados no armazenamento HPC

O armazenamento está se tornando cada vez mais importante na era dos aplicativos, Big Data e HPC. O que é necessário é uma arquitetura nova e inovadora para dar suporte a aplicativos avançados enquanto oferece o melhor desempenho em todas as dimensões da simultaneidade: IOPS, taxa de transferência, latência e capacidade. Idealmente, o armazenamento HPC oferece:

• Uma solução de armazenamento flash com um sistema flexível de expansão horizontal que pode oferecer desempenho totalmente flash para conjuntos de dados em escala de petabyte, ideal para análise de Big Data
• Escala horizontal massiva para permitir operações simultâneas de leitura/gravação enquanto vários nós acessam o armazenamento ao mesmo tempo
• Eficiência e simplicidade para arquitetos de armazenamento
• Acesso a dados de alta velocidade. O armazenamento precisa ser capaz de lidar com solicitações rápidas e frequentes.
• Redundância e tolerância a falhas
• NVMe para acesso de baixa latência
• Armazenamento de objetos para simplicidade e para atender às necessidades de aplicativos nativos da nuvem

Ferramentas avançadas de gerenciamento de dados, como redução de dados, que ajudam na compactação e desduplicação

Embora o armazenamento HPC e o armazenamento em nuvem gerenciem dados, eles têm diferenças importantes.

• A nuvem é geral; a HPC é específica. O armazenamento HPC é adaptado para aplicativos de computação de alto desempenho, otimizados para processamento paralelo eficiente e acesso rápido aos dados. O armazenamento em nuvem oferece armazenamento geral como serviço para uma ampla gama de aplicativos (incluindo HPC).
• A nuvem é um modelo operacional. O armazenamento em nuvem é um modelo de serviço para armazenar e gerenciar dados remotamente. 
• A HPC está ajustada para desempenho. Os serviços de armazenamento na nuvem podem limitar a quantidade de personalização granular necessária para o desempenho ideal. O armazenamento de HPC será otimizado para velocidade e acesso, enquanto a nuvem favorece mais flexibilidade e expansão.
• Os modelos de custo de armazenamento na nuvem forçam você a "comprar" mais capacidade para obter mais desempenho, mesmo que não precise de espaço de armazenamento extra.

É importante observar que as cargas de trabalho de HPC de universidades e centros de pesquisa estão cada vez mais migrando para a nuvem, enquanto as cargas de trabalho de HPC comerciais e corporativas ainda tendem a estar no local. No entanto, o custo total de propriedade (TCO , Total Cost of Ownership) é alto para cargas de trabalho de HPC baseadas em nuvem, e a repatriação de conjuntos de dados de HPC para locais ou a transferência para outro provedor de nuvem também é cara.

A computação de alto desempenho já é complexa e desafiadora, por isso, não é surpresa que o ambiente de armazenamento necessário para apoiá-la também possa ser. Cargas de trabalho complexas, alto volume de dados na faixa de exabytes, requisitos de segurança de dados, integrações e camadas de dados tornam a navegação nos negócios complicados da HPC. No entanto, as soluções que oferecem recursos robustos e facilidade de uso, como o FlashBlade ® da Pure Storage, podem lidar e até mesmo compensar essa complexidade sem adicionar gargalos ou atrasos.

O armazenamento de HPC nem sempre é a solução mais econômica para todos os sistemas ou redes, pois nem todas as cargas de trabalho exigem armazenamento especificamente ajustado para desafios de HPC. No entanto, à medida que mais cargas de trabalho, como AI, se tornam comuns na empresa, o mesmo desempenho e escalabilidade exigidos pelo armazenamento HPC podem acabar sendo mais universalmente benéficos.

O armazenamento HPC foi desenvolvido para atender às demandas exclusivas de tarefas computacionais, simulações e aplicativos com uso intensivo de dados em larga escala, mas nem todas as cargas de trabalho exigirão essa velocidade e escala, e elas podem ter outros requisitos exclusivos. É importante ponderar os prós e os contras, mas, em geral, o armazenamento de HPC é bom para:

• Conjuntos de dados em massa e cargas de trabalho complexas
• Desempenho para dar suporte ao processamento paralelo e acesso rápido aos dados
• Crescimento de dados esperado
• Integrações rigorosas com clusters de computação

O FlashBlade é usado por mais de 25% das empresas da Fortune 100 por sua simplicidade, agilidade e capacidade de:

• Maximizar a utilização de GPUs e CPUs.
• Impulsione IOPS massivos, taxa de transferência com alta simultaneidade e baixa latência sem comprometer o desempenho multidimensional.
• Dê suporte a dezenas de bilhões de arquivos e objetos com desempenho máximo e serviços avançados de dados.
• Aproveite APIs automatizadas e suporte a protocolos NFS, SMB e S3 nativos de alto desempenho para fazer implantações, gerenciamento e upgrades sem complicações.

Descubra como o FlashBlade ajuda a potencializar a computação de alto desempenho para essas três organizações inovadoras. >>