O que é computação de alto desempenho?

Computação de alto desempenho (HPC, High Performance Computing) é a capacidade de executar cálculos de maneira sincronizada em um grande número de computadores em rede. A HPC permite a execução de cálculos grandes demais para computadores normais, agilizando as operações de grande porte. A HPC também é conhecida como supercomputação, e os computadores de alto desempenho são normalmente citados como supercomputadores.

A HPC é importante principalmente por causa da velocidade sem precedentes com que os dados são gerados hoje. Só os dispositivos de IoT devem produzir quase 80 zettabytes de dados até 2025. Uma única fábrica com dispositivos de IoT pode gerar centenas de terabytes de dados todos os dias. Não é possível processar um volume tão grande de dados em um só computador. A HPC, por sua vez, pode lidar com grandes conjuntos de dados dividindo operações entre vários computadores com a ajuda de recursos de software e rede.

Vamos analisar melhor a importância da HPC e como ela é usada.

Por que a HPC é importante?

A HPC possibilita a simulação ou a análise de volumes extremamente grandes de dados, o que seria impossível com computadores normais. Isso gera grandes avanços em campos como pesquisa científica, em que o uso da HPC promoveu inovações em diversos campos, desde tratamentos do câncer até vacinas contra a COVID-19. 

Como a HPC funciona?

Um único computador de alto desempenho é composto de um grupo de computadores chamado de cluster. Cada computador em um cluster é chamado de nó. Cada nó tem um sistema operacional composto de um processador com vários núcleos, armazenamento e recursos de rede que permitem aos nós se comunicarem entre si. Um cluster pequeno, por exemplo, pode ter 16 nós com 64 núcleos (ou quatro núcleos por processador) que, combinados com recursos de rede, permitem que o computador de alto desempenho faça cálculos com muito mais velocidade que um computador normal. 

Onde a HPC é usada?

Atualmente, a HPC é usada em diversos setores. No futuro, provavelmente quase todos os setores recorrerão à HPC para lidar com grandes volumes de dados. A adoção da HPC tem sido especialmente ampla em setores que precisa analisar rapidamente grandes conjuntos de dados, incluindo: 

• pesquisa científica;
• astronomia;
• aprendizado de máquina;
• cibersegurança;
• sequenciamento do genoma; 
• animação;
• dinâmica molecular;
• efeitos visuais;
• serviços financeiros;
• modelagem de riscos financeiros;
• análise de dados de mercado;
• desenvolvimento de produtos;
• design greenfield;
• química computacional;
• imagiologia sísmica;
• previsão do tempo;
• direção autônoma.

Quais fatores viabilizam a HPC?

Há quatro fatores principais que favorecem o uso da HPC:

Capacidade de processamento

Em poucas palavras, a largura de banda necessária para processar grandes volumes de dados não pode ser disponibilizada por um único processador. Em vez disso, em um modelo de HPC, vários centros de processamento funcionam em paralelo para entregar resultados. Vamos usar o seguinte modelo para retomar:

• O conjunto de computadores individuais ligados em rede é chamado de cluster;
• Cada unidade de processamento individual em um cluster é chamada de nó;
• Cada processador em um nó tem vários núcleos. 

O exemplo é um cluster com 16 nós, cada um com quatro núcleos: trata-se um cluster muito pequeno, representando um total de 64 núcleos operando em paralelo.

A maioria dos casos de uso de HPC envolve milhares de núcleos funcionando em paralelo para realizar processos específicos em menos tempo. Os provedores de infraestrutura como serviço (IaaS, Infrastructure-as-a-Service) permitem que os usuários usem grandes quantidades de nós quando necessário e reduzam a intensidade da carga de trabalho depois da conclusão da tarefa. Os usuários pagam apenas pela capacidade de processamento necessária, sem os custos de despesas de capital (CAPEX, Capital Expenditure) associados à instalação de uma infraestrutura. Com a IaaS, normalmente os usuários também podem atribuir layouts de nós a aplicativos específicos, se necessário.

Sistema operacional

Sistemas operacionais agem como uma interface entre o hardware e o software usados na HPC. Os dois sistemas operacionais principais usados em ambientes de HPC são o Linux e o Windows. O Linux é normalmente usado para HPC. Já o Windows é usado apenas quando aplicativos específicos do Windows são necessários. 

Rede

Na HPC, a rede conecta o hardware de computação, o armazenamento necessário e o usuário. O hardware de computação é conectado por meio de redes que conseguem lidar com uma grande largura de banda de dados. As redes também devem ter baixa latência para possibilitar transferências de dados rápidas. As transmissões de dados e o gerenciamento de clusters são administrados por gerenciadores de clusters, serviços de gerenciamento ou agendadores.

O gerenciador de cluster executa a carga de trabalho entre os recursos computacionais distribuídos, como CPUs, FPGAs, GPUs e unidades de disco. Todos os recursos precisam estar conectados à mesma rede para que o gerenciador de clusters possa administrar recursos. Ao usar os serviços de um provedor de IaaS, todos os recursos necessários para gerenciar a infraestrutura serão aplicados automaticamente pelo provedor.

Armazenamento

Por fim, os dados a serem processados pela HPC precisam ser armazenados em um grande repositório. Como os dados podem vir em diferentes formatos (estruturados, semiestruturados e não estruturados), podem ser necessários diferentes tipos de bancos de dados para armazená-los.

Os dados em seus formatos brutos são armazenados em um data lake. Pode ser difícil processar esses dados, pois eles ainda não têm um propósito associado. Os data warehouses armazenam os dados depois do processamento, assim que são limpos para atenderem ao seu propósito específico. 

Armazenamento: o elo perdido da HPC

Em muitos casos de uso de HPC, o armazenamento — uma peça essencial da arquitetura — costuma ser negligenciado. A HPC é usada quando uma grande quantidade de dados precisa ser processada em paralelo, mas seu desempenho depende da capacidade de todos os componentes na arquitetura estarem à altura da tarefa. 

Soluções de armazenamento legadas e tradicionais podem não conseguir lidar com as necessidades da HPC, criando gargalos e dificultando o desempenho. O armazenamento de dados precisa acompanhar a velocidade de processamento de todo o conjunto, e é por isso que muitas arquiteturas de HPC usam armazenamento unificado rápido de arquivos e objetos (UFFO, Unified Fast File and Object).

O Evergreen//One™ oferece armazenamento UFFO rápido e confiável com a conveniência do modelo de pagamento conforme o uso. Ele pode ser usado em modelos no local e na nuvem híbrida e é ideal para ambientes de HPC, que exigem a capacidade de dimensionar operações sem abrir mão do desempenho.

Comece a usar o Evergreen//One hoje mesmo. Os três primeiros meses do serviço são gratuitos para novos clientes.