HPC 스토리지란? 확실한 가이드

고성능 컴퓨팅(HPC) 스토리지는 HPC 프로젝트에 필요한 고속 데이터 액세스와 저지연 네트워킹으로 구성됩니다. HPC는 복잡한 작업을 병렬로 수행하기 위해 클러스터링되고 연결된 컴퓨터와 슈퍼컴퓨터를 사용하는 것입니다. 

그러나 HPC를 크게 만드는 것은 단순한 컴퓨팅 속도 그 이상입니다. HPC는 엑사바이트 규모의 방대한 데이터 세트를 분석하여 수많은 현대적 혁신에 대한 책임을 집니다. 이러한 복잡한 작업을 수행하기 위해 HPC 환경은 HPC 클러스터를 위한 현대적인 스토리지 솔루션을 요구합니다. 

또한 인공지능(AI)과 HPC가 융합됨에 따라, 기존 기업들은 AI를 수용하면서 HPC를 이해하고 설계함으로써 더 많은 혜택을 누릴 수 있습니다. 일부 비즈니스 리더들은 기존 HPC 팀을 포기하고, 자체적으로 또는 시스템 통합 파트너를 통해 배포하는 보다 안정적이고 민첩한 컨버지드 AI 인프라를 선호하기도 합니다.

스토리지에 대한 HPC의 요구와 이를 지원하기 위해 엔터프라이즈 인프라를 설계하는 방법에 대해 자세히 알아보겠습니다.

HPC는 고급 컴퓨팅 시스템(예: 슈퍼컴퓨터 또는 고성능 컴퓨터 클러스터)을 사용하여 복잡한 작업을 병렬로 처리하는 것으로, 일반적으로 과학 연구, 엔지니어링, 제조 및 컴퓨터 과학과 같은 분야에서 사용됩니다. HPC는 과학적 시뮬레이션, 모델링, 검증 및 생성 AI를 지원하여 연구원과 전문가들이 대규모 데이터 세트를 분석하고 복잡한 문제를 효율적으로 파악할 수 있도록 지원합니다. 

스코프는 한 측면이며, 다른 측면은 속도입니다. 그리고 이러한 시스템 아래의 데이터 인프라가 빠를수록 계산이 빨라집니다.

Mercedes-AMG Petronas F1 팀이 고성능 컴퓨팅 그리드를 사용하여 윈드 터널 시뮬레이션을 프로토타입으로 전환하는 방법을 알아보세요.>>

다양한 활용 사례에 맞는 다양한 유형의 고성능 컴퓨팅이 있습니다. 공통점은 다음과 같습니다. 방대한 양의 데이터를 생성하고 처리합니다. 가장 일반적인 유형의 고성능 컴퓨팅은 컴퓨터가 함께 작동하는 방식과 컴퓨터가 함께 작동하는 방식에 의해 정의되며, 여기에는 다음이 포함됩니다.

• 슈퍼컴퓨팅: 과학 시뮬레이션, 기후 모델링, 디지털 트윈, 증강 또는 가상 현실 환경 및 고급 연구에 자주 사용되는 집중적인 수치 계산을 위해 설계되었습니다.
• 클러스터 컴퓨팅: 여러 기계에 분산된 작업에서 병렬로 작동하는 네트워크 컴퓨터로, 학술 및 연구 기관에서 주로 사용됩니다. 고성능 컴퓨팅(HPC) 클러스터는 병렬 처리를 위해 설계된 상호 연결된 고성능 컴퓨터 모음으로, 과학 및 엔지니어링 응용 분야에서 주로 사용됩니다.
• 분산 컴퓨팅: 시스템을 사용하지 않을 때 컴퓨터를 사용할 수 있도록 자원봉사자가 다운로드하는 소프트웨어 덕분에 시스템을 사용하지 않을 때 네트워크를 통해 연결된 여러 컴퓨터를 활용할 수 있습니다. Folding@home과 같은 HPC 프로젝트는 이러한 시스템을 활용합니다. 
• 클라우드 컴퓨팅: 원격 서버는 데이터를 저장, 관리 및 처리하여 다양한 애플리케이션에 확장 가능한 컴퓨팅 리소스를 제공합니다. 클라우드 기반 HPC 솔루션은 고성능 컴퓨팅 리소스에 대한 온디맨드 액세스를 제공하여 사용자가 대규모의 초기 투자 없이 컴퓨팅 성능에 액세스할 수 있도록 합니다.
• 양자 컴퓨팅: 여전히 새로운 연구 분야이며 엔터프라이즈에서 거의 사용되지 않지만 양자 컴퓨팅은 기존 컴퓨터보다 더 빠르게 복잡한 문제를 해결하기 위해 대규모로 계산을 수행할 수 있습니다.
• 가속 컴퓨팅: 그래픽 처리 장치(GPU) 및 신경 처리 장치(NPU)와 같은 특수 하드웨어 가속기를 사용하여 특히 AI와 관련된 작업과 디지털 트윈 및 옴니버스와 같은 실제 시뮬레이션에서 컴퓨팅 성능을 향상합니다. 

Folding@home이 플래시블레이드(FlashBlade) ®에서 슈퍼컴퓨팅 파워하우스를 어떻게 실행하는지 알아보세요.>>

예, 아니요. AI 프로젝트는 거의 항상 HPC 리소스를 활용하지만, 대부분의 HPC 프로젝트는 AI와 관련되지 않습니다.

기업들이 새로운 AI 프로젝트를 지원하기 위해 IT 인프라를 재설계하려고 할 때, HPC 인프라는 범위와 규모가 유사하기 때문에 AI 인프라의 모델로 간주되는 경우가 많습니다. HPC는 많은 기업들이 이러한 범위의 프로젝트, GPU, 칩 및 컴퓨팅 성능 등의 특수 하드웨어를 위해 설계된 데이터센터를 구축하는 것과 비슷합니다. 그러나 이 두 가지는 동의어가 아닙니다.

AI 프로젝트는 HPC와 유사하게 데이터 변환 및 모델 트레이닝 중에 많은 컴퓨팅 성능, 하드웨어 가속기 및 병렬 처리 아키텍처와 클러스터 컴퓨팅이 필요합니다. 또한 HPC를 포함한 다양한 기술과 방법도 활용합니다. (그 밖에 딥러닝, 컴퓨터 비전, 머신러닝 및 자연어 처리가 포함됩니다.) 

HPC는 AI를 지원할 수 있지만, 더 광범위합니다. AI는 의사결정, 패턴 인식 및 언어 처리(생성형 AI와 유사)에 도움이 되는 모델과 알고리즘에 초점을 맞추고 있지만, HPC 프로젝트는 과학, 시뮬레이션, 연구, 엔지니어링, 데이터 분석 및 수치 모델링을 포함한 AI 이상의 광범위한 작업에 적용될 수 있습니다.

또한 데이터 처리 방식도 다릅니다. AI는 모델을 트레이닝하는 데 필요한 대규모 데이터 세트와 함께 작동합니다. HPC는 대규모 데이터 세트를 처리할 수 있고 처리하지만, HPC가 수행하는 컴퓨팅에 더 중점을 둡니다. 

“HPC는 엔터프라이즈 IT 분야에 종사한 적이 거의 없으며, 일반적으로 학계와 연구 범위 내에 머물렀습니다. 대부분의 기업들은 HPC에 얽매이지 않았지만, HPC가 있는 기업들도 다른 워크플로우와 섞이지 않습니다. 사일로처럼 취급되고 다른 짐승으로 관리됩니다.” - 게스탈트 IT 팟캐스트

클라우드 컴퓨팅은 HPC와 동일할까요?

아니요, 클라우드 컴퓨팅은 HPC와 동의어가 아닙니다. 위에서 언급한 바와 같이 클라우드 컴퓨팅은 HPC 프로젝트에 활용할 수 있는 리소스를 제공하는 “방법”에 불과합니다. 일반적으로 클라우드 컴퓨팅은 서비스 및 인프라가 호스팅 및 제공되는 방식을 정의하는 개념이며, 여기에는 HPC가 포함될 수 있습니다.

HPC에 의존하는 산업은 무엇입니까?

앞서 언급했듯이, HPC 그리드와 HPC 스토리지 환경을 활용할 가능성이 가장 높은 조직은 과학 연구, 환경 과학, 기상 예보, 항공우주 및 자동차 엔지니어링, 금융 서비스, 석유 및 가스, 제조 및 유전체학 연구와 제약 테스트를 포함한 헬스케어 분야입니다.

HPC는 이러한 분야로 제한되지 않으며 복잡한 계산을 수행하고, 데이터 중심 시뮬레이션을 실행하고, 고해상도 그래픽, 애니메이션 및 시각 효과를 처리하거나 빅데이터 분석 수행해야 하는 모든 기업에 도움이 될 수 있습니다.

HPC 환경에는 일반적으로 컴퓨터 프로세서, 네트워킹 및 스토리지의 세 가지 핵심 구성 요소가 있습니다. HPC 프로젝트의 핵심 요구 사항은 데이터에 대한 빠른 액세스로, 스토리지는 이러한 환경의 성공에 중요한 구성 요소입니다. 

HPC 환경은 속도와 확장성으로 운영하기 위해 고온 및 저온 계층과 고가용성 메타데이터 서버를 갖춘 현대적인 파일 시스템 아키텍처가 필요합니다. NVMe와 오브젝트 스토리지를 통합하면 HPC 시스템은 낮은 지연 시간과 높은 대역폭으로 현대적인 워크로드 요구를 충족할 수 있습니다.

HPC 데이터 스토리지는 CPU, 메모리 및 스토리지 컨트롤러에서 데이터를 빠르고 효율적으로 오프로드하여 CPU가 중단 없이 계속 처리할 수 있도록 합니다. 또한 HPC 시스템용 데이터 플랫폼은 노드에 가깝게 유지되고 노드가 액세스할 수 있도록 계층화되어야 합니다.

HPC 스토리지 아키텍처: 병렬 처리, 클러스터링 및 고속 인터커넥트

고성능 컴퓨팅에는 업무 수행 방법을 설명하는 세 가지 핵심 개념이 있습니다.

• 병렬 처리: 컴퓨터(또는 노드)가 함께 작동하여 작업을 수행하는 방법을 설명합니다. HPC에서 큰 문제는 작은 작업으로 나누어 여러 프로세서 또는 컴퓨팅 코어로 한 번에 해결할 수 있습니다. HPC는 대규모 데이터 세트와 컴퓨팅을 매우 빠르게 처리할 수 있습니다. 프로세서가 독립적으로 작업을 처리할 수 있으며, 프로세서가 단일 작업에서 협업할 수 있습니다. 그러나 이들은 분할하고 정복합니다. 병렬로 발생하는 것이 핵심입니다.
• 클러스터링: 클러스터링은 HPC가 활용하는 아키텍처로, 여러 노드가 하나로 함께 작동하여 병렬 작업을 대규모로 수행할 수 있습니다. HPC 환경에 안정성을 구축하는 방법이기도 합니다. 노드는 네트워크에 의해 통합된 단일 시스템으로 연결되기 때문에, 네트워크의 한 노드에 장애가 발생하더라도 작업을 분할하여 수행할 수 있습니다. 여기에는 소프트웨어가 사용 가능한 클러스터 리소스를 관리하고 가장 적합한 클러스터에 작업을 지능적으로 위임하는 오케스트레이션 및 스케줄링이 포함됩니다. 
• 고속 인터커넥트: 이는 클러스터의 노드 간 통신을 설명하며, 이러한 링크(예: 고속 이더넷)는 HPC의 협업 역량과 속도의 근간입니다. 고속 인터커넥트를 통해 클러스터의 컴퓨터 간에, 그리고 스토리지 노드와 컴퓨트 노드 간에 빠르고 효율적으로 통신 및 병렬 처리를 수행할 수 있습니다.

HPC 스토리지에서 찾아볼 수 있는 기능

스토리지는 애플리케이션, 빅데이터 및 HPC 시대에 점점 더 중요해지고 있습니다. 모든 동시성 측면에서 업계 최고의 성능을 제공하면서 고급 애플리케이션을 지원하는 새롭고 혁신적인 아키텍처가 필요합니다. IOPS, 처리량, 지연 시간 및 용량. HPC 스토리지는 다음과 같은 이점을 제공합니다.

• 페타바이트 규모의 데이터 세트에 올플래시 성능을 제공할 수 있는 탄력적인 스케일-아웃 시스템을 갖춘 플래시 스토리지 솔루션으로, 빅데이터 분석에 이상적입니다.
• 다수의 노드가 스토리지에 동시에 액세스하면서 동시 읽기/쓰기 작업을 지원하는 대규모 수평 확장
• 스토리지 아키텍트를 위한 효율성 및 간소성
• 고속 데이터 액세스. 스토리지는 빠르고 빈번한 요청을 처리할 수 있어야 합니다.
• 이중화 및 내결함성
• 낮은 레이턴시 액세스를 위한 NVMe
• 클라우드 네이티브 애플리케이션 요구 사항을 충족하고 간소화하는 오브젝트 스토리지

압축 및 중복 제거를 지원하는 데이터 절감과 같은 고급 데이터 관리 도구

HPC 스토리지와 클라우드 스토리지가 모두 데이터를 관리하지만, 주요 차이점이 있습니다.

• 클라우드는 일반적이며 HPC는 특정입니다. HPC 스토리지는 효율적인 병렬 처리 및 신속한 데이터 액세스에 최적화된 고성능 컴퓨팅 애플리케이션에 맞게 설계되었습니다. 클라우드 스토리지는 광범위한 애플리케이션(HPC 포함)을 위한 서비스형 일반 스토리지를 제공합니다.
• 클라우드는 운영 모델입니다. 클라우드 스토리지는 데이터를 원격으로 저장하고 관리하기 위한 서비스 모델입니다. 
• HPC는 성능에 맞게 조정되었습니다. 클라우드 스토리지 서비스는 최적의 성능을 위해 필요한 세분화된 맞춤화 프로젝트의 양을 제한할 수 있습니다. HPC 스토리지는 속도와 액세스에 최적화될 것이며, 클라우드는 유연성과 확장성을 더 선호합니다.
• 클라우드 스토리지 비용 모델은 더 많은 스토리지 공간이 필요하지 않더라도 더 많은 성능을 얻기 위해 더 많은 용량을 구매하도록 합니다.

대학 및 연구 센터의 HPC 워크로드는 클라우드로 이동하고 있지만, 상용 및 엔터프라이즈 HPC 워크로드는 여전히 온프레미스에 있는 경향이 있습니다. 그러나, 클라우드 기반 HPC 워크로드의 경우 총 소유 비용(TCO)이 높으며, HPC 데이터 세트를 온프레미스로 이전하거나 다른 클라우드 공급업체로 이전하는 것도 비용이 많이 듭니다.

고성능 컴퓨팅은 이미 복잡하고 도전적이기 때문에, 이를 지원하는 데 필요한 스토리지 환경도 놀랍지 않습니다. 복잡한 워크로드, 엑사바이트 범위의 높은 데이터 볼륨, 데이터 보안 요구 사항, 통합 및 데이터 계층화는 모두 HPC를 복잡한 비즈니스로 이동시킵니다. 그러나, 퓨어스토리지 ® 플래시블레이드(FlashBlade)와 같이 강력한 기능과 사용 편의성을 모두 제공하는 솔루션은 병목 현상이나 지연 없이 이러한 복잡성을 처리하고 상쇄할 수 있습니다.

모든 워크로드가 HPC 문제에 맞게 특별히 조정된 스토리지를 필요로 하지 않기 때문에 HPC 스토리지가 모든 시스템 또는 네트워크에 대해 항상 가장 비용 효율적인 솔루션은 아닐 수 있습니다. 그러나, AI와 같은 워크로드가 엔터프라이즈에서 흔해짐에 따라 HPC 스토리지에 요구되는 동일한 성능과 확장성이 결국에는 보편적으로 더 유익해질 수 있습니다.

HPC 스토리지는 대규모 컴퓨팅 작업, 시뮬레이션 및 데이터 집약적 애플리케이션의 고유한 요구 사항을 충족하기 위한 것이지만, 모든 워크로드가 이러한 속도와 확장성을 필요로 하는 것은 아니며, 다른 고유한 요구 사항이 있을 수 있습니다. 장단점을 고려하는 것이 중요하지만, 일반적으로 HPC 스토리지는 다음과 같은 경우에 적합합니다.

• 방대한 데이터 세트 및 복잡한 워크로드
• 병렬 처리 및 신속한 데이터 액세스를 지원하는 성능
• 예상 데이터 증가
• 컴퓨팅 클러스터와의 긴밀한 통합

플래시블레이드(FlashBlade)는 포춘지 선정 100대 기업의 25% 이상이 단순성, 민첩성 및 다음과 같은 기능을 갖추고 있습니다.

• GPU와 CPU의 활용도를 극대화하세요.
• 다차원적 성능을 저하시키지 않으면서 높은 동시성 및 낮은 지연 시간으로 대용량 IOPS, 처리량을 가속화하세요.
• 최대 성능과 풍부한 데이터 서비스로 수백억 개의 파일과 오브젝트를 지원합니다.
• 자동화된 API와 고성능 네이티브 NFS , SMB 및 S3 프로토콜 지원을 활용하여 구축, 관리 및 업그레이드가 번거롭지 않게 진행됩니다.

플래시블레이드(FlashBlade)가 이 세 개의 혁신적인 조직을 위한 고성능 컴퓨팅을 지원하는 방법을 알아보세요.>>