고성능 컴퓨팅이란?

고성능 컴퓨팅(HPC)은 네트워크로 연결된 다수의 컴퓨터에서 동기화된 방식으로 계산을 실행할 수 있는 기능입니다. HPC를 사용하면 일반 컴퓨터로는 할 수 없는 대규모 계산을 실행할 수 있기 때문에, 대규모 작업을 완료하는 데 걸리는 시간을 단축시킬 수 있습니다. HPC는 슈퍼컴퓨팅이라고도 하며, 고성능 컴퓨터는 일반적으로 슈퍼컴퓨터라 불립니다.

HPC는 유례없는 속도로 데이터가 생성되는 오늘날의 환경에서 특히 중요합니다. 2025년까지 약 80제타바이트의 데이터가 사물인터넷(IoT) 기기들만으로 생성될 것으로 예상됩니다. IoT 장치를 사용하는 하나의 공장에서 매일 수백 테라바이트의 데이터가 생성될 수 있습니다. 컴퓨터 한 대로 이렇게 방대한 양의 데이터를 처리하는 것은 불가능합니다. 반면, HPC는 소프트웨어와 네트워크 기능을 활용해 여러 컴퓨터 간에 작업을 분할하여 거대한 데이터 세트를 처리할 수 있습니다.

HPC가 왜 중요한지, 그리고 어떻게 사용되는지 자세히 살펴보겠습니다.

HPC가 왜 중요할까요?

HPC를 사용하면 일반 컴퓨터로는 처리가 어려운 방대한 양의 데이터를 시뮬레이션 하거나 분석할 수 있습니다. HPC는 암 치료, 코로나19 백신 개발 등 과학 연구를 비롯한 모든 분야에서 획기적인 발전을 추진해 왔습니다. 

HPC는 어떤 원리로 작동될까요?

단일 고성능 컴퓨터는 ‘클러스터’라고 하는 컴퓨터들로 구성됩니다. 클러스터 내 각각의 컴퓨터는 ‘노드’라고 불립니다. 노드가 서로 통신할 수 있도록 각 노드에는 멀티 코어, 스토리지, 네트워킹 기능을 갖춘 프로세서로 구성된 운영 체제가 있습니다. 예를 들어, 작은 규모의 클러스터에는 64개의 코어가 있는 16개의 노드, 즉 프로세서당 4개의 코어가 있을 수 있으며, 네트워킹 기능과 결합되어 고성능 컴퓨터는 일반 컴퓨터보다 훨씬 빠르게 계산할 수 있습니다. 

HPC는 어디에 사용될까요?

현재 HPC는 다양한 산업에서 사용되고 있습니다. 앞으로는 거의 모든 산업이 대용량 데이터를 처리하기 위해 HPC로 전환할 것입니다. HPC의 도입은 대규모 데이터 세트를 신속하게 분석해야 하는 다음과 같은 업계에서 특히 두각을 보이고 있습니다.  

• 과학 연구
• 천문학
• 머신러닝
• 사이버 보안
• 유전자 시퀀싱 
• 애니메이션
• 분자 역학
• 시각 효과
• 금융 서비스
• 재무 위험 모델링
• 시장 데이터 분석
• 제품 개발
• 새로운 환경 디자인
• 전산화학
• 지진 영상
• 일기 예보
• 자율주행

HPC를 가능하게 하는 요인은 무엇일까요?

HPC의 사용을 추진하는 4가지 요인이 있습니다.

처리 능력

단순하게 말하면, 단일 프로세서는 방대한 양의 데이터 처리에 필요한 대역폭을 제공할 수 없습니다. 따라서 HPC 모델에서는 여러 처리 센터가 병렬로 작동하여 결과를 제공합니다. 앞서 말한 것처럼, 이 모델에서는:

• 클러스터: 네트워크로 함께 연결된 개별 컴퓨터들의 모음
• 노드: 클러스터의 처리 장치
• 노드의 각 프로세서는 여러 개의 코어로 이루어져 있음

예를 들어, 각각 4개의 코어로 이뤄진 16개의 노드가 있는 클러스터는 총 64개의 코어가 병렬로 작동하는 매우 작은 규모의 클러스터입니다.

오늘날 대부분의 HPC 사용 사례에는 더 짧은 시간에 정해진 프로세스를 완료할 수 있도록 수천 개의 코어가 병렬로 작동합니다. 서비스형 인프라(IaaS) 제공업체는 사용자가 필요로 할 때 많은 수의 노드를 활용하고, 요구사항이 완료되면 워크로드를 줄일 수 있는 기능을 제공합니다. 사용자는 인프라 구축과 관련된 자본 지출(CAPEX) 없이 필요한 처리 능력에 대해서만 비용을 지불합니다. 사용자는 IaaS를 통해, 필요한 경우 특정 애플리케이션에 대한 노드 레이아웃을 지정할 수 있습니다.

운영체제

운영 체제는 HPC에서 사용되는 하드웨어와 소프트웨어 간의 인터페이스 역할을 합니다. HPC 환경에서 사용되는 두 가지 주요 운영 체제는 Linux와 Windows입니다. Linux는 일반적으로 HPC에 사용되는 반면, Windows는 Windows 전용 애플리케이션이 필요한 경우에만 사용됩니다. 

네트워크

HPC에서 네트워크는 컴퓨팅 하드웨어, 스토리지 및 사용자를 연결합니다. 컴퓨팅 하드웨어는 대용량 데이터를 처리할 수 있는 네트워크를 통해 연결됩니다. 또한, 네트워크는 빠른 데이터 전송을 지원할 수 있도록 낮은 레이턴시를 보유해야 합니다. 데이터 전송과 클러스터 관리는 클러스터 관리자, 관리 서비스 또는 스케줄러에 의해 처리됩니다. 

클러스터 관리자는 CPU, FPGA, GPU, 디스크 드라이브와 같이 분산된 계산 리소스 간에 워크로드를 실행합니다. 클러스터 관리자가 리소스를 관리하려면, 모든 리소스가 동일한 네트워크에 연결되어 있어야 합니다. IaaS 제공업체의 서비스를 이용하는 경우, 제공업체가 인프라 관리에 필요한 모든 설비를 자동으로 적용합니다.

스토리지

마지막으로, HPC가 처리할 데이터는 대용량 데이터 저장소에 저장되어야 합니다. 데이터는 정형 데이터, 반정형 데이터, 비정형 데이터 등 다양한 형태를 취할 수 있으므로, 데이터를 저장하는 데 다양한 유형의 데이터베이스가 필요할 수 있습니다.

원시 포맷의 데이터는 데이터 레이크에 저장됩니다. 이러한 데이터는 아직 목적이 할당되지 않은 관계로 처리가 어려울 수 있습니다. 데이터 웨어하우스 는 데이터가 특정 목적에 맞게 정리된 후 처리, 저장합니다. 

스토리지: HPC가 간과하는 부분

다수의 HPC 사용 사례에서, 아키텍처의 중요한 부분을 차지하는 스토리지를 종종 간과합니다. HPC는 방대한 양의 데이터를 병렬로 처리해야 할 때 사용되지만, 그 성능은 아키텍처의 모든 구성 요소가 서로 보조를 맞춰갈 수 있는지 여부에 달려 있습니다. 

기존의 레거시 스토리지 솔루션은 HPC의 요구사항을 처리할 수 없기 때문에, 프로세스에 병목 현상이 발생하고 잠재적으로 성능이 저하될 수 있습니다. 데이터 스토리지는 설정 처리 속도를 따라갈 수 있어야 합니다. 많은 HPC 아키텍처가 초고속 통합 파일 및 오브젝트(UFFO)  스토리지를 사용하는 이유도 이 때문입니다.

에버그린//원(Evergreen//One™)은 사용량 기반 과금 모델의 편리함과 함께 빠르고 안정적인 UFFO 스토리지를 제공합니다. 온프레미스 및 하이브리드 클라우드 모델에서 사용할 수 있으며, 성능 저하 없이 운영을 확장할 수 있는 역량이 필요한 HPC 환경에 이상적입니다.

지금 에버그린//원(Evergreen//One)을 사용해 보세요. 신규 고객은 처음 3개월 동안 서비스를 무료로 이용할 수 있습니다.