Wat is high-performance computing?

High-performance computing (HPC) is de mogelijkheid om berekeningen gesynchroniseerd uit te voeren op een groot aantal netwerkcomputers. HPC maakt het mogelijk om berekeningen uit te voeren die te groot zijn voor gewone computers, waardoor de tijd die nodig is om grote bewerkingen uit te voeren wordt verkort. HPC wordt ook supercomputing genoemd, en krachtige computers worden gewoonlijk supercomputers genoemd.

HPC is vooral belangrijk gezien de ongekende snelheid waarmee data tegenwoordig worden gegenereerd. Naar verwachting zullen IoT-apparaten alleen al in 2025 bijna 80 zettabytes aan data produceren. Een enkele fabriek met IoT-apparaten kan dagelijks honderden terabytes aan data genereren. Zo'n enorme hoeveelheid data verwerken op een enkele computer is niet mogelijk. HPC daarentegen kan enorme datasets verwerken door bewerkingen te verdelen over meerdere computers met behulp van software en netwerkmogelijkheden.

Laten we eens nader bekijken waarom HPC belangrijk is en hoe het wordt gebruikt.

Waarom is HPC belangrijk?

HPC maakt de simulatie of analyse mogelijk van enorme hoeveelheden data die anders onmogelijk zouden zijn met standaardcomputers. Dit leidt dan weer tot grote vooruitgang op gebieden zoals wetenschappelijk onderzoek, waar het gebruik van HPC heeft geleid tot doorbraken in alles van kankerbehandelingen tot COVID-19 vaccins. 

Hoe werkt HPC?

Een enkele krachtige computer bestaat uit een groep computers die een cluster wordt genoemd. Elke computer in een cluster wordt een knooppunt genoemd. Elk knooppunt heeft een besturingssysteem dat bestaat uit een processor met meerdere kernen, opslag en netwerkmogelijkheden waarmee de knooppunten met elkaar kunnen communiceren. Een klein cluster kan bijvoorbeeld 16 knooppunten hebben met 64 kernen, of vier kernen per processor, waardoor de krachtige computer in combinatie met netwerkmogelijkheden veel sneller kan rekenen dan een normale computer. 

Waar wordt HPC gebruikt?

Momenteel wordt HPC gebruikt in een groot aantal industrieën. In de toekomst zullen bijna alle industrieën zich waarschijnlijk tot HPC wenden om grote hoeveelheden data te verwerken. HPC wordt vooral veel gebruikt in sectoren die snel grote datasets moeten analyseren, zoals de volgende:  

• Wetenschappelijk onderzoek
• Astronomie
• Machine learning
• Cybersecurity
• Genomische sequencing 
• Animatie
• Moleculaire dynamica
• Visuele effecten
• Financiële dienstverlening
• Modellering van financiële risico's
• Analyse van marktdata
• Productontwikkeling
• Greenfield-design
• Computationele chemie
• Seismische beeldvorming
• Weersvoorspelling
• Autonoom rijden

Welke factoren maken HPC mogelijk?

Er zijn met name vier factoren die het gebruik van HPC stimuleren:

Verwerkingskracht

Eenvoudig gezegd: de bandbreedte die nodig is om enorme hoeveelheden data te verwerken, kan niet worden geleverd door één enkele processor. In een HPC-model werken daarentegen meerdere verwerkingscentra parallel om resultaten te leveren. Bedenk dat binnen dit model:

• De verzameling individuele computers die in een netwerk zijn opgenomen, een cluster worden genoemd.
• Elke individuele verwerkingseenheid in het cluster een knooppunt wordt genoemd.
• Elke processor in een knooppunt meerdere kernen zal hebben. 

Een cluster met 16 knooppunten met elk vier kernen is bijvoorbeeld een zeer klein cluster, met in totaal 64 kernen die parallel werken.

In de meeste HPC-gebruiksgevallen werken tegenwoordig duizenden kernen parallel om bepaalde processen in een kortere tijd af te werken. Infrastructure-as-a-service (IaaS)-providers bieden gebruikers de mogelijkheid om grote aantallen knooppunten te gebruiken wanneer dat nodig is en de workload af te bouwen wanneer de behoefte is vervuld. Gebruikers betalen alleen voor de benodigde verwerkingskracht, zonder de kapitaaluitgaven (CAPEX) die gepaard gaan met de aanleg van infrastructuur. Met IaaS hebben gebruikers ook de mogelijkheid om desgewenst knooppuntindelingen voor te schrijven voor specifieke toepassingen.

Besturingssysteem

Besturingssystemen vormen de interface tussen de hardware en de software die in HPC wordt gebruikt. De twee belangrijkste besturingssystemen die in HPC-omgevingen worden gebruikt zijn Linux en Windows. Linux wordt over het algemeen gebruikt voor HPC, terwijl Windows alleen wordt gebruikt wanneer Windows-specifieke toepassingen vereist zijn. 

Netwerk

In HPC verbindt het netwerk de computerhardware, de vereiste opslag en de gebruiker. De computerhardware is verbonden via netwerken die een grote bandbreedte aan data aankunnen. De netwerken moeten ook een lage latentie hebben om een snellere data-overdracht mogelijk te maken. Data-overdracht en het beheer van clusters worden afgehandeld door clusterbeheerders, beheersdiensten of schedulers. 

De clusterbeheerder verdeelt de werklast over de gedistribueerde computermiddelen, zoals CPU's, FPGA's, GPU's en disk drives. Alle middelen moeten op hetzelfde netwerk zijn aangesloten zodat de clustermanager de middelen kan beheren. Bij gebruik van de diensten van een IaaS-provider worden alle voorzieningen die nodig zijn voor het beheer van de infrastructuur automatisch door de provider toegepast.

Storage

Ten slotte moeten de door HPC te verwerken data worden opgeslagen in een grote dataopslagplaats. Aangezien die data verschillende vormen kunnen aannemen - gestructureerde, semigestructureerde en ongestructureerde - kunnen verschillende soorten databanken nodig zijn om de data op te slaan.

Data in hun ruwe formaat(en) worden opgeslagen in een data lake. Het kan moeilijk zijn deze data te verwerken omdat er nog geen doel aan is toegekend. Data warehouses slaan data op nadat ze zijn opgeschoond voor een specifiek doel. 

Storage: De ontbrekende schakel in HPC

In veel HPC-gebruiksgevallen wordt opslag - een cruciaal onderdeel van de architectuur - vaak over het hoofd gezien. HPC wordt gebruikt wanneer een enorme hoeveelheid data parallel moet worden verwerkt, maar de prestaties zijn afhankelijk van de vraag of alle componenten in de architectuur elkaar kunnen bijhouden. 

Traditionele legacy-opslagoplossingen kunnen niet voldoen aan de behoeften van HPC, waardoor knelpunten in het proces ontstaan en de prestaties mogelijk worden belemmerd. De gegevensopslag moet de snelheid van de verwerkingskracht van de opstelling kunnen bijhouden, en daarom wordt in veel HPC-architecturen gebruik gemaakt van  unified fast file- en object (UFFO) -opslag.

Evergreen//One™ biedt snelle en betrouwbare UFFO-opslag met het gemak van het pay-as-you-go (PaYG)-model. Het kan worden gebruikt in on-premises- en hybride-cloud-modellen en is ideaal voor HPC-omgevingen, die de mogelijkheid nodig hebben om operaties te schalen zonder de prestaties in gevaar te brengen.

Begin vandaag nog met Evergreen//One. Nieuwe klanten krijgen de eerste drie maanden gratis.