Wat is een neurale processor (NPU)?

Artificiële intelligentie en machine learning (AI/ML) zijn spannende technologieën die enorme beloften doen, maar we bereiken gezamenlijk de limiet van onze mogelijkheden om ze te bereiken. Over het algemeen benaderen onze AI-doelstellingen en ML-ambities snel de grenzen van wat daadwerkelijk mogelijk is. Als er een toekomst komt in AI en ML, zijn neurale verwerkingseenheden (NPU's) de sleutel.

Voor organisaties die AIAIworkloads op grote schaal serieus nemen, zal het begrijpen van wat een NPU is, hoe het functioneert en waartoe het in staat is, u helpen de juiste beslissing te nemen over het bouwen van uw pijplijnen. De juiste opslagoplossing is van cruciaal belang, aangezien de meesten de snelheid die NPU's bieden niet kunnen bijhouden.

Wat is een neurale processor?

Een neurale verwerkingseenheid is een gespecialiseerd stuk hardware dat is ontworpen met een focus op het versnellen van neurale netwerkberekeningen. Dankzij hun ontwerp verbeteren NPU's de snelheid en efficiëntie van AI-systemen drastisch. 

Vergis u niet van NPU's voor een geüpgraded stukje vertrouwde technologie: NPU's zijn een enorme sprong voorwaarts voor AI/ML-verwerking. Geoptimaliseerd voor het uitvoeren van de algoritmen die AI en ML mogelijk maken, zijn NPU's bijzonder efficiënt in taken zoals beeldherkenning en natuurlijke taalverwerking, waarvoor een snelle verwerking van enorme hoeveelheden multimediadata nodig is.

NPU's concurreren niet noodzakelijkerwijs met hun meer herkenbare tegenhangers, CPU's (centrale verwerkingseenheden) en GPU's (grafische verwerkingseenheden). In plaats daarvan zijn NPU's complementair aan hen en hun rollen. 

CPU's, zelfs de allerbeste, zijn nog steeds alleen universele computerengines. CPU's kunnen een breed scala aan taken uitvoeren, maar missen gespecialiseerde optimalisatie voor een aantal taken. GPU's zijn daarentegen gespecialiseerd in parallelle verwerking en ze zijn bijzonder goed in complexe berekeningen in graphics. Dankzij digital currency mining hebben GPU's een reputatie opgebouwd voor het verwerken van machine learning-workloads, maar hebben ze speciale circuits nodig om bijzonder effectief te zijn bij dergelijke taken.

Hoe werkt een neurale verwerkingseenheid?

NPU's zijn speciaal ontworpen om machine learning-algoritmen te verwerken. Hoewel GPU's zeer goed zijn in het verwerken van parallelle data, zijn NPU's speciaal gebouwd voor de berekeningen die nodig zijn om neurale netwerken te draaien die verantwoordelijk zijn voor AI/ML-processen.

Machine learning-algoritmen vormen de basis en de steiger waarop AI-applicaties worden gebouwd. Naarmate neurale netwerken en machine learning-berekeningen steeds complexer zijn geworden, is de behoefte aan een oplossing op maat ontstaan. 

NPU's versnellen Deep learning-algoritmen door veel van de specifieke activiteiten die neurale netwerken nodig hebben, native uit te voeren. In plaats van het kader te bouwen voor het uitvoeren van die activiteiten of het uitvoeren van omgevingen die die geavanceerde berekeningen mogelijk maken, zijn NPU's op maat gebouwd om AI/ML-activiteiten efficiënt uit te voeren. 

NPU's en hun ingebouwde capaciteit voor high-performance berekeningen hebben een drastische impact op de AI-prestaties. Matrixvermenigvuldigingen en -convoluties zijn gespecialiseerde taken waar AI-processen van afhankelijk zijn en waar NPU's uitblinken. Beeldherkenning en taalverwerking zijn de plaatsen waar NPU's de industrie momenteel transformeren, met snellere inferentietijden en een lager stroomverbruik, wat van invloed kan zijn op de bedrijfsresultaten.

Toepassingen van neurale verwerkingseenheden

De toepassing van neurale verwerkingseenheden strekt zich uit tot elke industrie of elk veld dat snelle, efficiënte, schaalbare verwerking van AI/ML-workloads nodig heeft. NPU's worden ingezet in natuurlijke taalverwerking voor sentimentanalyse, taalvertaling, tekstsamenvatting en chatbots. Bij gebruik in cybersecurity verwerken NPU's enorme hoeveelheden data en maken ze bedreigings-, anomalie- en inbraakdetectie mogelijk. NPU's zijn aanzienlijk beter in het ontleden van visuele data en worden gebruikt in autonome voertuigen en de gezondheidszorg - twee velden die snelle beeldanalyse vereisen.

De wereld van NPU's die voor ons openstaan is nog grotendeels onontdekt. Op consumentenniveau vervagen NPU's (die al grotendeels zijn geïntegreerd in smartphones en SoC) achtergronden in videogesprekken en genereren ze AIAIbeelden op elk gewenst moment. Maar de ware omvang van waar NPU's toe in staat zijn, moet nog worden onthuld.

Voordelen en beperkingen van neurale verwerkingseenheden

NPU's bieden snellere inferentiesnelheden en versnellen inferentietaken in Deep learning-modellen. Wanneer neurale netwerkberekeningen worden geoffload naar NPU's, wordt de latency verminderd en kan de gebruikerservaring worden verbeterd. NPU's worden steeds meer ingezet in edge- en IoT-apparaten dankzij hoeveel energiezuiniger ze zijn dan hun GPU- en CPU-tegenhangers.

Maar NPU's hebben een nadeel: Ze kunnen te snel zijn. Dataopslagsystemen die bestaan uit datalakes en datawarehouses zijn ontwikkeld als reactie op de harde, fysieke beperkingen van dataverwerkingssnelheden. De snelheid van NPU's kan traditionele opslagsystemen overweldigen.

Om op de juiste schaal te kunnen worden gebruikt, hebben NPU's een holistische opslagoplossing nodig die snel genoeg is om bij te blijven. Op bedrijfsniveau moet opslag speciaal zijn gebouwd voor AI. Neem bijvoorbeeld Pure Storage ® FlashBlade//S™, dat is ontworpen als een doorvoer-, gedeelde, geschaalde architectuur die in staat is om grootschalige AI/ML-pipelines te verwerken.

Er is ook AI-Ready Infrastructuur AIRI ® is ontworpen om het potentiële nadeel van de blistersnelheden van NPU's om te zetten in een bedrijfsmiddel. Het is een full-stack oplossing die de implementatie van AI vereenvoudigt en snel en efficiënt schaalt. 

Neurale verwerkingseenheden vs. grafische verwerkingseenheden

Zoals hierboven vermeld, verschillen NPU's en GPU's aanzienlijk in architectuur, prestaties en toepassingen. NPU's en GPU's zijn verschillende hardware, elk geoptimaliseerd voor waar het goed in is: NPU's voor AI/ML-taken en GPU's voor grafische rendering. 

Aangezien NPU's gespecialiseerde hardware zijn die speciaal is ontworpen om neurale netwerkberekeningen te versnellen, is hun architectuur op maat gemaakt voor Deep learning-taken. GPU's moeten daarentegen worden hergebruikt voor Deep learning-taken en zijn veel sterker in grafische rendering. GPU's hebben een gegeneraliseerde architectuur met duizenden cores. NPU's hebben een meer gestroomlijnd ontwerp met speciale hardware voor taken zoals matrixvermenigvuldigingen en convoluties. 

NPU's presteren meestal beter dan GPU's in realtime inferentietaken in edge-apparaten, waar lage latency en energie-efficiëntie cruciaal zijn. NPU's hebben ook de voorkeur in toepassingen die AI-verwerking op het apparaat vereisen - denk aan autonome voertuigen en IoT-apparaten. En NPU's versloegen GPU's voor AI-workloadsnelheden in omgevingen met beperkte resources.

Conclusie

In elk project is er een constante afweging tussen het hebben van de juiste tool voor elk onderdeel van de taak en de eenvoud van één gegeneraliseerde tool. Dat compromis is bijvoorbeeld de reden waarom amateurhoutarbeiders niet investeren in een cirkelzaag, een verstekzaag, een puzzel, een tafelzaag, een bandzaag, een roterende zaag en een kettingzaag totdat ze er een nodig hebben voor het project waaraan ze werken. Evenzo werd de AI/ML-wereld tot voor kort prima met GPU's.

Neurale verwerkingseenheden zijn krachtige, op maat gemaakte tools voor kunstmatige intelligentie en machine learning-algoritmen. NPU's zouden het gezicht van AI/ML-workloads zeer goed kunnen revolutioneren. En het is logisch dat meer netwerken en bedrijven erin investeren: AI en ML staan klaar om onze cultuur, technologieën en zelfs onze kunst te hervormen.

Om de volledige kracht en efficiëntie van NPU's op schaal te benutten, moet u zich opnieuw voorstellen wat er mogelijk is aan de opslagkant van het huis. Maar het is niet alleen een nieuwe kijk op wat er mogelijk is met AI/ML, maar u moet misschien ook uw opslag-, hybride of cloudnetwerken opnieuw vormgeven om ervoor te zorgen dat uw NPU's weliswaar enorme hoeveelheden data snel aan het aantrekken en verwerken zijn, maar dat u ook een opslagoplossing hebt die dit kan bijhouden.