Qu’est-ce que le NVMe ? Le guide complet de la technologie Non-Volatile Memory Express

Depuis plus de dix ans, les protocoles de stockage conçus pour les disques mécaniques limitent les performances de la mémoire flash. Alors que les SSD fournissent du matériel compatible avec la microseconde, les protocoles traditionnels comme SATA et SAS ajoutent des centaines de microsecondes de latence inutile grâce à leurs architectures à file d’attente unique et à leurs couches de traduction de protocole, basées sur des références sectorielles et des déploiements réels.

NVMe (Non-Volatile Memory Express) est un protocole de stockage spécialement conçu pour les disques de stockage flash qui se connecte directement via l’interface PCIe, éliminant ainsi les goulets d’étranglement des protocoles de l’ère des disques. Au lieu d’acheminer des commandes via une seule file d’attente comme SATA, NVMe permet jusqu’à 64 000 files d’attente avec 64 000 commandes chacune, ce qui modifie radicalement la façon dont le stockage communique avec les processeurs multicœur modernes.

Mais ce qui manque le plus souvent, c’est que le simple fait d’ajouter des disques NVMe ne suffit pas si votre système se traduit toujours entre les protocoles, en convertissant NVMe en SCSI et en revenant à différents points du chemin de données.

Ce guide examine l’architecture NVMe, quantifie ses avantages en termes de performances réelles et explique pourquoi la mise en œuvre NVMe de bout en bout est importante.

Comment NVMe a révolutionné l’architecture de stockage

Pendant deux décennies, les protocoles de stockage ont été conçus autour des limitations mécaniques. SATA et SAS ont supposé que les périphériques de stockage avaient besoin de temps pour rechercher physiquement des données, créant ainsi des frais généraux de commande qui avaient du sens lorsque les plateaux de disques devaient tourner en position. Ces protocoles envoient toutes les commandes dans une seule file d’attente, ce qui est adapté aux recherches mécaniques, mais catastrophique pour la mémoire flash capable de répondre à la microseconde.

La discordance des protocoles devient claire dans les chiffres. SAS prend en charge jusqu’à 256 commandes (selon la spécification SAS-3) dans sa seule file d’attente, tandis que les SSD d’entreprise gèrent des milliers d’opérations simultanées. Ces protocoles hérités nécessitent plusieurs couches de traduction : les applications envoient des commandes NVMe qui sont traduites en SCSI, puis en SATA ou SAS, puis éventuellement en NVMe au niveau du disque. Chaque traduction ajoute 50 à 200 microsecondes de latence.

Pourquoi la technologie flash avait-elle besoin de son propre protocole ?

Le NVMe est apparu en 2011 pour éliminer les pénalités de traduction. Plutôt que de moderniser les protocoles de disques, le consortium NVM Express a conçu un protocole qui ne suppose aucun composant mécanique. Le NVMe rationalise l’ensemble de commandes, éliminant ainsi les coûts d’analyse tout en conservant toutes les fonctionnalités.

Le protocole connecte le stockage directement aux processeurs via des voies PCIe, la même interface haute vitesse que celle utilisée pour les cartes graphiques. Cela positionne le stockage comme un homologue à d’autres composants haute performance plutôt que de le reléguer derrière des couches de traduction. Avec une bande passante de 64GB/s offerte par PCIe Gen 4, le NVMe permet à la mémoire flash de fonctionner sans contraintes.

Fonctionnement de la technologie NVMe : Architecture et composants

L’architecture NVMe repense fondamentalement la communication de stockage. Au lieu des adaptateurs de bus hôte traditionnels, le stockage NVMe apparaît au processeur comme I/O mappées en mémoire, ce qui permet un accès direct sans frais de noyau pour les opérations critiques.

Architecture de file d’attente et optimisation du processeur

Les processeurs modernes contiennent des dizaines de cœurs, mais les protocoles de stockage traditionnels les canalisent tous dans une seule file d’attente I/O. NVMe attribue des paires de files d’attente dédiées à chaque cœur de processeur, ce qui élimine les conflits de verrouillage et permet un véritable traitement parallèle.

Lorsqu’une application a besoin de données, elle place des commandes dans les files d’attente de soumission via de simples écritures en mémoire, sans qu’aucun appel système ne soit nécessaire. Le contrôleur NVMe traite les commandes indépendamment et place les résultats dans des files d’attente complètes. Avec ce modèle asynchrone, les processeurs ne passent pratiquement aucun cycle à attendre le stockage.

Voies PCIe et bande passante

Les périphériques NVMe se connectent via des voies PCIe, chaque voie fournissant une bande passante bidirectionnelle. Un SSD NVMe classique utilise quatre voies PCIe, offrant jusqu’à 8GB/s avec PCIe Gen 4. Les baies d’entreprise agrègent plusieurs périphériques pour un débit encore plus élevé.

Mais la bande passante seule ne détermine pas les performances. La latence, c’est-à-dire le délai entre la demande et la réponse, est souvent plus importante pour les charges de travail transactionnelles. La connexion PCIe directe de NVMe élimine les transitions de bus et les conversions de protocoles qui pèsent sur les implémentations SATA.

Avantages des performances NVMe : Chiffres réels, pas marketing

Le marketing du secteur du stockage fait souvent des allégations vagues comme « ultrarapide » ou « ultra-réactif ». Cependant, le NVMe offre de véritables avantages.

Selon les tests du secteur et les spécifications des fournisseurs, les lectures flash NAND brutes prennent environ 100 microsecondes. Cependant, les SSD SATA offrent généralement des latences totales de 100 à 200 microsecondes, tandis que les SSD NVMe atteignent 20 à 100 microsecondes, ce qui montre comment les frais généraux du protocole peuvent être égaux ou supérieurs au temps d’accès réel au support.

IOPS et impact réel

Un seul périphérique NVMe peut fournir plus d’un million d’IOPS par seconde pour des lectures aléatoires de 4KB, avec des performances nécessitant des dizaines de SSD SATA. Les bases de données Oracle sur NVMe de bout en bout montrent :

• Plus de transactions par seconde
• Réduction du temps de réponse aux requêtes
• Moins d’événements d’attente liés au stockage

Rendement énergétique

L’efficacité du NVMe accentue ses avantages en termes de performances. En éliminant les frais de protocole :

• SSD SATA : ~10 000 IOPS par watt
• SSD NVMe  : ~50 000 IOPS par watt

NVMe-oF : Étendre le NVMe au-delà de l’attachement direct

NVMe over Fabrics étend les avantages du NVMe à tous les datacenters, ce qui permet un stockage partagé sans sacrifier les avantages de latence. Mais les choix de mise en œuvre ont un impact considérable sur les performances.

NVMe sur fibre channel (FC-NVMe)

FC-NVMe exploite l’infrastructure SAN existante, ce qui la rend attrayante pour les entreprises qui investissent dans la fibre channel. Elle nécessite des commutateurs Gen 5 (16 Gbit/s) ou Gen 6 (32 Gbit/s) qui prennent en charge le transfert NVMe. Les commutateurs plus anciens qui affirment « prise en charge NVMe » effectuent souvent la traduction des protocoles, ce qui réintroduit les frais généraux.

NVMe sur RoCE

RoCE garantit la latence réseau la plus faible grâce au bypass du noyau : les opérations RDMA se terminent en une microseconde environ. Mais RoCE nécessite un Ethernet sans perte avec contrôle de flux prioritaire sur chaque commutateur et chaque adaptateur. Un port mal configuré peut entraîner une baisse des performances. En réalité, de nombreux déploiements « RoCE » exécutent en fait iWARP, car la véritable RoCE s’avère trop fragile. Lorsqu’elle est correctement mise en œuvre, la technologie RoCE peut offrir une latence de stockage de 160 à 180 microsecondes.

NVMe sur TCP

NVMe/TCP fonctionne sur Ethernet standard sans matériel spécial. Les critiques jugent cela « lent », mais les implémentations modernes peuvent atteindre une latence proche de la microseconde de 200 à 250 microsecondes, plus rapide que les SSD SATA malgré le franchissement du réseau.

Le principal avantage : la simplicité. NVMe/TCP fonctionne avec les commutateurs existants, les cartes réseau standard et les réseaux de fournisseurs cloud.

Mise en œuvre du NVMe en production

Le simple fait d’installer des disques NVMe offre rarement les avantages attendus. L’ensemble de la pile de stockage doit prendre en charge les opérations NVMe de bout en bout.

Le piège de la traduction du protocole

De nombreuses organisations achètent des SSD NVMe pour les baies existantes et s’attendent à une transformation. Les disques communiquent via NVMe, mais le contrôleur convertit tout en SCSI pour assurer la compatibilité. Cette traduction ajoute des microsecondes, éliminant ainsi les avantages du NVMe.

Exigences relatives au OS d’exploitation et à la migration

Le NVMe nécessite un Operating System d’exploitation moderne. Chacune nécessite des configurations spécifiques : affinité d’interruption, modules multichemins et ajustements de profondeur de file d’attente.

Pour une migration réussie :

1. Commencez par les charges de travail non critiques pour la validation
2. Mettre en œuvre une surveillance de la latence à chaque couche
3. Prioriser d’abord les bases de données sensibles à la latence
4. Vérifier le NVMe de bout en bout avec des outils comme NVMe-cli

NVMe pour l’AI et les charges de travail modernes

Les processeurs graphiques coûteux sont souvent inactifs et attendent les données. Grâce au stockage direct par GPU, la technologie NVMe permet aux disques de transférer des données directement vers la mémoire GPU.

Pour l’entraînement AI, cela signifie :

• Un entraînement plus rapide
• Écriture de point de contrôle plus rapide
• Utilisation accrue des GPU graphiques 
• Libération du processeur pour le prétraitement

Les bases de données ne se limitent pas à la vitesse brute. La latence prévisible inférieure à 200 microsecondes du NVMe élimine les incertitudes liées à la planification des requêtes. Les optimiseurs prennent de meilleures décisions en sachant que les données arrivent rapidement. Les applications conçues pour un stockage lent se comportent différemment lorsque le stockage devient prévisible.

L’avantage NVMe de Pure Storage de bout en bout

Alors que le secteur débat des stratégies d’adoption, Pure Storage a déployé NVMe de bout en bout sur des milliers de déploiements clients, générant ainsi des télémétries qui révèlent ce qui fonctionne réellement. Ce qui différencie l’application de la technologie flash NAND, c’est qu’elle élimine toutes les traductions de protocoles.

DirectFlash : Élimination des frais généraux cachés

Les SSD NVMe traditionnels contiennent des contrôleurs redondants et un surallocation. Les modules Pure Storage® DirectFlash® exposent la NAND brute directement à l’interface NVMe de la baie, offrant :

• Plus de capacité utilisable
• Réduction de la consommation d’énergie
• Latence prévisible sans collecte de déchets
• Un contrôle de l’usure global sur l’ensemble du stockage flash

Architecture NVMe de bout en bout

Le logiciel Purity maintient NVMe de l’hôte à la NAND tout en prenant en charge les systèmes traditionnels. Pour les hôtes NVMe, il offre un accès direct à l’espace de nom. Pour les hôtes traditionnels, elle se traduit une fois à la périphérie de la baie, et non en interne.

La baie FlashArray//X™ de Pure Storage garantit une latence constante inférieure à 200 microsecondes en éliminant les conversions de protocoles internes :

• Baies Pure Storage : latence moyenne de 150 μs
• Baies traditionnelles « NVMe » avec traduction interne : 400-600 μs
• La différence : élimination des frais de traduction du protocole

Évolution sans interruption

L’architecture Evergreen de Pure Storage  permet l’adoption du NVMe sans mises à niveau titanesques. Les contrôleurs passent à des versions compatibles NVMe sans migration de données.

L’avenir du NVMe

L’évolution du NVMe va bien au-delà de la vitesse. La spécification NVMe 2.0  introduit le stockage informatique, qui est traité dans le périphérique de stockage lui-même. Le filtrage des bases de données, la compression et l’inférence AI se produisent là où résident les données, éliminant ainsi les frais de déplacement.

Conclusion

Le NVMe permet d’éliminer les goulets d’étranglement artificiels qui limitent les applications pendant des décennies. Lorsqu’elle est mise en œuvre de bout en bout sans traduction de protocole, la technologie NVMe offre une latence proche de la microseconde de 150 microseconde qui transforme tout, des transactions de base de données à l’entraînement par l’AI.

Les informations stratégiques : La traduction des protocoles détruit les avantages du NVMe. NVMe-oF étend les avantages à tous les datacenters, mais la mise en œuvre est importante. Les charges de travail modernes nécessitent la technologie NVMe de bout en bout prévisible et à faible latence.

Une implémentation de bout en bout de Pure Storage, validée par des milliers de clients, prouve que la latence proche de la microseconde est une réalité opérationnelle. Grâce aux  modules  DirectFlash, les entreprises atteignent les performances NVMe promises. À mesure que le stockage évolue vers des capacités de calcul et des vitesses de mémoire, l’ architecture  Evergreen de Pure Storage garantit que les investissements d’aujourd’hui offrent les innovations de demain sans interruption.