¿Qué es NVMe? La guía completa para Memory Express no volátil

Los protocolos de almacenamiento diseñados para unidades mecánicas han limitado el rendimiento de flash durante más de una década. Si bien las SSD ofrecen hardware compatible con microsegundos, los protocolos heredados como SATA y SAS agregan cientos de microsegundos de latencia innecesaria a través de sus arquitecturas de cola única y capas de traducción de protocolos, basados en los puntos de referencia de la industria y las implementaciones del mundo real.

NVMe (Memoria Express no volátil) es un protocolo de almacenamiento diseñado específicamente para unidades de estado sólido que se conecta directamente a través de la interface PCIe, eliminando los cuellos de botella de los protocolos de la era de los discos. En lugar de canalizar comandos a través de una sola cola como SATA, NVMe permite hasta 64 000 colas con 64 000 comandos cada una, lo que cambia fundamentalmente la forma en que el almacenamiento se comunica con los procesadores multinúcleo modernos.

Pero lo que la mayoría de los debates pierden es que simplemente agregar unidades NVMe no es suficiente si su sistema aún se traduce entre protocolos, convirtiendo NVMe a SCSI y de nuevo en varios puntos de la ruta de datos.

Esta guía examina la arquitectura de NVMe, cuantifica sus ventajas de rendimiento en el mundo real y explica por qué es importante la implementación de NVMe integral.

Cómo NVMe revolucionó la arquitectura de almacenamiento

Durante dos décadas, los protocolos de almacenamiento se diseñaron en torno a limitaciones mecánicas. SATA y SAS supusieron que los dispositivos de almacenamiento necesitaban tiempo para buscar datos físicamente, lo que incorporaba la sobrecarga de comandos que tenía sentido cuando las bandejas de discos debían rotar a su posición. Estos protocolos canalizan todos los comandos a través de una sola cola, adecuada para las búsquedas mecánicas, pero catastrófica para la memoria flash capaz de responder en microsegundos.

La incompatibilidad del protocolo queda clara en los números. SAS admite hasta 256 comandos (según la especificación SAS-3) en su única cola, mientras que las SSD empresariales manejan miles de operaciones simultáneas. Estos protocolos heredados requieren varias capas de traducción: las aplicaciones envían comandos NVMe que se traducen a SCSI, luego a SATA o SAS, y luego potencialmente a NVMe a nivel de unidad. Cada traducción agrega entre 50 y 200 microsegundos de latencia.

Por qué Flash necesitaba su propio protocolo

NVMe surgió en 2011 para eliminar las sanciones de traducción. En lugar de readaptar los protocolos de disco, el consorcio NVM Express diseñó un protocolo suponiendo que no hubiera componentes mecánicos. NVMe optimiza el conjunto de comandos, lo que elimina la sobrecarga de análisis y, al mismo tiempo, mantiene la funcionalidad completa.

El protocolo conecta el almacenamiento directamente a las CPU a través de los carriles PCIe, la misma interfaz de alta velocidad que se usa para las tarjetas gráficas. Esto posiciona el almacenamiento como un compañero de otros componentes de alto rendimiento en lugar de relegarlo detrás de capas de traducción. Con PCIe Gen 4 que ofrece 64GB/s de ancho de banda, NVMe permite que flash funcione sin restricciones.

Cómo funciona NVMe: Arquitectura y componentes

La arquitectura de NVMe repensa fundamentalmente la comunicación de almacenamiento. En lugar de adaptadores de bus host tradicionales, el almacenamiento NVMe aparece en la CPU como I/O con asignación de memoria, lo que permite el acceso directo sin sobrecarga de kernel para operaciones críticas.

Arquitectura de colas y optimización de CPU

Los procesadores modernos contienen docenas de núcleos, pero los protocolos de almacenamiento heredados los canalizan a través de una única cola I/O. NVMe asigna pares de colas dedicados a cada núcleo de CPU, lo que elimina la contención de bloqueo y permite un verdadero procesamiento paralelo.

Cuando una aplicación necesita datos, coloca comandos en colas de envío a través de escrituras de memoria simples, sin necesidad de llamadas del sistema. El controlador NVMe procesa comandos de manera independiente y coloca los resultados en colas de finalización. Este modelo asíncrono significa que las CPU prácticamente no pasan ciclos esperando el almacenamiento.

Carriles y ancho de banda PCIe

Los dispositivos NVMe se conectan a través de carriles PCIe, y cada carril proporciona ancho de banda bidireccional. Una unidad SSD NVMe típica utiliza cuatro carriles PCIe, que ofrecen hasta 8GB/s con PCIe Gen 4. Las matrices empresariales agregan varios dispositivos para lograr un rendimiento aún mayor.

Pero el ancho de banda por sí solo no determina el rendimiento. La latencia, el tiempo entre la solicitud y la respuesta, suele ser más importante para las cargas de trabajo transaccionales. La conexión PCIe directa de NVMe elimina varias transiciones de bus y conversiones de protocolo que afectan las implementaciones de SATA.

Beneficios del rendimiento NVMe: Números reales, no marketing

El marketing de la industria del almacenamiento a menudo hace afirmaciones imprecisas como “alta velocidad” o “ultrarreceptiva”. Sin embargo, NVMe ofrece ventajas reales.

Según las pruebas de la industria y las especificaciones de los proveedores, las lecturas flash NAND sin procesar tardan aproximadamente 100 microsegundos. Sin embargo, los discos SSD SATA generalmente ofrecen latencias totales de 100 a 200 microsegundos, mientras que los discos SSD NVMe alcanzan de 20 a 100 microsegundos, lo que demuestra cómo la sobrecarga del protocolo puede igualar o superar el tiempo real de acceso a los medios.

IOPS e impacto en el mundo real

Un único dispositivo NVMe puede ofrecer más de 1 millón de IOPS para lecturas aleatorias de 4KB, lo que requiere decenas de SSD SATA. Bases de datos de Oracle sobre el programa NVMe integral:

• Más transacciones por segundo
• Reducción en el tiempo de respuesta a consultas
• Menos eventos de espera relacionados con el almacenamiento

Eficiencia energética

La eficiencia de NVMe agrava sus beneficios de rendimiento. Al eliminar los gastos generales del protocolo:

• SSD SATA: ~10 000 IOPS por vatio
• SSD NVMe: ~50 000 IOPS por vatio

NVMe-oF: Ampliación de NVMe más allá de la conexión directa

NVMe over Fabrics amplía los beneficios de NVMe en los centros de datos, lo que permite el almacenamiento compartido sin sacrificar las ventajas de latencia. Pero las opciones de implementación tienen un impacto radical en el rendimiento.

NVMe sobre canal de fibra (FC-NVMe)

FC-NVMe aprovecha la infraestructura de SAN existente, lo que la hace atractiva para las empresas con inversiones en canales de fibra. Requiere conmutadores de Gen 5 (16 Gb) o Gen 6 (32 Gb) que admitan el reenvío NVMe. Los conmutadores más antiguos que afirman “soporte de NVMe” a menudo realizan la traducción del protocolo y vuelven a introducir la sobrecarga.

NVMe sobre RoCE

RoCE promete la latencia de red más baja a través de la derivación de kernel: las operaciones RDMA se completan en aproximadamente un microsegundo. Pero RoCE requiere Ethernet sin pérdidas con control de flujo prioritario en todos los conmutadores y adaptadores. Un puerto mal configurado puede causar un colapso del rendimiento. La realidad es que muchas implementaciones de “RoCE” en realidad ejecutan iWARP porque el verdadero RoCE resulta demasiado frágil. Cuando se implementa correctamente, RoCE puede ofrecer una latencia de almacenamiento de 160 a 180 microsegundos.

NVMe sobre TCP

NVMe/TCP se ejecuta sobre Ethernet estándar sin hardware especial. Los críticos lo descartan como “lento”, pero las implementaciones modernas pueden lograr una latencia de microsegundo de 200 a 250, más rápido que los SSD SATA a pesar de cruzar las redes.

La ventaja clave: la sencillez. NVMe/TCP funciona con conmutadores existentes, NIC estándar y redes de proveedores de nube.

Implementación de NVMe en la producción

El simple hecho de instalar unidades NVMe rara vez ofrece los beneficios esperados. Toda la pila de almacenamiento debe admitir operaciones NVMe integrales.

La trampa de traducción del protocolo

Muchas organizaciones compran SSD NVMe para matrices existentes y esperan una transformación. Las unidades se comunican a través de NVMe, pero el controlador traduce todo a SCSI para su compatibilidad. Esta traducción agrega microsegundos, lo que anula las ventajas de NVMe.

Requisitos de migración y OS

NVMe requiere un sistema operativo moderno para ser compatible. Cada uno requiere configuraciones específicas: afinidad de interrupción, módulos de varias rutas y ajustes de profundidad de cola.

Para una migración exitosa:

1. Comience con cargas de trabajo no críticas para la validación
2. Implemente el monitoreo de latencia en cada nivel
3. Priorice primero las bases de datos sensibles a la latencia
4. Verifique NVMe integral con herramientas como nvme-cli

NVMe para AI y cargas de trabajo modernas

Las GPU costosas a menudo permanecen inactivas, esperando datos. NVMe lo cambia a través del almacenamiento directo de GPU, lo que permite que las unidades transfieran datos directamente a la memoria de GPU.

Para el entrenamiento de AI, esto significa:

• Entrenamiento de época más rápido
• Escritura de puntos de control más rápida
• Mayor utilización de GPU  
• CPU liberada para el procesamiento previo

Las bases de datos se benefician más allá de la velocidad bruta. La latencia predecible de NVMe de menos de 200 microsegundos elimina la incertidumbre en la planificación de consultas. Los optimizadores toman mejores decisiones sabiendo que los datos llegan rápidamente. Las aplicaciones diseñadas para el almacenamiento lento se comportan de manera diferente cuando el almacenamiento se vuelve predecible.

La ventaja NVMe integral de Pure Storage

Si bien la industria debate las estrategias de adopción, Pure Storage ha implementado NVMe integral en miles de implementaciones de clientes, lo que genera telemetría que revela lo que realmente funciona. El diferenciador elimina cada traducción de protocolo entre la aplicación y flash NAND.

DirectFlash: Eliminación de gastos generales ocultos

Los SSD NVMe tradicionales contienen controladores redundantes y sobreaprovisionamiento. Los módulos DirectFlash® de Pure Storage® exponen la NAND sin procesar directamente a la interfaz NVMe de la matriz, lo que ofrece:

• Más capacidad utilizable
• Menor consumo de energía
• Latencia predecible sin recolección de basura
• nivelación de desgaste global en todos los flash

Arquitectura NVMe integral

El software Purity mantiene NVMe desde el host a NAND mientras admite sistemas heredados. Para los hosts NVMe, proporciona acceso directo al espacio de nombres. Para los hosts heredados, se traduce una vez en el borde de la matriz, no internamente.

FlashArray//X™ de Pure Storage ofrece una latencia constante de menos de 200 microsegundos al eliminar las conversiones de protocolo internas:

• Matrices de Pure Storage: latencia promedio de 150 μs
• Matrices "NVMe" tradicionales con traducción interna: 400-600 μs
• La diferencia: eliminación de los gastos generales de traducción del protocolo

Evolución sin interrupciones

La arquitectura Evergreen de Pure Storage  permite la adopción de NVMe sin actualizaciones costosas. Los controladores se actualizan a versiones compatibles con NVMe sin migración de datos.

El futuro de NVMe

La evolución de NVMe se extiende más allá de la velocidad. La especificación NVMe 2.0  introduce el almacenamiento computacional, el procesamiento dentro del propio dispositivo de almacenamiento. El filtrado de bases de datos, la compresión y la inferencia de AI ocurren donde viven los datos, lo que elimina la sobrecarga de movimiento.

Conclusiones

NVMe representa la eliminación de cuellos de botella artificiales que limitan las aplicaciones durante décadas. Cuando se implementa de extremo a extremo sin traducción de protocolos, NVMe ofrece latencia de microsegundo de 150 que transforma todo, desde transacciones de bases de datos hasta entrenamiento de AI.

Los resultados críticos: La traducción de protocolos destruye las ventajas de NVMe. NVMe-oF amplía los beneficios en los centros de datos, pero la implementación es importante. Las cargas de trabajo modernas requieren la latencia predecible y baja que solo proporciona NVMe integral.

Una implementación integral de Pure Storage, validada por miles de clientes, demuestra que la latencia de microsegundo de 150 es una realidad operativa. A través de los   módulosDirectFlash, las organizaciones logran el rendimiento que NVMe promete. A medida que el almacenamiento evoluciona hacia capacidades computacionales y velocidades de memoria, la  arquitectura  Evergreen de Pure Storage garantiza que las inversiones actuales ofrezcan las innovaciones del futuro sin interrupciones.