O que é NVMe? O guia completo para Non-Volatile Memory Express

Os protocolos de armazenamento desenvolvidos para unidades mecânicas restringem o desempenho do flash há mais de uma década. Embora as SSDs ofereçam hardware compatível com microssegundos, protocolos legados como SATA e SAS adicionam centenas de microssegundos de latência desnecessária por meio de suas arquiteturas de fila única e camadas de tradução de protocolo, com base em referências do setor e implantações do mundo real.

O NVMe (Non-Volatile Memory Express) é um protocolo de armazenamento desenvolvido especificamente para unidades de estado sólido que se conecta diretamente por meio da interface PCIe, eliminando os gargalos dos protocolos da era dos discos. Em vez de canalizar comandos através de uma única fila, como SATA, o NVMe permite até 64.000 filas com 64.000 comandos cada, mudando fundamentalmente a forma como o armazenamento se comunica com processadores modernos com vários núcleos.

Mas o que a maioria das discussões perde é que simplesmente adicionar unidades NVMe não é suficiente se seu sistema ainda se traduzir entre protocolos, convertendo NVMe em SCSI e de volta em vários pontos no caminho dos dados.

Este guia examina a arquitetura do NVMe, quantifica suas vantagens de desempenho no mundo real e explica por que a implementação completa do NVMe é importante.

Como o NVMe revolucionou a arquitetura de armazenamento

Por duas décadas, os protocolos de armazenamento foram desenvolvidos em torno de limitações mecânicas. A SATA e a SAS presumiram que os dispositivos de armazenamento precisavam de tempo para buscar dados fisicamente, criando sobrecarga de comando que fazia sentido quando as placas de disco precisavam girar para a posição. Esses protocolos afunilam todos os comandos em uma única fila, adequados para buscas mecânicas, mas catastróficos para memória flash capaz de respostas de microssegundo.

A incompatibilidade de protocolo se torna clara nos números. O SAS suporta até 256 comandos (de acordo com a especificação SAS-3)em sua única fila, enquanto as SSDs corporativas lidam com milhares de operações simultâneas. Esses protocolos legados exigem várias camadas de tradução: os aplicativos enviam comandos NVMe que são traduzidos para SCSI, depois para SATA ou SAS e, potencialmente, de volta para NVMe no nível da unidade. Cada tradução adiciona de 50 a 200 microssegundos de latência.

Por que o flash precisava do seu próprio protocolo

O NVMe surgiu em 2011 para eliminar multas por tradução. Em vez de adaptar protocolos de disco, o consórcio NVM Express projetou um protocolo que não pressupõe componentes mecânicos. O NVMe simplifica o conjunto de comandos, eliminando a sobrecarga de análise enquanto mantém a funcionalidade completa.

O protocolo conecta o armazenamento diretamente às CPUs por meio de pistas PCIe, a mesma interface de alta velocidade usada para placas de vídeo. Isso posiciona o armazenamento como um par para outros componentes de alto desempenho em vez de relegá-lo por trás das camadas de tradução. Com PCIe Gen 4 fornecendo 64GB/s de largura de banda, o NVMe permite que o flash opere sem restrições.

Como o NVMe funciona: Arquitetura e componentes

A arquitetura do NVMe repensa fundamentalmente a comunicação de armazenamento. Em vez dos adaptadores de barramento de host tradicionais, o armazenamento NVMe aparece para a CPU como I/O mapeada de memória, permitindo acesso direto sem sobrecarga de kernel para operações críticas.

Arquitetura de filas e otimização da CPU

Os processadores modernos contêm dezenas de núcleos, mas os protocolos de armazenamento legados os afunilam em uma única fila I/O. O NVMe atribui pares de filas dedicados a cada núcleo de CPU, eliminando a contenção de bloqueio e permitindo o verdadeiro processamento paralelo.

Quando um aplicativo precisa de dados, ele coloca comandos em filas de envio por meio de gravações simples de memória, sem necessidade de chamadas do sistema. O controlador NVMe processa comandos de forma independente e coloca os resultados em filas de conclusão. Esse modelo assíncrono significa que as CPUs praticamente não gastam ciclos esperando armazenamento.

Faixas e largura de banda PCIe

Os dispositivos NVMe se conectam por meio de pistas PCIe, com cada pista fornecendo largura de banda bidirecional. Um SSD NVMe típico usa quatro pistas PCIe, fornecendo até 8GB/s com PCIe Gen 4. Os arrays corporativos agregam vários dispositivos para uma taxa de transferência ainda maior.

Mas apenas a largura de banda não determina o desempenho. Latência, o tempo entre a solicitação e a resposta, muitas vezes é mais importante para cargas de trabalho transacionais. A conexão PCIe direta do NVMe elimina várias transições de barramento e conversões de protocolo que prejudicam as implementações de SATA.

Benefícios do desempenho NVMe: Números reais, não marketing

O marketing do setor de armazenamento geralmente faz afirmações vagas, como “desafiadoras” ou “ultrarresponsivos”. No entanto, o NVMe oferece vantagens reais.

De acordo com os testes do setor e as especificações do fornecedor, as leituras de flash NAND bruto levam aproximadamente 100 microssegundos. No entanto, as SSDs SATA normalmente oferecem latências totais de 100 a 200 microssegundos, enquanto as SSDs NVMe atingem de 20 a 100 microssegundos, demonstrando como a sobrecarga do protocolo pode igualar ou exceder o tempo real de acesso à mídia.

IOPS e impacto no mundo real

Um único dispositivo NVMe pode fornecer mais de 1 milhão de IOPS para leituras aleatórias de 4KB, desempenho que exige dezenas de SSDs SATA. Os bancos de dados Oracle no NVMe de ponta a ponta mostram:

• Mais transações por segundo
• Redução no tempo de resposta a consultas
• Menos eventos de espera relacionados ao armazenamento

Eficiência energética

A eficiência do NVMe agrava seus benefícios de desempenho. Ao eliminar a sobrecarga do protocolo:

• SSD SATA: ~10.000 IOPS por watt
• SSD NVMe: ~50.000 IOPS por watt

NVMe-oF: Estendendo o NVMe além do Direct Attachment

O NVMe over Fabrics amplia os benefícios do NVMe em datacenters, permitindo armazenamento compartilhado sem sacrificar as vantagens de latência. Mas as opções de implementação afetam drasticamente o desempenho.

NVMe por fibre channel (FC-NVMe)

O FC-NVMe aproveita a infraestrutura SAN existente, tornando-a atrativa para empresas com investimentos em fibre channel. Ela exige switches de 5a geração (16 Gb) ou 6a geração (32 Gb) que ofereçam suporte ao encaminhamento NVMe. Os switches mais antigos afirmam que o “suporte NVMe” frequentemente executam a tradução do protocolo, reintroduzindo a sobrecarga.

NVMe por RoCE

A RoCE garante a menor latência de rede por meio de bypass de kernel: operações de RDMA concluídas em cerca de um microssegundo. Mas o RoCE exige Ethernet sem perdas com controle de fluxo prioritário em todos os switches e adaptadores. Uma porta mal configurada pode causar um colapso de desempenho. A realidade é que muitas implantações de "RoCE" realmente executam iWARP porque o verdadeiro RoCE se mostra muito frágil. Quando implementado corretamente, o RoCE pode fornecer latência de armazenamento de 160 a 180 microssegundos.

NVMe sobre TCP

O NVMe/TCP é executado por Ethernet padrão sem hardware especial. Os críticos a consideram "lenta", mas as implementações modernas podem atingir uma latência de microssegundo de 200 a 250, mais rápida do que as SSDs SATA, apesar de cruzarem as redes.

A principal vantagem: a simplicidade. O NVMe/TCP funciona com switches existentes, NICs padrão e redes de provedores de nuvem.

Implementação do NVMe na produção

A simples instalação de unidades NVMe raramente oferece os benefícios esperados. Toda a pilha de armazenamento deve suportar operações NVMe completas.

A armadilha de tradução do protocolo

Muitas empresas compram SSDs NVMe para arrays existentes e esperam transformação. As unidades se comunicam via NVMe, mas o controlador traduz tudo para SCSI para compatibilidade. Essa tradução adiciona microssegundos, negando as vantagens do NVMe.

Requisitos OS e migração

O NVMe requer um Operating System moderno para dar suporte. Cada uma exige configurações específicas: afinidade de interrupção, módulos de vários caminhos e ajustes de profundidade de fila.

Para uma migração bem-sucedida:

1. Comece com cargas de trabalho não críticas para validação
2. Implemente monitoramento de latência em cada camada
3. Priorize bancos de dados sensíveis à latência primeiro
4. Verifique o NVMe completo com ferramentas como NVMe-cli

NVMe para AI e cargas de trabalho modernas

As GPUs caras muitas vezes ficam ociosas, aguardando dados. O NVMe muda isso por meio do armazenamento direto de GPU, permitindo que as unidades transfiram dados diretamente para a memória da GPU.

Para treinamento de AI, isso significa:

• Treinamento de época mais rápido
• Escrita mais rápida de pontos de verificação
• Maior utilização da GPU  
• Liberou a CPU para pré-processamento

Os bancos de dados se beneficiam além da velocidade bruta. A latência previsível de menos de 200 microssegundos do NVMe elimina a incerteza do planejamento de consultas. Os otimizadores tomam melhores decisões sabendo que os dados chegam rapidamente. Aplicativos desenvolvidos para armazenamento lento se comportam de maneira diferente quando o armazenamento se torna previsível.

O NVMe Advantage completo da Pure Storage

Embora o setor discuta estratégias de adoção, a Pure Storage implantou NVMe de ponta a ponta em milhares de implantações de clientes, gerando telemetria que revela o que realmente funciona. O diferencial é eliminar cada tradução de protocolo entre o aplicativo e o flash NAND.

DirectFlash: Eliminação de despesas gerais ocultas

SSDs NVMe tradicionais contêm controladoras redundantes e superprovisionamento. Os módulos DirectFlash® da Pure Storage® expõem NAND bruto diretamente à interface NVMe do array, oferecendo:

• Capacidade mais utilizável
• Menor consumo de energia
• Latência previsível sem coleta de lixo
• nivelamento de desgaste global em todo o flash

Arquitetura NVMe completa

O software Purity mantém o NVMe do host ao NAND enquanto oferece suporte a sistemas legados. Para hosts NVMe, ele fornece acesso direto ao namespace. Para hosts legados, ele se traduz uma vez na borda do array, não internamente.

O Pure Storage FlashArray//X (Array Storage//X) garante latência uniforme inferior a 200 microssegundos ao eliminar conversões de protocolos internos:

• Arrays da Pure Storage: latência média de 150 μs
• Arrays tradicionais de "NVMe" com tradução interna: 400 a 600 μs
• A diferença: eliminação da sobrecarga da tradução do protocolo

Evolução não disruptiva

A arquitetura Evergreen da Pure Storage  permite a adoção do NVMe sem atualizações forklift. Os controladores fazem upgrade para versões compatíveis com NVMe sem migração de dados.

O futuro do NVMe

A evolução do NVMe vai além da velocidade. A especificação NVMe 2.0  apresenta o armazenamento computacional, processando dentro do próprio dispositivo de armazenamento. A filtragem, a compactação e a inferência de AI do banco de dados acontecem onde os dados vivem, eliminando a sobrecarga de movimento.

Conclusão

O NVMe representa a eliminação de gargalos artificiais que restringem os aplicativos por décadas. Quando implementado de ponta a ponta sem tradução de protocolos, o NVMe oferece latência de microssegundo de 150, que transforma tudo, desde transações de banco de dados até treinamento de AI.

Os insights essenciais: A tradução do protocolo destrói as vantagens do NVMe. O NVMe-oF amplia os benefícios em datacenters, mas a implementação é importante. As cargas de trabalho modernas exigem a latência previsível e baixa que apenas o NVMe fornece de ponta a ponta.

Uma implementação completa da Pure Storage, validada para milhares de clientes, prova que a latência de microssegundo é uma realidade operacional. Por meio  dosmódulo s DirectFlash, as empresas cumprem as promessas NVMe de desempenho. À medida que o armazenamento evolui para recursos computacionais e velocidades de memória, a  arquitetura  Evergreenda Pure Storagegarante que os investimentos de hoje ofereçam as inovações do futuro sem interrupções.Evergreen