O que é o DirectFlash e como ele funciona?

O Pure Storage ® DirectFlash ® é uma solução pioneira de gerenciamento flash que inclui o software Purity e os módulos DirectFlash, ambos componentes que podem ser atualizados de forma independente e não disruptiva.

Veja como funciona, por que é diferente e por que você precisa.

Visão geral do armazenamento flash

Inventada pela Toshiba em 1980, a memória flash, também conhecida como armazenamento flash, é um tipo de memória não volátil (o que significa que não requer uma fonte de alimentação contínua) que pode ser apagada e reprogramada eletronicamente.

Os dois principais tipos de memória flash

Há dois tipos principais de memória flash, NOR e NAND, que diferem no nível do circuito dependendo do tipo de gate lógico que estão usando. Atualmente, o flash NAND representa mais de 95% do mercado de memória flash e é usado em quase todos os dispositivos flash não integrados.

Na categoria NAND, há vários tipos de memória, classificados com base no número de bits armazenados por célula de memória, incluindo:

• SLC: Um (único) bit por célula
• MLC: Dois (ou vários) bits por célula
• TLC: Três bits por célula
• QLC Quatro (quad) bits por célula

O que é armazenamento DirectFlash Module (DFM)?

O DirectFlash é um módulo flash desenvolvido pela Pure Storage que permite que arrays totalmente flash se comuniquem diretamente com o armazenamento flash bruto. A abordagem holística da Pure Storage para criar sistemas totalmente flash envolve aproveitar o flash “bruto” para criar nossos módulos DirectFlash, em vez de depender da compra de unidades de estado sólido (SSDs, Solid-State Drives). Ao fazer isso, obtemos nosso flash em um ponto diferente na cadeia de fornecimento de outros fornecedores de array de estado sólido. Mas os benefícios do DirectFlash são muito mais do que apenas uma economia melhor da cadeia de fornecimento.

Outros arrays totalmente flash ou híbridos que usam SSDs prontas para uso falam com suas unidades flash essencialmente da mesma maneira que fariam com um disco rígido legado: como se fosse um conjunto contínuo de blocos idênticos.

Os discos rígidos tinham faixas e setores, e colocar todos esses setores de ponta a ponta foi como você obteve uma longa lista de blocos. As SSDs replicam essa mesma geometria integrando sistemas complexos entre o sistema e o flash, chamado de camada de tradução flash (FTL, Flash Translation Layer).

O DirectFlash usa uma abordagem diferente que fala diretamente com a memória flash, o que maximiza os recursos do flash e oferece melhor desempenho, utilização de energia e eficiência.

Especificamente, o DirectFlash oferece:

• Gerenciamento de mídia no nível do sistema, em oposição ao nível da unidade, o que significa que as unidades funcionam em conjunto com o próprio sistema, permitindo que o sistema:
  • Tome decisões mais inteligentes sobre o posicionamento de dados com base em um contexto mais amplo.
  • Entenda a atividade do sistema desde o nível de bloco, arquivo ou objeto até uma célula flash individual.    
  • Maximize a eficiência organizando dados de maneiras otimizadas para a mídia, evitando ampliação de gravação e aumentando a resistência.
  • Evite trabalho duplicado centralizando funções como coleta de lixo, conservação e nivelamento de desgaste.
• Redução dos custos gerais de mídia ao eliminar esforços e processos duplicados que acontecem em todas as unidades de um sistema tradicional. Sistemas de expansão de petabytes que aproveitam SSDs podem ter ter terabytes de DRAM nas próprias unidades, nem mesmo incluindo a memória do sistema, para manter seus mapeamentos e metadados individuais de FTL. Cada unidade também contém seu próprio espaço de reposição superprovisionado que é necessário para o gerenciamento de mídia pelo FTL. Cada um desses componentes representa um custo adicional que, à medida que os tamanhos de unidade aumentam, representará uma parte cada vez maior do custo geral da mídia. O custo por bit de DRAM não melhorou nos últimos anos, portanto, o uso eficiente da DRAM se tornará cada vez mais crítico.
• Maior confiabilidade do módulo ao falhar a uma taxa muito menor (três a quatro vezes) em comparação com SSDs, principalmente devido à execução mais simples do firmware.

Saiba como os módulos DirectFlash aumentam a eficiência: Uma infraestrutura de TI eficiente não economiza só em custos de energia

Como as unidades de estado sólido funcionam

Um SSD é composto por chips flash NAND, também conhecidos como matrizes flash NAND, com cada matriz sendo dividida em elementos menores chamados blocos, que são compostos de páginas.

No entanto, os blocos flash não suportam substituições aleatórias. Depois que uma página é gravada com dados, todo o bloco precisa ser apagado antes que novos dados possam ser gravados. Ao mesmo tempo, cada SSD é desenvolvido para dar suporte a uma interface do setor de disco compatível com versões anteriores.

O que é a camada de tradução flash (FTL, Flash Translation Layer)?

Essa contradição é resolvida por ter algo no firmware conhecido como “camada de tradução flash”, ou FTL , que implementa uma interface do setor de disco virtual que permite gravar dados em diferentes páginas flash, independentemente do bloco lógico para o qual os dados foram destinados. O FTL acompanha todos esses metadados de mapeamento em sua própria memória e armazenamento de metadados.

Mas, como agora você está gravando novas versões de dados em diferentes páginas flash, acaba acumulando dados nesses blocos que poderiam ser considerados “lixo” porque os dados foram substituídos ou excluídos logicamente.

Como a coleta de lixo funciona em SSDs

Para recuperar essa capacidade física, um processo de “coletor de lixo” no firmware da unidade pega os dados que ainda são válidos e os move para um novo local para que ele possa apagar todo o bloco contendo os dados “tombstoned”. Para que esse coletor de lixo funcione, cada unidade precisa de memória flash extra, o que é conhecido como “espaço superprovisionado” e cada evento de coleta de lixo consome um dos números finitos de ciclos de exclusão/programa flash. A quantidade de gravações físicas na unidade que cada gravação lógica consome é conhecida como "ampliação de gravação".

O provisionamento excessivo e a ampliação de gravação levam a desgaste prematuro e a uma vida útil reduzida da SSD. Também há impactos no desempenho desse design, pois sempre que um desses flash morre, a coleta de lixo, as leituras ou gravações não estarão disponíveis nesse dado. Portanto, o desempenho da SSD flutua de forma imprevisível conforme o coletor de lixo se torna mais ou menos ativo.

O que torna isso ainda mais desafiador é que as SSDs não têm como comunicar essa atividade de coleta de lixo ao sistema que a acessa. Em vez disso, a SSD precisa manter a ilusão de que é como um disco rígido. À medida que o número de bits por célula no flash NAND aumenta, essas inconsistências de desempenho só pioram, pois os ciclos de programa/exclusão demoram cada vez mais, levando a períodos mais longos de inacessibilidade de dados.

Os benefícios de usar o DirectFlash

O DirectFlash adota uma abordagem diferente para o gerenciamento de mídia flash. Em vez de deputar cada SSD para executar seu próprio nivelamento de desgaste, coleta de lixo e provisionamento excessivo, o sistema operacional Purity executa essas funções em software no nível do array. Isso significa que cada módulo DirectFlash é mais simples do que um disco de estado sólido tradicional, pois só precisa fornecer acesso à mídia em si e lidar com tarefas de sinalização e dados de baixo nível.

Saiba mais sobre como o DirectFlash está acabando com as unidades de disco rígido (HDDs).

Os benefícios que isso oferece são inúmeros:

• Densidade e eficiência aprimoradas. Nossos módulos DirectFlash (DFMs, DirectFlash Modules) oferecem uma densidade de armazenamento duas a três vezes melhor e consomem de 39% a 54% menos watts por terabyte do que nossos concorrentes mais próximos hoje. Os DFMs da Pure Storage não simulam HDDs mecânicos, permitindo que a mídia flash baseada em silício seja gerenciada de maneira otimizada de uma maneira que melhore significativamente o desempenho, a densidade do armazenamento, a capacidade efetiva, a durabilidade da mídia e o custo por TB utilizável em relação aos SSDs COTS. A Pure Storage está enviando DFMs de 48TB hoje, adicionando DFMs de 75TB no final deste ano, adicionando DFMs de 150TB em 18 meses e planejando DFMs de 300TB até 2026. Saiba mais.
• Colocação inteligente de dados. Em vez de cada SSD tomar decisões sobre colocação de dados e gerenciamento de mídia em um vácuo, o Purity sabe sobre todas as tarefas do sistema em andamento e programadas, como atividade atual de E/S, operações de redução de dados, ciclos pendentes de coleta de lixo e carga de trabalho e integridade gerais do array. Isso permite que o Purity tome decisões de posicionamento e agendamento muito mais inteligentes do que uma única unidade poderia fazer sozinha.
• Ao tomar decisões mais inteligentes sobre o posicionamento de dados, os dados com expectativa de vida útil semelhante podem ser colocalizados nos mesmos blocos para minimizar casos em que alguns dados nos blocos são “calculados”, enquanto outras páginas ainda são válidas. O Purity sabe se certas páginas fazem parte do mesmo arquivo ou objeto ou vêm do mesmo sistema host. Assim, ao agrupar essas páginas em blocos semelhantes quando esse arquivo ou objeto é excluído, todo o bloco pode ser liberado de uma só vez, sem regravar outros dados ativos e causar ampliação de gravação.
• Elas superam e duram. Ao não realizar a coleta de lixo e não causar ampliação de gravação, os módulos DirectFlash superam e duram mais do que seus equivalentes de mercadoria. Menos gravações significam menos desgaste e, assim, maior vida útil. Menos gravações também significa que mais ciclos de E/S estão disponíveis para atender E/S de cliente “real”. E como o Purity sabe sobre a atividade atual de E/S e tem visibilidade de todo o sistema, nunca se surpreende com um desses ciclos de programa/exclusão bloqueando o acesso aos dados. No pior caso, o Purity pode apenas reconstruir esses dados da paridade em vez de esperar que um ciclo de programa/exclusão termine. Isso reduz significativamente a latência de pior caso de nossos sistemas, mesmo ao usar o flash QLC.
• Elas melhoram com o tempo. Como executamos todas essas tarefas de gerenciamento de mídia no software, podemos melhorar esse software ao longo do tempo. Todos os sistemas da Pure Storage conectados à Internet conectam com segurança os dados de telemetria doméstica e, como temos insights profundos sobre a integridade e a atividade da memória flash subjacente, agregamos e analisamos esses dados para melhorar a forma como nosso software funciona no mundo real. Isso significa que, com o tempo, a confiabilidade e o desempenho dos nossos sistemas podem melhorar com atualizações regulares de software.
• São mais simples e confiáveis. Como realizamos todas essas atividades no nível do array em software, nossos módulos DirectFlash não precisam de controladores complexos e grandes quantidades de RAM para fazer todo esse trabalho sozinhos. Assim, nossos módulos são mais simples e, portanto, mais confiáveis, além de serem mais eficientes. Também podemos dimensionar o tamanho de nossas unidades com avanços na tecnologia de fabricação flash NAND, sem a necessidade de aumentar a complexidade ou o custo da unidade.

Isso significa para os clientes sistemas que têm mais desempenho, mais consistência e mais confiabilidade e longevidade do que outros sistemas totalmente flash ou híbridos desenvolvidos em torno de SSDs.

A Pure Storage foi fundada com base na crença de que o futuro do datacenter era totalmente flash, e desenvolvemos nossa tecnologia DirectFlash para tornar essa visão uma realidade. Acreditamos que a melhor maneira de criar sistemas totalmente flash é criar o sistema desde o início para totalmente flash. Isso significa eliminar as partes do sistema desenvolvidas em torno de interfaces e paradigmas legados e deixar a tecnologia realmente brilhar.

Quer aproveitar a tecnologia DirectFlash em seu datacenter? Confira nosso pacote de soluções de armazenamento totalmente flash hoje mesmo.