SanDisk é criticada por comparar nova memória HBF com dados considerados desatualizados da HBM
Slides exibidos no Investor Day da SanDisk , realizado no início desta semana, começaram a circular nas redes sociais com acusações de imprecisões e lacunas técnicas . A reação ve…
Slides exibidos no Investor Day da SanDisk, realizado no início desta semana, começaram a circular nas redes sociais com acusações de imprecisões e lacunas técnicas.
A reação veio da comunidade especializada, que questionou escolhas de especificação e dados comparativos usados na apresentação.
Especificações apontadas pela SanDisk para HBM e HBF
A apresentação fixou a capacidade da memória HBM por GPU em 192 GB e indicou largura de banda de 12,8 TB/s para esse contexto.
O material omitiu qualquer indicação sobre a resistência de gravação da High-Bandwidth Flash (HBF), tecnologia que a SanDisk desenvolve em conjunto com a SK hynix.
| Tecnologia | Capacidade por GPU | Largura de banda |
|---|---|---|
| HBM | 192 GB | 12,8 TB/s |
| HBF | 512 GB de armazenamento | 0,4 TB/s a 3 TB/s |
A memória HBF tem previsão de lançamento comercial para 2028 ou 2029. A solução empilha dies NAND uns sobre os outros, com Through Silicon Vias (TSVs) conectando os componentes e um die de lógica controladora ligado ao conjunto de NAND.
Antes de prosseguirmos, uma curiosidade para os que estão por fora: resumidamente, a resistência de gravação é a vida útil de uma memória flash.
É a quantidade máxima de vezes que você consegue apagar e gravar dados nela antes que o chip se desgaste fisicamente e pare de funcionar.
Como funcionam as camadas de atenção e as redes feed-forward em modelos de IA
Continuando, ressaltamos que um modelo de IA consiste em uma série de blocos transformadores compostos por duas estruturas principais. A Camada de Atenção (Attention Layer) analisa como as palavras de uma frase se conectam entre si.
Em um prompt como “Paris é a capital da França“, a camada de atenção liga a palavra “capital” a “França” e identifica “Paris” como a resposta.
Essa camada não compreende o significado de França ou Paris, mas salva essas anotações na forma de cache KV. O cache KV cresce conforme o contexto aumenta.
Por sua vez, o cache KV (Key-Value Cache) é uma técnica de otimização de memória que funciona como a “memória de curto prazo” de um modelo de Inteligência Artificial.
É graças a ele que ferramentas como o ChatGPT conseguem responder rapidamente, gerando uma palavra por vez em tempo real. E, não menos importante, a Rede Feed-Forward (FFN) armazena o conhecimento acumulado do modelo na forma de pesos.
Essa camada utiliza fórmulas matemáticas profundas para extrair o significado de cada palavra. Ao processar a palavra “França“, por exemplo, a FFN ativa uma enciclopédia sobre países, e assim por diante.
O problema da HBM como armazenamento de pesos e cache KV
Durante o processamento, tanto os pesos fixos do modelo quanto o cache KV dinâmico precisam ficar guardados na memória HBM.
Como essas pastilhas de memória são soldadas diretamente ao redor do chip da GPU, seu espaço físico e sua capacidade total de armazenamento são estritamente limitados.
Para aumentar a memória HBM, geralmente é preciso aumentar a quantidade de GPUs. Esse caminho encarece rapidamente a infraestrutura necessária.
A comparação entre HBM, HBF e as velocidades de leitura de cada tecnologia
Assim como a memória HBM empilha DRAM, a memória HBF empilha dies NAND. Os dies são conectados por TSVs e ligados a um die de lógica controladora.
| Tecnologia de memória | Velocidade de leitura aproximada |
|---|---|
| SRAM | 1 nanossegundo |
| DRAM | 100 nanossegundos |
| NAND | 100 microssegundos |
A NAND oferece velocidades de leitura 1.000 vezes mais lentas que uma memória HBM baseada em DRAM. A memória HBF contorna parte dessa limitação por meio de paralelismo, com o die lógico agendando milhares de leituras paralelas de células NAND simultaneamente.
Cada leitura individual continua sendo cerca de 1.000 vezes mais lenta, mas as leituras paralelas em conjunto entregam largura de banda cumulativa de 0,3 TB/s a 3 TB/s.
Limitações da HBF e ausência de dados sobre resistência de gravação
A memória HBF não consegue contornar as velocidades de gravação da NAND nem a fragilidade da resistência de gravação associada a esse tipo de célula.
A ausência de menção a esse dado na apresentação é apontada como uma omissão crítica.
Portanto, para resumir a situação em poucas palavras, para aqueles que ainda não conseguiram entender qual é o problema: a ausência das informações sobre a resistência da gravação (a vida útil da memória flash) tem o potencial de tornar a tecnologia inadequada para cache KV, fato que gerou toda esta polêmica.
As inconsistências apontadas na comparação com HBM4E de 16Hi
Considerando que a HBF só chegará ao mercado em 2028 ou 2029, especialistas apontam que a apresentação deveria ter comparado as especificações com as da HBM4E de 16Hi. Essa versão tende a ser a solução HBM dominante nesse período.
| Tecnologia | Largura de banda | Previsão de disponibilidade |
|---|---|---|
| HBM4E de 16Hi | 32 TB/s | Período de lançamento da HBF |
| HBM citada pela SanDisk | 12,8 TB/s | — |
| HBF | 0,4 TB/s a 3 TB/s | 2028 ou 2029 |
A largura de banda da HBM4E de 16Hi é cerca de 3x (vezes) maior que os 12,8 TB/s anotados pela SanDisk na apresentação.
E, não menos importante, é válido ressaltar que a SanDisk utilizou BF16 como quantização escolhida nos slides. A maioria dos modelos atuais opera com FP8 ou FP4.
Leia mais
- Sandisk e SK hynix divulgam primeiras especificações para memórias HBF
- SanDisk quer unir armazenamento e processamento no mesmo chip para acelerar a era da IA
- Kioxia e SanDisk criam NAND de 332 camadas que supera memória de 400 camadas da Samsung
A reação da comunidade e o quadro apontado pelos dados
A comunidade especializada tratou a omissão sobre resistência de gravação como um ponto extremamente negativo. Os dados apresentados, com as inconsistências e lacunas identificadas, compõem um cenário que a comunidade classificou como distante do nível desejado.
Para finalizar, destacamos que a SanDisk pode apresentar defesa técnica para as omissões e escolhas questionadas; contudo, até o momento da publicação desta matéria, nada ainda foi veiculado.
E aí? O que achou da situação? Compartilhe o seu ponto de vista nesta publicação e continue acompanhando o Adrenaline!
Fonte: WCCFtech
