ADATA quer eliminar gargalo das GPUs em IA usando memória RAM e SSDs juntos

A inferência de IA e a ascensão dos fluxos de trabalho de Inteligência Artificial Agêntica têm impactado profundamente a indústria de tecnologia. A demanda está disparando e a oferta é praticamente inexistente, de modo que os preços de muitos componentes estão nas alturas.

Empresas de IA estão exigindo mais memória em aceleradores como GPUs, enquanto o recente aumento na demanda por CPUs elevou drasticamente os requisitos de memória do sistema.

E, nesse contexto, a TRUSTA, marca irmã da ADATA, lançou uma nova solução chamada “AI Scaler Extended Memory”. Ela visa solucionar os crescentes gargalos de memória, combinando toda a memória disponível nos sistemas com soluções de armazenamento como SSDs, que podem ser usadas simultaneamente para a implantação de modelos.

Notícias Relacionadas:

• ASUS lança All-in-One com Snapdragon X e promete desempenho silencioso com IA integrada
• CPU Vera da NVIDIA supera AMD EPYC e Intel Xeon em primeiros benchmarks
• Nova solução da SK hynix promete chips de IA mais frios e eficientes com iHBM

Solução em camadas

Lançado hoje, o AI Scaler Toolkit é apresentado como núcleo da solução, estendendo a implantação de modelos de IA além de arquiteturas exclusivas de GPU para a memória do sistema e SSDs de alta velocidade.

Esta solução integrada de software e hardware ajuda as empresas a superar as limitações de memória da GPU e a reduzir os custos de implementação de IA em mais de 50% em cenários de inferência e ajuste fino de modelos.

O lançamento também marca a evolução da ADATA, de uma marca de memória e armazenamento para uma provedora de soluções integradas de software e hardware.

Solução de um problema

Empresas de pesquisa projetam que a infraestrutura de IA crescerá a uma taxa composta de crescimento anual (CAGR) de aproximadamente 26% até 2034. Afinal, mais implementações de IA estão migrando de serviços em nuvem para uma nova fase de implementação em infraestrutura própria e na borda.

A solução AI Scaler Extended Memory Storage foi projetada para enfrentar o desafio de executar modelos de linguagem complexos que atualmente exigem GPUs de alto desempenho, criando grandes barreiras de implementação e escalabilidade limitada.

Comparada a arquiteturas que dependem inteiramente da memória da GPU, a AI Scaler Toolkit estende a implementação do modelo para memória da GPU, DRAM e SSDs, permitindo um uso mais eficiente dos recursos do sistema.

Em cenários testados, a inferência de modelos que normalmente requer múltiplas GPUs pode ser otimizada para ser executada em uma única GPU combinada com memória do sistema expandida.

Para o ajuste fino do modelo, a solução pode alocar recursos computacionais dinamicamente entre GPU, DRAM e SSD para permitir uma escalabilidade de recursos mais flexível. E isso reduz os custos de implementação em mais de 50%, ajudando as empresas a avaliar a adoção de IA dentro de orçamentos limitados.

Open Source

A AI Scaler Toolkit é uma solução que foi projetada como uma plataforma gratuita e de código aberto, não estando vinculada a configurações de hardware específicas. Isso permite que empresas, instituições de pesquisa e desenvolvedores configurem recursos com base em suas necessidades.

Ela suporta famílias de modelos convencionais, incluindo Llama, Qwen, Mistral, Mixtral, GPT-OSS, DeepSeek, Phi e Gemma, com compatibilidade para modelos adicionais em constante expansão.

A plataforma também suporta aplicações de agentes de IA, como OpenClaw, NemoClaw e Hermes Agentic, ajudando os usuários a integrar o AI Scaler em fluxos de trabalho de IA Agentic mais completos.

Para os interessados, o AI Scaler Toolkit já está totalmente disponível para download e uso.

Fonte: ADATA.