NVIDIA GB300 entrega até 20x mais desempenho em IA autônoma que a geração Hopper
A NVIDIA está publicando seus primeiros benchmarks com as métricas do AgentPerf, usando o DeepSeek V4 Pro em sua plataforma GB300 NVL72. Este modelo representa o tipo de modelo Fr…
A NVIDIA está publicando seus primeiros benchmarks com as métricas do AgentPerf, usando o DeepSeek V4 Pro em sua plataforma GB300 NVL72. Este modelo representa o tipo de modelo Frontier que alimenta os agentes atualmente e é amplamente utilizado para Inteligência Artificial.
Na primeira rodada, o time verde registrou o desempenho mais rápido com seu hardware GB300, apresentando uma vantagem de 20 vezes (por Megawatt) em relação à sua plataforma HGX H200 mais antiga. O GB300 pode suportar até 60.000 agentes simultâneos por MW, um salto enorme em relação ao Hopper.
| Benchmark | Descrição | GB300 NVL72 | H200 |
|---|---|---|---|
| Agentes simultâneos por MW | Eficiência energética (maior número de agentes de IA ativos para o mesmo consumo de energia) | 61,4 mil | 2,6 mil |
| Agentes simultâneos por GPU | Eficiência de hardware (mais capacidade de atendimento e processamento por GPU) | 57,5 | 1,4 |
A NVIDIA afirma que o desempenho destaca a capacidade do GB300 NVL72 e do Blackwell da NVIDIA de executar cargas de trabalho de codificação de agentes em larga escala, mantendo as GPUs totalmente utilizadas em diversas sessões de agentes simultâneas.
Olhando para o futuro, o Rubin da NVIDIA está prestes a ser lançado e espera-se que amplie ainda mais essas vantagens por meio de uma arquitetura de IA superpotente, que oferecerá 50 PFLOPs de computação do NVFP4.
Também, com a CPU Vera, as chamadas da ferramenta LLM e o desempenho de ponta a ponta apresentarão ganhos significativos de desempenho e eficiência.
Notícias Relacionadas:
- IA entra no kernel Linux: GitHub Copilot ajuda a modernizar driver das antigas Radeon HD
- AWS lança Graviton5 com 192 núcleos, DDR5-8800 e PCIe Gen6 para a era da IA Agêntica
- Mini PC com Ryzen AI Max+ 395 chega ao Japão por US$ 4.356 e mira IA avançada
Brinquedo novo
O AA-AgentPerf é um novo benchmark da Artificial Analysis, que mede quantos agentes ativos uma implementação de inferência pode suportar sob cargas de trabalho realistas. Ele inclui:
- Trajetórias de agentes reais: sessões de codificação com múltiplas etapas, raciocínio intercalado, chamadas de ferramentas e comprimentos de contexto variáveis (não prompts uniformes sintéticos).
- Carga concorrente sustentada: agentes simulados mantêm solicitações contínuas em andamento, exigindo o uso de cache chave-valor, decodificação especulativa e comportamento do agendador.
- Níveis de SLO derivados do mercado: limites de desempenho baseados em dados de benchmark de API serverless da Artificial Analysis, refletindo os níveis de qualidade de serviço observados em diferentes provedores.
- Atualização contínua: os resultados são atualizados constantemente à medida que novos hardwares, stacks de software e versões de modelos se tornam disponíveis.
- Pronto para produção: os modelos são testados com otimizações realistas habilitadas e topologias de implementação em escala de produção.
O benchmark AA-AgentPerf é usado para medir três métricas-chave, que formam a base das implementações de IA modernas, como:
- Tempo até o Primeiro Token (TTFT): Latência por requisição, desde o envio da requisição até o recebimento do primeiro token de saída.
- Velocidade de Saída: Tokens de saída por requisição por segundo, medidos após o recebimento do primeiro token.
- Taxa de Transferência de Saída do Sistema: Tokens de saída agregados por segundo em todos os agentes simultâneos.
Fonte: NVIDIA e Artificial Analysis.
