Entusiasta monta servidor com oito RTX 3090 para rodar IA localmente e explica por que reduziu a potência de todas as...
Montar um servidor doméstico para inteligência artificial usando várias placas GeForce RTX 3090 já é um projeto incomum, fazer isso com oito GPUs funcionando ao mesmo tempo exige…
Montar um servidor doméstico para inteligência artificial usando várias placas GeForce RTX 3090 já é um projeto incomum, fazer isso com oito GPUs funcionando ao mesmo tempo exige resolver desafios que vão muito além da capacidade de processamento. Foi exatamente esse tipo de configuração que um usuário exibiu nos comentários de uma discussão no Reddit sobre servidores caseiros de IA. Diferentemente do autor da publicação original, que descreveu seu equipamento, mas não mostrou fotografias, o comentarista no post compartilhou uma imagem do próprio sistema e detalhou as escolhas de hardware utilizadas no projeto.
A fotografia mostra um rack aberto equipado com oito GeForce RTX 3090, múltiplas ventoinhas de grande porte e duas fontes de alimentação de alta capacidade, ilustrando a infraestrutura necessária para manter um conjunto desse porte em funcionamento.
O objetivo era aproveitar os 128 lanes PCI Express do Threadripper PRO
Segundo o relato, a configuração utiliza:
- 8 GeForce RTX 3090 (192 GB de VRAM no total);
- AMD Threadripper PRO 3945WX;
- placa-mãe para Threadripper PRO com 128 pistas PCI Express;
- um riser PCIe 4.0 com bifurcação x16 → 2× x8;
- duas fontes de alimentação de 1.600 W.
O autor comenta que escolheu essa plataforma principalmente pelo grande número de pistas PCI Express disponíveis, algo essencial para operar diversas GPUs simultaneamente sem depender de plataformas voltadas exclusivamente para servidores corporativos. Segundo ele, a placa-mãe foi adquirida por cerca de US$ 550, enquanto o processador custou apenas US$ 99 no mercado de usados.
O maior problema não era desempenho, mas calor
Embora um conjunto com oito RTX 3090 seja capaz de oferecer enorme capacidade de processamento para inferência e treinamento de modelos de IA, o usuário afirma que o calor gerado rapidamente se tornou um dos principais desafios. Para reduzir temperatura e consumo elétrico, todas as placas operam com limite de potência de 220 W, valor inferior ao consumo típico de uma RTX 3090 em carga máxima. Segundo ele, elevar esse limite para 250 W reduziria a perda de desempenho para menos de 5%. Ainda assim, preferiu manter as placas em 220 W porque, em suas palavras, o equipamento “vira praticamente um aquecedor de ambiente”.
Esse tipo de ajuste é relativamente comum entre usuários que mantêm várias GPUs funcionando continuamente, já que pequenas reduções no consumo individual representam centenas de watts economizados quando multiplicadas por oito placas.
Configuração é usada para executar modelos de IA localmente
O autor também comenta que utilizava o modelo Solar Open 2 INT4 por meio do vLLM, explorando paralelismo entre GPUs para executar modelos de linguagem localmente.
Um retrato da nova onda de laboratórios de IA domésticos
Nos últimos meses, tornou-se cada vez mais comum encontrar projetos de entusiastas utilizando RTX 3090 devido aos seus 24 GB de memória GDDR6X, característica bastante valorizada para modelos de linguagem.
Mesmo pertencendo a uma geração lançada em 2020, a placa ainda oferece uma relação entre capacidade de memória e preço difícil de encontrar em GPUs mais recentes.
Você também deve ler!
Empresa monta infraestrutura de IA local com três Mac Studio para atender cerca de 200 funcionários