8 RTX 3090 + 2 RTX 5090: após 8 meses usando um servidor com 10 GPUs, engenheiro revela o que descobriu ao rodar IA l...

Um engenheiro decidiu investir cerca de US$ 17 mil para montar um servidor capaz de executar grandes modelos localmente. Após seis a oito meses de uso diário, ele afirma que o equipamento se tornou uma peça central do trabalho, atendendo desde análise de documentos até geração de imagens sem depender de créditos ou limites de APIs.

O sistema chama atenção pelo hardware. São oito GeForce RTX 3090, duas RTX 5090, 256 GB de VRAM e 512 GB de memória RAM ECC, mas o relato publicado no Reddit vai muito além da configuração. Em uma análise operacional, o autor detalha consumo de energia, temperaturas, estabilidade, desempenho e as lições aprendidas ao transformar o que chama de um “data center em uma caixa (com rodas)” em uma ferramenta de uso diário.

“Data center in a Box (on Wheels)” 256Gb VRAM/512Gb RAM AI Server 6-8 Month Operational Review, Stability Write Up, Benchmarks
by
u/SweetHomeAbalama0 in
homelab

 

O projeto também chama atenção por dialogar com uma tendência crescente entre profissionais e pequenas empresas: a adoção de modelos de IA executados localmente para reduzir custos recorrentes com APIs, preservar a privacidade dos dados e manter maior controle sobre os fluxos de trabalho. É similar ao que mostramos nesse outro post:

Entusiasta monta servidor com oito RTX 3090 para rodar IA localmente e explica por que reduziu a potência de todas as GPUs

Segundo o autor, a máquina foi concebida para atender uma pequena empresa que utiliza inteligência artificial em diferentes etapas do trabalho.  A ideia era concentrar em um único equipamento tarefas como geração de texto, tradução, pesquisa aprofundada, análise de dados e produção de imagens, permitindo que vários usuários trabalhassem ao longo do dia sem esbarrar em limites de uso impostos por plataformas baseadas na nuvem.

Para isso, o projeto distribui as funções entre as placas de vídeo. Enquanto a maior parte delas fica dedicada aos grandes modelos de linguagem por meio do llama.cpp e do KoboldCpp, uma das RTX 5090 permanece reservada para o ComfyUI, responsável pela geração de imagens.

Segundo o relato, essa divisão permite que os dois tipos de carga de trabalho sejam executados simultaneamente sem grandes interferências entre si.

A configuração reúne 10 GPUs e 256 GB de VRAM

A base da máquina é uma workstation equipada com um AMD Ryzen Threadripper Pro 3995WX, de 64 núcleos, instalado em uma placa-mãe ASUS Pro WRX80E-SAGE/SE WiFi.

A configuração inclui:

• AMD Threadripper Pro 3995WX (64 núcleos);
• 512 GB de memória DDR4 ECC;
• oito GeForce RTX 3090 de 24 GB;
• duas GeForce RTX 5090 de 32 GB;
• aproximadamente 256 GB de memória de vídeo;
• SSD NVMe de 4 TB para o sistema;
• armazenamento complementar em HDD e SSDs SATA;
• duas fontes de alimentação, de 1300 W e 1600 W, ligadas em conjunto.

Segundo o autor, o investimento total ficou próximo de US$ 17 mil, embora parte dos componentes tenha sido adquirida antes da alta recente nos preços de hardware e memória.

O consumo ficou bem abaixo do que muita gente imaginaria

Uma das maiores dúvidas levantadas nos comentários dizia respeito ao consumo elétrico de dez GPUs funcionando simultaneamente. O autor afirma que, na prática, o sistema se mostrou muito menos exigente do que os números sugerem.

Segundo ele, durante inferências com modelos de linguagem o consumo sustentado normalmente permanece entre 1.400 W e 1.600 W, apesar das fontes oferecerem uma capacidade combinada de 2.900 W.

A explicação apresentada é que, ao dividir grandes modelos entre várias placas, boa parte do tempo é gasta na troca de informações via barramento PCI Express. Assim, as GPUs permanecem aguardando dados umas das outras durante parte do processamento, reduzindo a utilização simultânea da capacidade máxima de cada placa.

O maior desafio não foi potência, mas estabilidade

Curiosamente, o principal problema encontrado durante a montagem não estava relacionado ao consumo contínuo. O computador apresentava reinicializações aleatórias mesmo quando as GPUs operavam muito abaixo do limite de potência das fontes.

Depois de investigar o comportamento do sistema, ele concluiu que a causa eram picos transitórios de corrente, provocados quando várias placas aumentavam o consumo exatamente no mesmo instante. Para resolver o problema, passou a limitar manualmente os clocks das GPUs e estabelecer limites de potência utilizando o utilitário nvidia-smi. Desde então, afirma que o servidor passou a operar durante dias seguidos sem apresentar novos desligamentos inesperados.

Temperatura e ruído ficaram abaixo das expectativas

Outro aspecto destacado foi o comportamento térmico. Apesar da quantidade incomum de hardware instalada dentro do gabinete Thermaltake Core W200, o fluxo de ar criado por ventoinhas de 140 mm teria mantido as temperaturas sob controle.

Segundo as medições compartilhadas pelo autor:

• em repouso, a GPU mais quente costuma permanecer na faixa dos 40 °C, enquanto as mais frias ficam próximas dos 20 °C;
• durante inferências prolongadas, as placas normalmente permanecem na casa dos 60 °C;
• apenas a RTX 5090 dedicada ao ComfyUI chega ocasionalmente à faixa dos 70 °C durante geração intensa de imagens.

Ele também afirma que o nível de ruído ficou muito abaixo do esperado, comparando o funcionamento do equipamento ao de um computador gamer de alto desempenho, e não ao de um servidor tradicional.

Modelos com centenas de bilhões de parâmetros

Ao longo dos últimos meses, o servidor foi utilizado para executar diferentes modelos open source de grande porte.

Entre eles estão variantes de:

• DeepSeek;
• Nemotron Ultra;
• GLM 4.7;
• Qwen 3.5;
• Kimi K2.

O melhor equilíbrio entre qualidade e desempenho apareceu em modelos situados entre 300 bilhões e 600 bilhões de parâmetros, embora também tenha realizado testes com versões quantizadas ainda maiores. No post ele incluiu uma tabela com benchmarks de processamento de prompts e geração de tokens, além de observações qualitativas sobre cada modelo após uma série de testes voltados para cenários de cibersegurança.

cibersegurança.

Um detalhe aparentemente simples virou uma das partes mais úteis do projeto

Entre todas as soluções adotadas, uma das mais elogiadas pelo próprio criador foi também uma das mais simples: instalar rodas no gabinete. Mesmo com temperaturas controladas, dez GPUs continuam dissipando uma quantidade significativa de calor para o ambiente.

Com o gabinete sobre rodas, o servidor pode ser levado para outro cômodo da casa quando necessário e acessado remotamente pela rede local ou por VPN, permitindo escolher onde esse calor será concentrado durante longos períodos de uso.

IA local começa a ganhar espaço, mas ainda não substitui todos os serviços em nuvem

Ao concluir o relato, ele reconhece que os modelos mais avançados continuam chegando primeiro às plataformas baseadas em nuvem. Ainda assim,  acredita que a evolução dos modelos abertos já tornou a IA local uma alternativa viável para determinados perfis de usuários, especialmente profissionais e pequenas empresas que valorizam privacidade, previsibilidade de custos e controle sobre os próprios dados.

Ao mesmo tempo, ele deixa claro que esse tipo de infraestrutura não é indicado para todos os cenários. O próprio review recomenda a configuração principalmente para inferência de grandes modelos e fluxos de trabalho criativos, e não para treinamento de redes neurais ou ambientes com grande número de usuários simultâneos.