Como montar um servidor/NAS de baixo consumo com 7W em idle usando Intel de 12ª/13ª geração
(mattgadient.com)- A combinação Intel i5-12400, ASUS Prime H770-Plus D4, 64GB DDR4, Ubuntu Server 23.04 e Corsair RM750 alcançou 7W em idle medidos na tomada antes da adição efetiva de dispositivos de armazenamento
- A chave para o baixo consumo foi ativar no BIOS C-State, ASPM L1, RC6 e ALPM, e usar o auto-tune do PowerTOP para fazer o pacote da CPU entrar em estados de economia C8/C10
- Ao conectar 12 HDDs e vários NVMe, o consumo subiu para 24~25W, e o problema de o JMicron JMB585 impedir ASPM e prender o sistema em C3 foi amenizado com a troca para uma controladora SATA ASM1166
- Slots PCIe/M.2 ligados diretamente à CPU, modelos de SSD NVMe e SATA, NIC Realtek, dispositivos USB e firmware de controladoras SATA podem alterar os C-States, então é necessário fazer testes A/B por combinação de componentes
- Mesmo a configuração final com 11 HDDs e controladoras NVMe/SATA caiu para 15~16W com spin-down dos HDDs e economia de tela/teclado, e no longo prazo, com migração para SSD, a expectativa é de 10~11W em idle
Configuração-base do build de 7W em idle
- O objetivo era baixo consumo em idle, desempenho de CPU suficiente para compressão, suporte a 12 HDDs e pelo menos 1 NVMe, expansibilidade para no futuro migrar para 6 NVMe e 6 SSDs SATA, e controle de custos
- A medição de 7W foi feita na tomada antes da adição séria de dispositivos de armazenamento
- Placa-mãe Intel H770
- CPU Intel i5-12400
- 64GB de RAM DDR4
- SSD de boot com Ubuntu Server 23.04
- PSU Corsair
- No BIOS, os C-States foram configurados para alcançar C8, e foi aplicado
powertop --auto-tune - O auto-tune do PowerTOP desativou o teclado USB por economia de energia; mantendo o teclado utilizável, o consumo na tomada ficava em 8W
- Com a saída de vídeo ligada, o consumo ficava em 9~10W, e ao apagar a tela após 600 segundos com
consoleblank=600, caía para 7W
Builds antigos de baixo consumo e a meta desta vez
- Registros anteriores de builds de baixo consumo serviram como referência para esta meta
- PC de baixo consumo baseado em Skylake de 2016: Building a Low Power PC on Skylake – 10 watts idle com 10W em idle
- Home NAS / file server de 2019 com 4 dispositivos de armazenamento: 9w Idle – Creating a low power home NAS / file server with 4 Storage Drives com 9W em idle
- Em 2021, a combinação Gigabyte H470M DS3H com Intel i3-10320 ficou em 11W, mas sem artigo separado
- Em 2022, outros 2 sistemas ficaram em 19W e 27W, mostrando que nem toda combinação de CPU/placa-mãe chega perto de 10W
- Montar um sistema novo perto de 10W na tomada é um trabalho quase de aposta, que exige escolher peças, ajustar e então verificar o resultado real
Escolha da placa-mãe: ASUS Prime H770-Plus D4
- A escolha final foi a ASUS Prime H770-Plus D4
- Na época, as opções de consumo comum eram placas-mãe Intel séries 600/700 e AMD séries 500/600
- A possibilidade futura de usar 6 drives NVMe era importante, mas foi considerado que não havia placa-mãe de consumo capaz de usar 6 slots M.2 simultaneamente todos em modo PCIe
- A AMD MEG X570S Unify-X Max parece ter 6 M.2, mas pelo manual, com os 6 ocupados, o último precisa ser uma variante SATA
- A ASRock Z790 PG Sonic também tem 6 slots, mas por conta das condições de exclusão do slot NVMe Gen5, só 5 podem ser usados
- Em placas de consumo, há limitação de lanes do chipset ao tentar usar todos os M.2 em Gen4 x4
- AMD X570, Intel B760: até 3
- AMD B650, Intel H670/Q670/Z690/W680: 4
- AMD X670, Intel H770: 5
- Intel Z790: 6
- Por causa da meta de 6 NVMe, seria necessário um adaptador PCIe-para-M.2, então a escolha da placa-mãe foi guiada pela soma entre o número de slots M.2 integrados e o número de slots PCIe x4 ou maiores
- A plataforma Intel foi escolhida por causa do consumo do chipset, da velocidade do link chipset-CPU, das peças já disponíveis e de preocupações com o consumo da AM5
- Todos os chipsets Intel séries 600/700 têm TDP de 6W
- O chipset AMD X670 foi considerado como 7W+7W
- Intel H670/Q670/W680/Z690/H770/Z790 se conectam à CPU por DMI 4.0 x8, enquanto AMD X570/B650/X670 usam PCIe 4.0 x4, com throughput teórico na faixa de 16GB/s contra 8GB/s
- Era possível reaproveitar 64GB de DDR4 e uma CPU Intel de 12ª geração já em posse
- Os chipsets AMD série 600 são apenas DDR5
CPU, memória, drive de boot e PSU
- A CPU usada foi uma Intel i5-12400 H0 stepping Alder Lake já disponível
- Ela havia sido escolhida em um build desktop anterior por decodificação AV1 por hardware, por evitar o overhead de silício dos E-cores, e pelo desempenho dentro da linha de 12ª geração
- O build desktop anterior teve muitos problemas relacionados a GPU e display, mas isso não era fator principal neste build focado em servidor
- Foram usados 64GB de DDR4-3200
- 2x16GB Kingston HyperX dual-rank Hynix DJR
- 2x16GB Kingston HyperX single-rank Hynix CJR
- Os 4 módulos operaram em 16-18-18-36, com tensão da RAM ajustada para 1.25V
- TestMem5 e Memtest86 indicaram 1.22V estável, mas 1.25V foi usado para maior margem
- O drive de boot para testes foi um Sandisk Ultra 3D 1TB SATA SSD
- Como havia muitos testes A/B com PCIe e NVMe, o Ubuntu 23.04 foi instalado em um SSD SATA para deixar os slots PCIe livres
- Após os testes, o sistema principal seria executado a partir de um Samsung SSD 970 EVO Plus 500GB NVMe
- A PSU usada foi uma Corsair RM750
- Para um sistema em idle perto de 10W, 750W parece exagero, mas o pico instantâneo quando 12 motores de drives giram ao mesmo tempo pode ser alto
- A Seagate especifica corrente de pico no rail de 12V de 2A/3A em DC/AC para um único drive de 10TB 3,5"
- Foi calculado que 6 drives puxando 150~200W ao mesmo tempo e a CPU chegando a 120W poderiam fazer o sistema saltar momentaneamente de 10W idle para cerca de 400W
- Falta de potência instantânea pode causar queda de tensão, travamentos, reinicializações e corrupção de dados durante gravações
Configurações de energia no BIOS e no sistema operacional
- As condições iniciais de medição foram Ubuntu Server 23.04, auto-tune do Intel PowerTOP e medição na tomada
- As principais configurações aplicadas no BIOS foram as seguintes
- Ativar CPU C-state até C10
- Ativar ASPM e definir tudo para L1
- Ativar RC6 (Render Standby)
- Ativar Aggressive LPM Support (ALPM)
- Desativar HD Audio, Connectivity Mode, LEDs, GNA Device e Serial Port
- Para a meta de baixo consumo, o suporte da placa-mãe e a configuração do BIOS são fundamentais
- Na placa ASUS H770, é necessário ativar Native ASPM e os estados L1 apropriados para reduzir o consumo
- Essa configuração existe para permitir que o SO controle isso em vez do BIOS
Gargalos que apareceram após conectar o armazenamento
- Ao conectar 12 HDDs e deixá-los parados, o consumo em espera subiu de 7W para 24~25W
- Inicialmente foram usados 6 HDDs de 2,5" e 6 HDDs de 3,5"
- Como a placa-mãe tinha apenas 4 portas SATA, foram usadas controladoras SATA e port multipliers
- No começo também havia 4 NVMe, e o Western Digital SN770 parecia ficar quente em idle e não entrar em modo de baixo consumo
- Ao remover os HDDs e testar os componentes um a um, a controladora SATA JMicron JMB585 pareceu ser a principal causa do aumento de consumo
- Sem a JMB585, o pacote da CPU chegava a C6
- Ao reconectar a JMB585, o máximo passava a ser C3
- Se um dispositivo PCIe não entra em ASPM L1, a CPU não consegue entrar em estados de economia mais profundos
- A placa com controladora JMB585 parece não oferecer suporte a ASPM
Impacto das lanes PCIe ligadas diretamente à CPU
- Este sistema só chegava a C8 quando nada estava conectado às lanes PCIe diretamente ligadas à CPU
- Colocar qualquer coisa no slot PCIe superior ou no slot NVMe superior limitava o sistema a C6
- Em testes simples, a diferença de consumo entre C6 e C8 pareceu ser inferior a 1W
- C8 é algo desejável, mas chegar a C6 foi considerado essencial
- C3 foi considerado consumidor demais
- Nesta placa-mãe específica, se não houver necessidade real de baixa latência ou de toda a largura de banda direta da CPU, é melhor evitar usar as lanes ligadas diretamente à CPU
Comparação entre as controladoras SATA ASM1166 e JMB585
- Na busca por uma HBA SATA, concluiu-se que a controladora SATA ASM1166 pode suportar ASPM L1, mas exigiria flash de firmware para uso adequado
- Após a chegada da placa ASM1166, o firmware foi gravado primeiro
- O firmware mais recente veio do arquivo “fix compatibility issue” na seção de downloads da SilverStone ECS06: https://www.silverstonetek.com/en/product/info/expansion-cards/ECS06/
- O procedimento seguiu a documentação de Phil Barker: https://docs.phil-barker.com/posts/…
- O arquivo da SilverStone tinha o mesmo MD5 do firmware encontrado no fórum do unRAID
- Resultados de medição de consumo sem drives conectados
- Sem controladora SATA: 8W, C8
- ASM1166 em slot x4 ligado ao chipset: 9W, C8
- JMB585 em slot x16 ligado à CPU: 12W, C3
- JMB585 em slot x4 ligado ao chipset: 15W, C3
- ASM1166 em slot x16 ligado à CPU: 22W, C2
- Com drives conectados, a ASM1166 foi claramente melhor que a JMB585 em consumo
- ASM1166 em slot x4 ligado ao chipset: 10W, C8
- 2 ASM1166 em slots x4 ligados ao chipset com apenas 1 NVMe em uso: 11W, C8
- JMB585 em slot x4 ligado ao chipset: 16W, C3
- JMB585 em slot x16 ligado à CPU: 24W, C2
- Ao conectar 4 drives em um slot ligado ao chipset, a ASM1166 adicionou +2W ao consumo do sistema, enquanto a JMB585 adicionou +8W
NVMe e drives SATA também alteram os C-States
- Usando um WD Black SN770 Gen4 NVMe na porta PCIe/NVMe superior ligada diretamente à CPU, surgiram erros AER Bus Error e BadTLP
- No BIOS, definir “PEG – ASPM” como Disabled ou L0s eliminava os erros
- Mas L1 é importante para economizar energia, então isso não era uma boa opção
- Definir a velocidade do link como Gen3 reduzia bastante os erros, mas não os eliminava
- Ao trocar o drive WD por um Crucial P3, os erros desapareceram
- Ao instalar 2 NVMe Crucial P3 no slot PCIe x16 ligado à CPU e no slot M.2 superior, a temperatura do controlador em idle ficou alta
- O NAND ficava em cerca de 27~29°C, mas o controlador era reportado em 49~50°C
- Ao mover ambos os NVMe para slots PCIe ligados ao chipset, L1.1/L1.2 foi ativado e a temperatura do controlador caiu para 38~41°C
- Depois foi atualizado que, no build final, a temperatura do controlador dos Crucial P3 ficou em 31~34°C, com o NAND em 23~24°C
- Marca e modelo de SSD SATA também podem alterar o resultado dos C-States
- O SSD SATA Patriot P210 de 1TB prendia o sistema em C6
- Entre os drives que permitiram C10 estavam Samsung 850 EVO SATA SSD, Seagate SATA HDD, Toshiba SATA HDD, Sandisk Ultra 3D SATA SSD e Crucial MX500
- O ideal é escolher SSDs SATA com cuidado por marca e modelo e validar os indicadores de desempenho ainda dentro do prazo de devolução
Configuração atual de armazenamento e consumo
- A configuração atual já tem muito mais armazenamento
- 1x Samsung 970 EVO Plus NVMe 500GB como drive de boot
- 2x Crucial P3 NVMe 4TB
- 5x Seagate HDD 2,5" 5TB, com 4TB usados em cada um
- 6x Seagate HDD 3,5" 10TB, com 8TB usados em cada um
- 2x placas SATA ASM1166
- Com display ligado e teclado ativo, o consumo na tomada por etapa foi o seguinte
- 11 HDDs todos em active-idle: 50W
- 6 HDDs de 3,5" em Idle B: 38W
- 6 HDDs de 3,5" em Idle C: 34W
- 6 HDDs de 3,5" em Standby_Z com spin down: 21W
- 5 HDDs de 2,5" também em Standby: 18W
- Saída de vídeo desligada: 16W
- Permitindo que o PowerTOP desative o teclado USB: 15W
- O consumo em standby especificado pela Seagate é de cerca de 0.8W por drive de 3,5" e 0.18W por drive de 2,5", o que parece bater com as observações reais
- Os drives de 3,5" são os componentes que mais consomem energia em comparação com o restante do sistema
Migração de longo prazo de HDD para SSD
- Como o consumo em idle com HDDs em standby já é baixo, não foi considerada necessária uma migração urgente para SSD
- A migração será gradual conforme HDDs e drives reserva falhem ou os preços de SSD caiam
- A meta final é um build all-SSD
- O plano original era 1 drive de boot, 6x NVMe em RAIDZ2 e 6x SSD SATA em um segundo RAIDZ2
- Os NVMe provavelmente seriam Crucial P3 4TB, e os SSDs SATA provavelmente Samsung 870 QVO 8TB
- Como o uso dos slots M.2/PCIe ligados diretamente à CPU traz imprevisibilidade e um pequeno custo em C-State, consumo e temperatura, pode haver mudança de direção para abrir mão de parte dos NVMe e usar mais SATA, evitando as lanes diretas da CPU
- Com todos os HDDs trocados por SSDs, a expectativa é de consumo em idle de cerca de 10~11W, com 72TB em drives, 64GB de RAM e um processador bastante competente
Uso de cache ZFS e Special vdev
- Como a troca total dos HDDs por SSDs pode demorar, estão sendo usados no meio do caminho os recursos do ZFS para aproveitar armazenamento rápido
- O ZFS oferece Special Allocation Class e drives de cache L2ARC como opções para colocar armazenamento rápido, como SSD, à frente do armazenamento lento
- A Special Allocation Class permite criar um vdev dedicado para metadados e blocos pequenos de tamanho selecionado
- A listagem de arquivos e a navegação por diretórios ficam mais rápidas
- É possível executar
lsem vários diretórios sem acordar os HDDs, mesmo com os arquivos em si armazenados neles - Porém, como todos os metadados ficam no special vdev, se esse vdev falhar, o acesso a todos os dados se torna praticamente impossível
- É necessário no mínimo um mirror, e também se pode considerar um mirror de 3 vias
- O L2ARC é o cache de segundo nível do ZFS
- Quando o cache em RAM enche, o ZFS copia alguns blocos para o L2ARC e depois os remove da RAM
- No próximo acesso, esses dados são lidos do L2ARC em vez do disco
- O L2ARC pode funcionar bem até com apenas 1 SSD, e em caso de erro de checksum ou falha do drive, o ZFS relê os dados do disco original
- Nesta configuração, um NVMe de 4TB está sendo usado como L2ARC
- Quando os demais drives de 2,5" forem todos substituídos por SSDs e a vantagem de velocidade do cache SSD desaparecer, esse dispositivo de cache poderá ser removido
Conclusões práticas
- Para buscar baixo consumo em idle, o BIOS da placa-mãe precisa oferecer configurações suficientes de C-State, ASPM e ALPM
- Todos os dispositivos precisam oferecer suporte a ASPM L1 para que o resultado seja estável
- A parte mais difícil foi encontrar uma controladora SATA com suporte a ASPM L1
- Sempre que possível, é melhor usar uma placa-mãe com portas SATA suficientes ligadas diretamente ao chipset Intel, para evitar placas adicionais
- Também é preciso pesquisar se os NVMe escolhidos entram corretamente em estados APST de baixo consumo sob ASPM
- Se a meta for C8, é melhor evitar o uso das lanes PCIe ligadas diretamente à CPU
- Essas lanes correspondem ao slot PCIe superior e aos slots M.2 superiores
- Exceções são casos em que baixa latência ou toda a largura de banda direta da CPU são realmente necessárias, ou quando o dispositivo fica sempre ativo e não entra em economia
- Um medidor de energia na tomada como o Kill-A-Watt é essencial para verificar o cenário real
- Só os indicadores de software não mostram bem eficiência da PSU, consumo em espera dos drives, impacto de dispositivos USB ou o efeito da saída de vídeo
- Segundo uma atualização sobre NICs Realtek, kernels Linux recentes desativam o modo de economia L1 na maioria das NICs Realtek, o que pode impedir a CPU de entrar em C-States adequados e elevar o consumo
- Há formas de contornar isso, mas no futuro pode valer restringir a escolha a placas-mãe com adaptador de rede Intel 1 Gigabit
- O script mencionado nos comentários pode ser visto em RTL8125-ASPM.sh.txt
1 comentários
Comentários do Hacker News
Há um tópico de fórum alemão e um documento no Google Docs reunindo configurações com menos de 30W, o que parece bem útil para quem monta home server/NAS https://goo.gl/z8nt3A
Pessoalmente, a configuração com melhor custo-benefício que encontrei foi Fujitsu D3417-B2, Intel Xeon 1225 V5, 64GB ECC RAM, WD SN850x 2TB, Fractal Design Define Mini C, Pico PSU 120W + fonte Leicke 120W, com gerenciamento remoto via Intel AMT + MeshCommander
Comprei tudo usado por um preço bem baixo e estou rodando Proxmox; sem HDD, o consumo em idle fica em 9.3W. Há 6 portas SATA e uma porta PCIe, então também dá para expandir armazenamento ou fazer passthrough de GPU dedicada
Paguei €380 no total, mas pode ser difícil encontrar essas peças. Para codificação de mídia, não é grande coisa, então um Core i3 8100 ou superior é melhor; como placas alternativas, também vale considerar GIGABYTE C246N-WU2, Gigabyte C246-WU4, Fujitsu D3517-B, Fujitsu D3644 e a Corsair RM550x versão 2021
Workstations usadas e baratas como Dell T30 ou Fujitsu Celsius W550 também funcionam bem como servidor. No caso da Fujitsu, por usar placa D3417(-A), a fonte não é ATX de 24 pinos, mas sim uma fonte proprietária de 16 pinos, e o adaptador 24 pinos-16 pinos do AliExpress parece um pouco arriscado, então ainda está sendo validado
As opções com Ryzen são raras, mas há relatos de cerca de 16W em idle com a combinação AMD Ryzen 5 PRO 4650G e placa Asus PRIME B550M-A
As placas da Fujitsu são excelentes e, na UE, muito baratas. Também há caso de engenharia reversa da licença de KVM do recurso de gerenciamento remoto iRMC S4/S5 https://watchmysys.com/blog/2023/01/fujitsu-irmc-s4-license/
HDDs têm picos grandes de consumo no spin-up, e, se houver vários em RAID, eles podem subir ao mesmo tempo e ultrapassar a faixa de potência suportada
CPUs AMD PRO suportam ECC, o que considero essencial em um computador de verdade. Deixo a maior parte dos componentes da placa desativada, e a qualidade é bem próxima do nível mais baixo do mercado consumidor
Também gosto do fato de que, quando é preciso gastar mais energia, a GPU integrada é bastante decente
O hardware é excelente, mas, se o gerenciamento do software virar trabalho, fica difícil justificar esse tipo de montagem caseira
Meu Synology NAS roda cerca de 15 contêineres, Wireguard e o sistema operacional da Synology, o DSM, com 8GB de RAM e um processador J4150, e normalmente fica em 1% a 3% de uso em idle
No fim, o software é o que faz a diferença, e o DSM foi a maior vantagem e a maior surpresa. Também uso TrueNAS como segundo servidor de backup, mas não tem comparação com o DSM
Há momentos em que eu simplesmente não quero vasculhar logs e passar por tentativa e erro por causa de uma configuração básica de CRON para fazer backup de um único arquivo em outro servidor, e perdi a conta de quantas vezes o DSM simplesmente funcionou
Acho que a Synology está perdendo a chance de ser a Microsoft do mundo NAS ao permitir que o DSM rode também em plataformas não-Synology, ou pelo menos ao facilitar a instalação manual. O DSM é um sistema excelente e poderia se vender sozinho, além de abrir caminho para upsell de produtos como Active Backup for Business
Xpenology é um bootloader para o DSM da Synology, e o DSM é o sistema operacional proprietário baseado em Linux usado nos equipamentos NAS da Synology
Com o Xpenology, é possível rodar o Synology DSM em dispositivos x86, como PCs comuns ou NAS montados por conta própria, e usar os recursos multimídia e de nuvem do DSM sem comprar o hardware da Synology
Muita gente também prefere isso porque pode escolher um processador e mais RAM por conta própria para tarefas como transcodificação de vídeo
Mesmo um pequeno aumento nas opções de combinação de hardware já causa explosão combinatória, tornando impossível testar tudo
Um frontend do Synology DSM na frente de uma IaaS em nuvem seria algo bem interessante
Tenho um DS1520+ com cinco HDDs Seagate Iron Wolf Pro de 16TB em RAID6, e guardo outro HDD igual como cold spare; há 2 anos tudo roda sem absolutamente nenhum problema
Em contrapartida, meu histórico com instalações Linux é de quebrar tudo só de respirar, quase um filme de terror ambulante de massacre em massa de Linux
Neste ano, a empresa ainda vendia equipamentos com 4.4, e só os produtos novos lançados neste ano receberam 5.10. Também não dá para receber upgrade de versão do kernel entre versões do DSM
O autor parece ter montado 5 sistemas entre 2016 e 2023, mais ou menos em anos alternados
Algumas peças, como RAM, foram reutilizadas em vários builds
A dúvida é quanto foi o custo do hardware e quanto foi a conta de eletricidade ao longo da vida útil. Uma máquina que consome mais energia e é usada por 4 anos pode ser melhor do que uma máquina de baixo consumo usada por 2 anos
No pcpartpicker atual, placa-mãe + CPU custam US$ 322, e, calculando US$ 0,25 por kWh, usar 36W continuamente por 4 anos também custa cerca de US$ 315
Portanto, um sistema de 43W por 4 anos pode acabar sendo mais barato, somando compra e operação, do que um sistema de 7W por 2 anos
Quase não amplio o armazenamento. Nessa altura, a rede e o software já estão envelhecidos, então compro um novo, coloco o antigo como backup do equipamento novo e depois descarto o backup mais antigo
Curiosamente, esse ciclo de upgrade se manteve por 20 anos, então fica fácil entender a depreciação. No total, uso por 16 anos, mas na prática são 8 anos como equipamento principal e 8 anos como equipamento de backup
A configuração é 7950X3D, X670E Taichi, 96GB 6400MHz CL32, 2x4TB Lexar, 4x18TB Seagate Exos X18, RX570 8G e Proxmox
Em idle sem VMs, fica em cerca de 60~70W; em idle com a VM do TrueNAS e os discos girando, 90~100W; com TrueNAS e Fedora Desktop com passthrough de GPU em idle, cerca de 150W
Daqui a algumas semanas, pretendo trocar a RX570 por uma 7900 XTX. A RAM adiciona bastante consumo, e em DDR5 é comum ver 3~5W por 8GB dependendo da frequência
Eu esperava que Proxmox + TrueNAS ficassem em algo como 50~100W, mas não levei em conta o consumo de energia dos 96GB de RAM
Minha configuração é AMD Ryzen 7 PRO 5750GE, 128GB ECC DDR4-3200, Intel XL710-QDA2, LSI 9500-16i, 8 HDDs WD 16TB, 2 SSDs M.2 NVMe SK Hynix P41 Platinum, 2 SSDs U.2 NVMe Samsung PM9A3 e 2 SSDs SATA Samsung PM893
Tem BMC e, com dual 40GbE, em situações específicas consegue sustentar cerca de 55GbE na rede, embora na maior parte do tempo fique em 30~35GbE. O TrueNAS SCALE roda como armazenamento puro para edição de vídeo, enquanto um cluster Proxmox de 1L SFF com 5750GE e 10GbE roda principalmente Apache Spark, e também há um cluster k3s com Pi4B 8GB
Há camadas de armazenamento, então os discos quase não são tocados e ficam dormindo a maior parte do tempo. Os dados vão e voltam principalmente pelos U.2 e depois são movidos automaticamente. Os SSDs SATA são para metadados, e o boot é feito por um SuperMicro SuperDOM
O Zen 3 Ryzen PRO 5750GE é um produto quase unicórnio, mas consome muito pouco. Tem consumo em idle muito baixo, GPU integrada e suporte a ECC, além dos recursos de proteção de memória do EPYC; entrega cerca de 92% do desempenho de um 5800X e ainda assim fica limitado a pouco menos de 39W de potência do pacote em carga total nos 8 núcleos e 16 threads
O LSI 9500-16i forneceu as lanes necessárias, isto é, 8 PCIe e 16 SlimSAS, para lidar com dois U.2 enterprise e 8 HDDs, e por ser um adaptador mais novo também tinha baixo consumo em idle
A NIC Intel dual QSFP+ foi escolhida de propósito porque, usando DAC passivo de cobre, dá para economizar 4~5W por porta entre a NIC e o switch. Também importa o fato de que, nessa velocidade de transmissão, a latência é menor do que com óptico
O grande gastador de energia é a ASRock X570D4U. Só o BMC consome 3,2W, e o próprio X570 também puxa alguma energia. Ainda assim, o sistema inteiro fica em 50W em idle, 75~80W na maioria das cargas e, teoricamente, algo como 180~190W com tudo em carga máxima
Eu também uso DIMMs DDR5 de 48GB, e no HwInfo aparece no máximo 6W por módulo
Somando um NAS 847E16-RJBOD com 44 HDDs girando, um switch POE+ 10GbE de 48 portas, dois no-breaks, monitoramento ambiental e um roteador DECISO OPNsense, o consumo médio é de 1264W, então parece uma refinaria petroquímica
Um dos UPS informa eficiência de 98% com base no fator de potência, mas o outro fica em 91%, o que não é tão bom
Desativei o APM em todos os HDDs. Nesse setup, isso só traria latência e desgaste por causa de um efeito mítico de economia de energia que nunca se realizaria
O SMART quase nunca prevê falhas, mas um dos fortes sinais de falha de drive é uma temperatura ligeiramente mais alta, normalmente resultado de desgaste nos rolamentos
Há calor residual suficiente para que um cômodo não precise de aquecimento, e também não há motivo para baixar a temperatura ao redor do datacenter para menos de 27°C, então refrigeração não é necessariamente necessária
Água e computadores não devem se misturar, mas isso talvez seja uma forma melhor de aproveitar esse calor residual
Baixo consumo é bom, mas dá insegurança rodar um RAID grande sem ECC por muito tempo. Fico curioso se existe uma solução melhor, com sistema parecido, mas mais robusta por mais de 5 anos
X11SAE-F ou X12SCA-F, talvez até algo mais antigo, já seriam suficientes. O consumo talvez não seja tão baixo assim
Eu ainda rodo NAS e contêineres LXC com uma X9SCA+-F e um Xeon bem antigo. O consumo em idle não é 5W, mas algo como 20~30W, só que nunca tive problemas e tenho certeza de que o investimento já se pagou várias vezes
O barebone é barato, mas a memória ECC pode sair cara, porque não é a RDIMM comum de servidor. Também não é uma configuração de baixo consumo
Para chegar ao ponto de atender um gabinete cheio de HDDs ou um 4U inteiro, você vai precisar de pistas PCIe. Nesse caso, algo como w680, i5-12600K, um ECC UDIMM, uma SAS HBA no slot PCIe e Ethernet integrada parece chegar perto do menor consumo possível
É uma pena que a plataforma w680 seja cara demais, e am4/zen2 ainda continua interessante por ser mais barato
Xeon, Xeon embarcado, am5 e am4 também servem, mas am4 pode não ter GPU integrada
Rodar RAID por 5 anos sem ECC não é algo inerentemente errado, e muita gente faz isso na prática sem problemas
Não sei o consumo individual, mas somando esse NAS, uma máquina de computação com i5 12400, roteador e switch, o consumo na tomada em operação básica fica em 100W. São cerca de 30 contêineres
Comparando com as workstations antigas que eu usava antes como home server, acho absurdamente eficiente
Essa placa parece suportar ECC com esse chip: Supermicro X13SAE W680 LGA1700 ATX Motherboard
O preço é US$ 550
Também dá para montar em torno disso e adicionar quantos drives NVMe precisar com uma placa PCIe 4.0-NVMe. Não é barato, mas para uso doméstico fica em um nível viável
Ótimo texto. Já tentei algo parecido no passado
https://vermaden.wordpress.com/2019/04/03/silent-fanless-fre...
https://vermaden.wordpress.com/2023/04/10/silent-fanless-del...
É excelente para configurações com muito armazenamento
Se o armazenamento estiver em um único SSD ou em um par de RAID espelhado e você não precisar de muito processamento, dá para montar um servidor de baixo consumo com um computador de placa única tipo RasPi ou algo como um NUC
Pessoalmente, uso alguns servidores 1U com Atom e, tirando a troca da ventoinha da fonte por uma Noctua, eles rodam sem ventoinha
Em relação ao RasPi, as vantagens são SATA e ECC RAM, e também eram mais fáceis de comprar mesmo no período da pandemia
Também tenho um servidor GPU 4U, mas ainda não fui a fundo em como deixá-lo com baixo consumo em idle como o autor do texto, então hoje ele fica desligado quando não está em uso
Fico me perguntando por que não usar N100
O N305 também serve ao objetivo, e o N100 deve consumir menos https://www.reddit.com/r/MiniPCs/comments/12fv7fh/beelink_eq...
Além disso, o N100 só suporta 16GB de RAM, enquanto essa pessoa está usando 64GB. O número de pistas PCIe também é 9 contra 20, o que pode ser importante para o caso de uso, e o i5 parece ser consideravelmente mais rápido no geral
Comparação: https://ark.intel.com/content/www/us/en/ark/compare.html?pro...
Fico pensando se daqui a alguns anos isso não vai dominar por completo o mercado de mini PCs. Se o preço cair a ponto de competir com as várias linhas Pi, aí faz ainda mais sentido
Ele consome entre 2~8W e usa um adaptador 12V comum com conector DC barrel. É perfeito para Home Assistant e virtualização leve
Na prática, o desempenho é até melhor do que o de um mini PC com i5-6500 quad-core. Não é lento de forma alguma
É um sisteminha realmente impressionante pelo preço
Embora se busque economizar e otimizar no lado de CPU/placa-mãe, não será que usar 6 ou mais unidades em vez de menos unidades maiores acaba sendo um caso de economizar pouco e perder muito?
Drives falham, então é preciso ter pelo menos uma unidade extra para redundância, e eu recomendo 2. Assim, mesmo quando uma falhar, dá para continuar operando enquanto a substituição é feita.
Se você montar um espelhamento RAID-1 com 3 drives, o custo fica equivalente a pagar por apenas uma unidade de capacidade real, então na maioria dos casos acaba-se olhando para arranjos do tipo RAID-5 com dupla paridade.
Mas, ao colocar mais de 6 unidades numa configuração dessas, começam a surgir problemas de desempenho, e às vezes é melhor fazer striping sobre dois RAIDs. Passando de 6 unidades, também fica mais difícil ignorar a probabilidade de 3 falhas, então é preciso adicionar mais stripes de paridade.
Por isso, eu vejo 6 unidades como um ponto de equilíbrio, embora outras respostas razoáveis também sejam perfeitamente possíveis.
Claro, a quantidade de dados que você tem também importa. Para muita gente, um único disco moderno já basta, então vão de RAID-1, e a redundância serve mais para não precisar esperar a restauração de um backup off-site depois de uma falha.