TL;DR - Ogólne wrażenia i opinia o serwerze Dell PowerEdge T320
Z serwera jestem bardzo zadowolony i nie żałuję zakupu. Po wymianie wentylatorów na cichsze serwer można trzymać w biurze. Średnio pobiera 100W. Na początku korzystałem z TrueNAS Core jako wirtualka w Proxmoxie, ale ostatecznie przeszedłem na TrueNAS Scale baremetal bez Proxmoxa. Mam 70TB miejsca. Pamiętaj o tym aby kontroler RAID był w trybie HBA/IT.
Podzespoły
Serwer to Dell PowerEdge T320. Procesor Intel Xeon E5-2470 v2 10c/20t na sockecie LGA1356. Pamięć 128GB RAM DDR3 1333MHz. Kontroler RAID H310 w trybie HBA/IT.
Dodatkowo dokupiłem:
- 8 ramek 3,5” na dyski HDD
- Wentylator
Noctua NF-A12X25 PWM 120 mm 2000 obr/min 4-pinzamiast seryjnego wentylatora z tyłu obudowy - Wentylator
Noctua NF-A8 FLX 80 mm 2000 obr/min 3-pinjako dodatkowy wentylator na radiator procesora - Kartę rozszerzeń na PCI z portami SATA, żeby podłączyć tam dyski SSD na system
- Kartę sieciową
TP-LINK TX2012.5Gb/s - Dellowy adapter wentylatora 4pin na 5pin, aby podłączyć dodatkowy wentylator CPU do płyty głównej
- Zasilacz UPS opisany w tym poście
- Kartę graficzną Quadro P620 opisaną w tym poście
Dlaczego Dell T320
Taki gotowy serwer Della już z zdalnym zarządzaniem iDRAC kosztował mnie około 1000 zł - w tej cenie raczej nie udałoby się zbudować od zera serwera, który obsługuje 8 HDD i ma zdalne zarządzanie, bo sam PiKVM kosztuje jakieś 1000 zł.
Gdybym miał budować kolejny serwer i potrzebował więcej niż 8 dysków i nie miał szafy rack - poszedłbym w obudowę Fractal Define 7 XL, która mieści jakieś 18/20 HDD.
Dlaczego dyski Seagate Exos
Wybierając dyski, bazowałem na raportach, które publikuje firma Backblaze. Zawierają one informacje m.in. o tym, jaki % danego modelu dysku im padł, a model który wybrałem ST12000NM000G wypadał w tym raporcie dość dobrze. Niestety nie posłuchałem się tego szerokiego narzekania na dyski Seagate - czego teraz żałuję. Dysków Seagate już nigdy nie kupię, a przy kolejnych serwerach raczej wybiorę HGST Ultrastar lub coś od Toshiby.
Nowe dyski HDD czy refurby
Ja wybrałem refurby ze względu na cenę. Jeżeli budowałbym 2-dyskowy serwer, na pewno poszedłbym w całkowicie nowe dyski, ale w przypadku konfiguracji jak moja, czy takich, gdzie dysków jest kilkanaście albo kilkadziesiąt, to nigdy bym nie szedł w nowe dyski, bo to strata kasy i brałbym certyfikowane refurby - głównie ze względu na to, że przy takiej ilości dysków możemy sobie pozwolić na większą liczbę awarii dysków i takie awarie nie są tak groźne jak w przypadku konfiguracji, gdzie mamy tylko 2 dyski i możemy sobie pozwolić na stratę tylko jednego.
Hałas
Dyski serwerowe/enterprise są dość głośne - wyraźnie słychać obrót talerzy i pracę głowic. Dyski konsumenckie są znacznie cichsze. Seryjne wentylatory są bardzo głośne. Po wymianie na ciche (Arctic/Noctua) serwer jest cichutki (serwer trzymam pod swoim biurkiem).
Pobór prądu
Należy pamiętać, że te pomiary nie są super precyzyjne - mierzy je zwykłe smart gniazdko.
Serwer w spoczynku bez dysków HDD z czystym systemem Debian 12 pobiera ~45W (z czego sam iDRAC ~9W). 1 dysk HDD, gdy tylko kręci się talerz, pobiera ~2,5W, podczas pełnego obciążenia 5W.
Poniższy wykres przedstawia zużycie prądu. Od wartości należy odjąć około 30W, bo tyle zabiera UPS, switch, router itp. - czyli można przyjąć, że średnio serwer pobiera jakieś 90-100W, co daje dziennie 2,4kWh i miesięcznie 72kWh. Podczas zapisu na dyskach pobiera ~150W.
Kontroler RAID
Do TrueNAS należy użyć kontrolera RAID obsługującego tryb write-through/pass-through/HBA/IT mode, w którym kontroler nie zarządza dyskami, lecz przekazuje pełną kontrolę nad nimi systemowi operacyjnemu — w tym przypadku TrueNAS. W przypadku Dell są to karty H310 H710 H810
Przestrzeń użytkowa, RAID
W teorii mając 8 dysków 12TB można uzyskać 96TB użytkowej przestrzeni, ale chcąc mieć jakiś bufor bezpieczeństwa, zdecydowałem się na RAIDZ2, który powoduje, że mogę stracić 2 dyski bez żadnej utraty danych - lecz powoduje to, że realna użytkowa przestrzeń zmniejsza się do około 70TB.
Więcej małych dysków czy mniej dużych dysków
To wszystko zależy od tego, jak bardzo zależy Ci na bezpieczeństwie danych, ile masz kasy i czy większa ilość dysków zmieści się w serwerze. Im więcej dysków będziesz miał, tym więcej osobnych pooli z raidem możesz utworzyć, co przełoży się na większą liczbę dysków, jaką możesz stracić.
Backup
Jako backup mam kupione kilka dysków HDD od 6TB do 14TB, które trzymam poza domem. Raz na kilka miesięcy miesięcy skryptem przerzucam nowe dane na te backupowe dyski.
Koszty
- Serwer
Dell PowerEdge T320~1000 zł - 8x
Seagate HDD 12TB~5000 zł - 8x ramka na HDD ~240 zł
- UPS
CyberPower CP1600EPFCLCD~1400 zł - Karta sieciowa
TP-LINK TX201~70 zł - Wentylator Noctua 120mm ~140 zł
- Wentylator Noctua 80mm ~70 zł
Zdjęcia
Inne posty w tematyce serwerów: