Nebojíme se napsat, že naše druhé datacentrum bude patřit mezi české technologické unikáty, na které budeme moct být všichni pyšní. Všechny servery v něm budou chlazeny v olejové lázni. Tato technologie chlazení je nesrovnatelně úspornější než chlazení vzduchem. Navíc nám umožní přebytečné teplo přesunout do nedaleké městské plovárny, kde s ním budeme ohřívat bazén. Převážnou část odpadního tepla tak zužitkujeme místo toho, abychom jej vypouštěli ven.
Technologie budoucnosti, která je tu s námi již dlouho
Chladit technologie, které jsou pod napětím, pomocí demineralizovaného oleje není nic nového. Využívá se třeba u trafostanic.
Vzduch je v podstatě tepelný izolant. Olej vede teplo mnohonásobně lépe. Pokud byste vzali své domácí PC, dali ho do dostatečně velké vany a zalili olejem, tak vám budou stačit pasivní chladiče. Samozřejmě v reálu by bylo nutné v místnosti udržovat stálou teplotu. Na YouTube najdete spousty videí, jak na to 😉
Chladit by šlo i vodou, ale ta se postupně stává vodivou (například díky prachu) a byl by to problém jak pro servery, tak pro obsluhu. Olej, který používáme je nevodivý a má obrovské izolační vlastnosti z hlediska elektřiny a zkratu. Naopak má vynikající tepelnou vodivost a nízkou viskozitu. Navíc je čirý, bez zápachu a dokonce používaný ve farmaceutickém průmyslu..
Proč olejové chlazení tedy nikdo nezkusil u serverů dříve? Popravdě se to zkoušelo na univerzitách jako ekologické experimenty. Někde v tom mají poměrně velké instalace již několik let. Jednu takovou instalaci mají například ve Vídni, kde mají v oleji utopených několik tisíc serverů. Existují i firmy, které olejové chlazení nabízí komerčně a dodají ho přímo na zakázku.
Pro větší nasazení vám však stojí v cestě mnoho překážek. Předně na to potřebujete specializované datacentrum. Teplo z olejových van je třeba nějak odvádět pryč a potřebujete se toho tepla “zbavit” také celoročně (k tomu je ideální ta městská plovárna). Pro odvádění tepla je ideální vodní okruh. No a vodu to je to poslední, co v datovém sále chcete. Konstrukčně to také není zrovna jednoduché a levné.
Velký problém je i samotný hardware. Jednak jej musíte upravit pro pasivní chlazení v olejové lázni (odstranit ventilátory a překážky, které slouží k lepšímu proudění vzduchu), což obnáší technický zásah i úpravu firmware. Ale pokud dáte pryč ventilátory, tak průměrně ušetříte až 30 % spotřeby elektřiny serveru, protože tak velkou spotřebu mají ventilátory.
Na vlastní chlazení olejem potřebujete pouze 1-3 % energie. Ve srovnání s běžnými moderními datacentry je to cca 10x méně. Pokud byste to chtěli srovnávat se staršími datcentry, tak je to 20-40x méně spotřebované energie na chlazení! Nemluvě o tom, že (jak bylo uvedeno v předchozím odstavci) spotřeba serverů je o desítky % nižší jen z důvodu nutnosti vypnutí (odstranění) ventilátorů.
Dále je problém i reklamace a servis. Zkuste si představit, jak budete reklamovat PC komponenty od oleje 🙂 Ale i to umíme vyřešit. Máme otestované chemické přípravky, které pomáhají dokonale odmastit servery. Takže prakticky nepoznáte, že v oleji někdy nějaký server byl. I tímhle jsme se v posledních letech zabývali.
Jak asi tušíte, je to o velkých investicích, jednání s dodavateli a samozřejmě mnoha letech vývoje a testování. Jsou to velké finanční a časové náklady, které si na trhu moc firem dovolit nemůže. Nadnárodní společnosti si zase datacentrum radši postaví daleko na severu, kde mohou daleko efektivněji využít pokročilejší metody chlazení vzduchem.
Nejdříve shrnutí a pár statistik
Datacentrum WEDOS 2 alias “Trezor” je monolitická železobetonová stavba, která má 30 až 110 cm silné zdi. Část datového sálu je ve svahu – částečně v podzemí.
Uvnitř se nachází 10 regálů pro 120 olejových van verze 4.3. V těchto vanách budou serverové skříně HPE Moonshot, každá s 45 servery. Celkem je tedy DC WEDOS 2 stavěno pro 10.800 fyzických serverů.
Na obrázku vidíte jeden takový stojan. Bude to doslova datový sklad. Jedna úroveň olejových van bude u podlahy, druhá uprostřed a třetí pod stropem. Takže jak v nějakém skladu s nějakým materiálem. Jednoduché skladové regály s velkou nosností a na nich police a na nich někde skladují materiál a u nás data.
Do datového sálu vedou skutečné téměř 10 cm silné trezorové dveře, skutečně certifikované jako trezorové dveře. Dveře jsou tříplášťové s kompaktní vrstvou 73 mm, která je tvořena speciální směsí s vysokou pevností, jež je vyztužena vysokopevnostním armováním. Pod zámkovými mechanismy jsou umístěny kalené desky odolné proti odvrtání. Odpovídají III. bezpečnostní třídě, ale jsou certifikované jen na II. třídu, abychom ušetřili. Celkově splňují certifikaci NBU 4 pro stupeň přísně tajné. Celková hmotnost je 1000 kg.
Stejné dveře vedou již do samotné budovy datového centra. Takže případný narušitel by musel překonat dvoje speciální bezpečnostní trezorové dveře, než by se dostal do vlastní technologické části. Věřte nebo ne, ale pokud chcete jít z kancelářské budovy do datacentra, tak musíte nejprve projít “běžnými” bezpečnostnímu dveřmi (tzv. pancéřové dveře), které se používají v běžných komerčních datacentrech. Tyto dveře jsou navíc protipožární uzávěrou s požární odolností 90 minut.
Před vstupem musíte projít bezpečnostními dveřmi a následně trezorovými a ještě jedněmi trezorovými a nakonec uvidíte servery. A to ještě musíme dodat, že dveře půjdou otevírat tak, že musíte přiložit ruku na čtečku krevního řečiště, přiložit bezpečnostní kartu a celý proces musí potvrdit druhá osoba z druhého našeho datacentra.
Pro DC WEDOS 2 jsme oficiálně požádali o certifikaci TIER IV Operational Sustainability od Uptime Institute v květnu 2017. V současné době už běží proces certifikace (výměna a doplňování projektové dokumentace). Zatím jsme na žádný velký problém nenarazili. Není to však nic jednoduchého. Je to doslova jiná liga, než běžná datacentra a to jak projektově, tak i technologickým zázemím.
Datacentrum je propojeno s trafostanicí e.ON, která je umístěna na sousedním pozemku, cca 1 metr od našeho plotu. Do této trafostanice – na stejnou svorkovnici, je připojena také vodní elektrárna, která je schopna zajistit napájení 100 % kapacity našeho datacentra. Takže elektrony z vodní elektrárny primárně “běží” k nám.
O elektřinu se v případě problému postará celkem 5 motorgenerátorů. 3 uvnitř budovy DC2 a 2 jsou na střeše. Jedná se o speciální motorgenerátory určené pro nepřetržitý provoz. Kvůli TIER IV se nedají použít běžně využívané motorgenerátory, které slouží jen jako záloha. Každý z motorgenerátorů zvládne utáhnout provoz datacentra sám. Každý má přímo v sobě nádrže na naftu na 12 hodin provozu a všechny jde doplňovat za běhu a bez přístupu do datacentra.
Jeden motorgenerátor uvnitř zálohuje hlavní napájení z trafostanice. Pokud selže trafostanice a i tento generátor, tak máme stále další 4 motorgenerátory. Na každé napájecí větvi (jedna pod stropem a jedna pod podlahou) jsou 2 motorgenerátory (jeden uvnitř budovy a jeden na střeše). Každá větev utáhne 100% napájení všech serverů a jejich chlazení a dalších technologických komponent nutných pro provoz. Na každé větvi jsou tedy 2 motorgenerátory a ty jsou v režimu 1+1. Ve výsledku tak máme zálohování napájené mnohonásobně. Může dojít k poruše trafostanice a 4 generátorů a stále budeme fungovat. Respektive, když dojde k poruše trafostanice a 3 motorgenerátorů, tak můžeme bezpečně provádět servis, protože stále budeme mít zálohu N+N.
Další zajímavostí motorgenerátorů je to, že jsou různě koncipované. Jsou to 2 různé modely motorů a generátorů, abychom předešli výrobním vadám a mají různé řídící jednotky. Jsou i jinak technicky provedené a jinak chlazené. První generátor uvnitř je chlazený vzduchem zvenku (má vlastní chladič na střeše budovy). Druhý uvnitř je chlazený vlastní klimatizací. Třetí je chlazený vodním chlazením spolu se servery. Na střeše jsou záložní generátory a všechny jsou standardně chlazeny vzduchem.
WEDOS DC2 bude do internetu připojeno přes 3 různé 100 Gbps trasy a operátory. Předcházíme tím tak rizikům s konektivitou a třeba závislosti na jednom z poskytovatelů. Jedna z tras povede přes Rakousku, pro případ že by Praha byla vymazána z internetu. Dále bude WEDOS DC2 propojeno s WEDOS DC1, které má také 3x 100 Gbps ven přes 2 různé operátory (ČDT a CETIN), konkrétně vedou přes 3 různé fyzické trasy (Písek, Tábor, Jihlava) na 2 různá místa v Praze (THP, CeCOLO). Takže jedno DC bude moct v případě nouze využít konektivitu toho druhého.
V Praze nyní máme propoje 2 x 100GE (v různých lokalitách v Praze) k jednomu dodavateli, který nám dodává konektivitu do dalších míst. Dále máme 100GE přímo do jedné nadnárodní sítě. A dále 2 x 10GE k dalším dvěma poskytovatelům, ale v březnu dojde k navýšení těchto dvou přípojek na 2 x 100GE.
A teď k tomu, co je u nás nového
Vše je na dobré cestě. Momentálně největší problém je asi opět zamotaná vlajka 🙂
Trochu nás potrápily rozvodné skříně. Jak se ukázalo, nejsou lidi a firmy ochotné vyrobit takové skříně bez dodání materiálu (ten jsme si vysoutěžili sami), tak jsme si museli na ně počkat. V současné době už je máme a naši elektrikáři pracují na kabeláži.
Z rozvodných skříní vedou klasické (nehořlavé) kabely a budou napojeny na přípojnicový systém. Jedná se o velice elegantní a bezpečné řešení, které umožní vytvořit zásuvku kdekoliv budeme potřebovat.
Nehořlavé kabely používáme poctivě na všechno a všude. To jsou ty hnědé na obrázcích. Všechno je připojené pomocí těchto kabelů. Nehoří, nedělají zplodiny, nešíří požár, nešíří nějaké škodlivé plyny… Prostě bezpečnost na prvním místě. Kabely jsou mimořádně drahé (cca 4-5x dražší něž klasické). Vše je spočítané podle norem (včetně toho, že teplota prostředí může být až 40 stupňů Celsia) plus rezerva.
Nepoužíváme stykače, ale ATS. Vše je technologicky poměrně jednoduché (v jednoduchosti je síla) a zapojení je v režimu, že pokud nejde primární zdroj napájení do ATS, tak se ATS přepne na zálohu. Při obnově primárního zdroje se vše přepne na primární zdroj. Je to bezpečnější řešení a připravené na desítky let. Stykače, které jsou používané ve většině datacenter jsme záměrně nechtěli použít. Jejich životnost je omezená, počet přepínacích cyklů nižší a jsou tam i rizika možných katastrofálních následků při nějakém problému.
Další zajímavostí u rozvaděčů je to, že jedna větev je složena z komponent od jednoho výrobce a druhá větev je kompletně ze součástek od jiného výrobce. Opět tak předcházíme rizikům výrobních vad…
Samozřejmě, že jedna napájecí větev je v jiné části budovy a jsou od sebe dostatečně protipožárně odděleny. Odolnost minimálně 90 minut je v celém datacentru.
Jedna větev elektřiny vede pod zdvojenou podlahou a druhá pod stropem. Nikde se nestýkají a nepotkávají. Vše je důkladně oddělené. Požární odolnost všech prostupů je minimálně na 90 minut, ale například přípojnicový systém je certifikovaný na 120 minut.
Mezi rozvaděči, generátory a přípojnicovým systémem se servery jsou vloženy UPS, ale o tom zase někdy příště.
Na střeše bylo provedeno mnoho stavebních úprav, abychom zajistili chlazení generátorů. Vzduchaři když viděli jaké motorgenerátory tam plánujeme mít, tak měli trochu větší nároky 🙂
Vidíte, že pár chybiček se nám vloudilo a museli jsme použít hrubou sílu.
Nejzajímavější část je vodní chlazení, resp. jeho řízení. Jsou to celkem dvě samostatné místnosti, v každé jeden okruh. Po dlouhých měsících vám můžeme ukázat první dokončenou místnost. Přibudou už jenom maličkosti. Všechna technologie je podél stran a na stropě. Obsluha může chodit jen kolem železného sloupu. Moc prostoru tam není, připomíná to ponorku.
Druhá místnost už je také před dokončením. Je v ní trochu více technologií, takže i více prostoru.
Jedna větev chlazení je rozvedena pod stropem a druhá pod podlahou. Nikde se nepotkávají a vše je zase s protipožární odolností na 90 minut. Každá větev má několik možností chlazení a každá má redundantní čerpadla, aby šlo každou servisovat bez odstávky. Chlazení je tedy v režimu 2 x (N+1).
Co se týká samotného datového sálu, tak se pracuje hlavně pod podlahou, ale kopie všeho existuje i pod stropem. Vše je dvakrát. Jednou dole a jednou nahoře. Vše bez křížení, bez souběhu. Tahají se doslova kilometry kabelů.
Vzhledem k tomu, že už jsou stavební práce u konce, tak zanedlouho bude moct začít úklid. Rádi bychom spustili testovací provoz co nejdříve. Příští týden přivezeme i první olejovou vanu.
Závěr
Ačkoliv vše směřuje zdárně k cíli, tak ještě pár věcí chybí. Testovacímu provozu to však vadit nebude. Postupně budeme informovat o tom, jak pokračujeme a předpokládáme, že v dubnu zafoukneme a zapojíme optické trasy a potopíme první servery do první vany a budeme testovat.