Pokud sledujete náš seriál, tak začínáte mít představu o tom, co vše musí datacentrum splňovat, aby mohlo mít certifikaci TIER IV.
V prvním díle seriálu jsme se věnovali tomu, co je pojem TIER obecně.
V druhém díle seriálu jsme se věnovali tomu, jak se u TIER posuzuje bezpečnost.
V minulém díle seriálu jsme se dozvěděli o napájení a co vše musí splňovat napájení.Dnes probereme napájení a vše kolem podpůrných systémů jako jsou chlazení, hašení…
Chlazení
Z kapitoly o napájení víte, že vše musí být oddělené a to nejen fyzicky, ale i protipožárně. V podstatě nesmíte nikde mít žádný souběh v jednom prostoru nebo se vám nesmí kabely nikde křížit. U chlazení je to podobné. Zde také musí být fyzické oddělení a to nejen u napájení, ale také u potrubí a jakékoliv podpůrné kabeláže (měření, sledování nebo řízení klimatizací). Vše musí být oddělené v různých prostorách a zároveň se nic nesmí ani křížit (v rámci jednoho prostoru).
Samozřejmostí je to, že fyzické oddělení se netýká jen vnitřních jednotek a kabeláže, ale také venkovních jednotek, které nemohou být “jen tak vedle sebe”. I zde se musí dbát na to, aby vše bylo dostatečně oddělené a to jak z důvodu fyzické bezpečnosti, snížení rizika při jakékoliv havárii, ale například i při požáru. Nestačí tedy naskládat jednotky na střechu budovy a říkat, že splňujete TIER IV. To určitě nesplňujete. Kabeláž a potrubí musí být oddělené.
Vše musí být zcela servisovatelné tak, abyste vždy dokázali zajistit 100% chlazení celého datacentra.
Chlazení musí být zajištěno tak, abyste zajistili bezpečné chlazení na potřebnou (a předem stanovenou hodnotu) za jakékoliv situace. Tedy i v případě mimořádných venkovních teplot (vysokých či nízkých). V tomto posuzování se vychází z kritických hodnot pro danou lokalitu a posuzují se individuálně (něco jiného bude v ČR, něco jiného v Egyptě a něco jiného v Norsku). Je rozdíl v tom, zda chladíte v zimě nebo v létě, když v ČR mohou teploty dosáhnout 34-35 stupňů a v rozpálených městech ještě více a na slunci mnohem více.
Celé chlazení tedy musí být v režimu minimálně 2N nebo 2(N+1). To znamená, že máte minimálně 2x tolik klimatizací, než potřebujete na 100% zátěže celého datacentra za jakéhokoliv počasí. Musíte mít tedy nejen dostatečně dimenzované chlazení pro každou situaci, ale celé to musíte mít minimálně 2x. V ideálním případě na každé chladící větvi musíte mít ještě 1 (nebo víc) klimatizací náhradních pro případ výpadku jakékoliv z jednotek.
Systémy chlazení závislé na “chladící vodě” musejí mít zajištěnou zásobu vody na dobu minimálně 12 hodin provozu a pro každou větev by měli být zásoby vody navíc oddělené.
Chlazení musí být nepřetržité a tak musí zahrnovat UPS, protože jinak by při výpadku napájení došlo k výpadku chlazení (po dobu, než nastartuje motorgenerátor). Běžně totiž chlazení funguje tak, že pokud vypadne napájení datacentra, tak se přechází na běh na motorgenerátor a v tom okamžiku dochází ke krátkému výpadku. Tento krátký výpadek servery “nepocítí”, protože mají UPS (minimálně na 15 minut provozu). Klimatizace běžně UPS nemají a tak mají krátký výpadek. Zde však můžeme narazit na problém, že tento neplánovaný výpadek je zdrojem častých poruch a zároveň věřte, že i minuta výpadku chlazení může pro datacentrum znamenat zvýšení teplot o několik stupňů.
Víte jak je citlivý provoz datacentra na chlazení?
Dnes si můžete koupit servery, kde vám výrobci garantují, že servery lze provozovat do 30 nebo do 33 nebo dokonce do 40 stupňů teploty uvnitř datacentra. V současné době máme vysledováno, že při vyšších teplotách (nad 30 stupňů) dochází ke snížení výkonů CPU, které se navíc špatně chladí. Při teplotách nad 27 stupňů pozorujeme výrazně větší poruchovost komponent a to zejména točivých disků. Při běžném provozu, kdy servery chladíme na cca 17 stupňů, tak měníme 1-3 disky měsíčně. Při teplotách nad 27 stupňů měníme i stejný počet za den.
Jak to bude u WEDOS?
Ve stávajícím datacentrum potřebujeme pro zajištění provozu serverů 2 klimatizační jednotky. Budeme mít zapojené celkem 4, přičemž jedna dvojice bude na jedné větvi a druhá dvojice na druhé větvi. Nebudou spolu propojené, nebudou spolu řízené a nebudou spolu ani napájené. Každá větev s vlastní UPS. UPS nebudou sloužit pro nic jiného, než pro klimatizace. Nejde tedy o UPS, které slouží například pro servery nebo pro kanceláře, ale pouze pro klimatizace.
V současném datacentru máme velmi úspornou formu chlazení. Je to přímý freecooling, tedy zjednodušeně obrovský ventilátor, který saje chladný vzduch zvenku, který projde přes speciální filtry a následně se smíchá v “mixovací” komoře na stálou teplotu (s přesností na 0,1 stupně). Tento vzduch (přefiltrovaný a nastavený na správnou teplotu – cca 17 stupňů) se fouká do zdvojené podlahy a putuje k serverům do tzv. studené uličky (mezi rackovými skříněmi je uzavřený prostor, kde tento chladný vzduch proudí). Projde servery a ohřeje se (ochladí servery) na cca 32 stupňů a následně je odsáván druhým ventilátorem ven. Předtím, než projde ven, tak je využit pro “míchání na stálou teplotu” v mixovací komoře. Dále je využit pro vytápění celé naší budovy (880 m2), kterou vytápíme pouze tímto vzduchem a to bez jediného ventilátoru a jediného wattu jakékoliv další energie (vytápíme přetlakem přes sádrokartonové podhledy, kde máme potrubí). Zbývající teplý vzduch, který se nevyužije v mixovací komoře a pro vytápění budovy je foukán ven. Tento přímý freecooling je naše vlastní řešení, včetně řízení.
V novém datacentru jsem šli ještě dále. Chceme servery chladit v olejové lázni. Představte si to, že servery plavou přímo v oleji. A dokonce nejen servery, ale switche včetně napájecích kabelů a v neposlední řadě chceme potopit i UPS. Všechny komponenty jsou potopené ve vaně s olejem, který zajišťuje jejich chlazení. Olej vede teplo cca 1200x lépe než vzduch a tak potřebuje výrazně méně energie na chlazení. Každá vana bude napojena na 2 nezávislé okruhy chlazení, přičemž každý okruh chlazení bude připojen ke 2 různým zdrojům chladící vody (celkem tedy budeme mít 4 zdroje chladné vody na chlazení). V budově budou 2 okruhu chladícího oleje, který je nevodivý (a tak v něm dokonce mohou být elektrické kabely a zásuvky a UPS) a teplo z těchto okruhů předáme do tepelného výměníku. Tepelných výměníků budeme mít také několik – kvůli redundanci. Následně teplo využijeme pro ohřev naší budovy (cca 1070 m2) a přebytek (stovky kW) pošleme dál k dalšímu využití (například vytápění sousedů nebo městského koupaliště). Ale o tomhle (a mimořádně výhodné ekonomice tohoto chlazení) až někdy příště. Jen pro zajímavost uvedeme, že olej může mít až téměř 60 stupňů a vše funguje! Dokonce můžete servery přetaktovat…, ale skutečně tohle necháme na někdy příště. Podstatné je to, že vše je plně zálohované – potrubí, čerpadla, kabeláž, rozvody v olejových vanách a plně redundantní a plně servisovatelné. Samozřejmostí je to, že vše je zapojené přes UPS.
Hašení
Požární alarm a spuštění hašení jsou jedinou výjimkou (spolu s Emergency stop), kdy může dojít k odstávce datacentra.
Detekce hašení musí být duální. V našem případě používáme 2 různé detekční systémy a každý je na jiném principu a od jiného výrobce.
Jinak se certifikace moc hašení nevěnuje, protože odkazuje na to, že musíte splňovat zákonné legislativní podmínky, které platí v jednotlivých zemích a ty dost se liší.
V našem případě máme situaci ohledně hašení řešenu následujícím způsobem. V současném datacentru máme instalovaný stabilní hasící systém s plynem FM200 od fimy FIKE. Tento plyn se v případě požáru vypustí a vyplní prostor v serverovně tak, že dojde k uhašení požáru. V novém datacentru budeme mít stabilní hasící systém s nově patentovaným systémem pro datacentra od americké firmy FIKE. Zajímavější je však to, že v serverovně budeme mít celou dobu sníženou hladinu kyslíku na cca 13-15%. To je koncentrace, kdy nezapálíte nic. Takže tam preventivně budeme požáru předcházet tímto speciálním systémem a požár by tam neměl nikdy vzniknout a pokud vznikne, tak zde budou ruční hasící přístroje a případně zasáhne automatický stabilní hasící systém.
Všude máme samozřejmě různé hasící přístroje pro případný rychlý ruční zásah. Hasící přístroje máme podle toho, co mají hasit (například u serverů jsou jiné, než u UPS).
Značení
Jako zajímavost můžeme zmínit to, že TIER například vyžaduje dostatečné značení jednotlivých komponent, včetně barevného oddělení a rozlišení jednotlivých větví A a B.
Podpora 24/7
Další zajímavostí je to, že pro TIER IV musíte mít v budově neustále minimálně 2 pracovníky, kteří jsou vyškoleni na obsluhu a seznámeni s provozem celého datacentra a jsou schopni reagovat na jakékoliv problémy nebo kritické situace. To znamená, že tam musejí být v režimu 24/7, tedy 24 hodin denně, 7 dní v týdnu a 365 (nebo 366) dní v roce. Celou dobu tam musíte mít 2 pracovníky. Pokud to přepočtete na nějaké úvazky, odpočtete dovolené apod., tak se dostanete k tomu, že jen na splnění této podmínky potřebujete reálně cca 13-14 pracovníků.
Nestačí, že tolik pracovníků máte, ale musejí být skutečně v budově. Ve dne a i v noci.
Mezi tyto pracovníky nemůžete počítat nějaké sekretářky nebo třeba IT techniky bez detailních znalostí provozu celé budovy nebo nějakého vrátného nebo nějakého sekuriťáka, který hlídá datacentrum v noci.
Ano, o vaše data je potom postaráno jak v bavlnce, protože takový dohled nemají snad ani na ARO v nemocnici. Ani tam nemají u každého lůžka 2 lékaře…
Na co se můžete těšit příště?
Příště si napíšeme další informace a detaily. Prozradíme i nějaké detaily z našeho zákulisí. Nakonec se dozvíte i o nejčastějších chybách nebo nákladech na provoz takového datacentra. Ekonomika provozu bude na samostatnou kapitolu.
Vzhledem k tomu, že nás certifikace TIER IV baví a bereme jí jako jednu z největších výzev, tak si příště detailně probereme některé technické předpoklady, které musí TIER IV datacentrum splňovat.
Určitě se dostane i na reálné příklady, podle kterých pochopíte proč v ČR (a ani jinde ve střední Evropě – včetně Německa, Polska, Maďarska, Slovenska, Rakouska) doposud žádné datacentrum certifikaci TIER IV nemá. Pokud máte otázky, tak nám pište a my můžeme zohlednit odpovědi v dalších článcích.
Proč to celé děláme?
Důvodů je několik. Jsme největší hostingová společnost v ČR, v našem datacentru hostujeme nejvíce služeb v ČR a tak jsme si vědomi toho, že musíme vše směřovat k maximální spokojenosti našich klientů. Kvalita datacentra je pro náš další růst a rozvoj jednoznačně velmi důležitým faktorem a bez kvalitního zázemí to určitě nepůjde. )
Proto chceme mít 2 moderní datacentra, která budou splňovat ta nejnáročnější kritéria a celé si to chceme nechat takhle certifikovat. Nejdeme cestou toho, že nám někdo něco někde nějak nakreslí a někdo někde nějak rychle postaví. Jdeme cestou, že přípravám věnujeme obrovské množství času, chystáme to několik let v týmu několika lidí. Vše si na stavbě hlídáme a vše operativně rozhodujeme. Ve výsledku všechny provozní věci chceme řešit “in house”. Máme tedy například vlastní elektrikáře (dokonce 2). Takže víme o všem v naší budově. Vše si dokážeme vyřešit vlastními silami. Co nejrychleji a nejlépe.
Obě datacentra budou navenek působit jako jedno, ale ve skutečnosti půjde o 2 samostatné budovy, které budou schopny fungovat zcela odděleně nebo se nějak vzájemně v provozu doplňovat. Půjde o takový RAID datacenter.
Ano, ekonomicky nic z toho nedává smysl, ale my děláme vše pro maximální spokojenost našich klientů. To je prvořadý cíl. Děláme to, protože nás to baví. Ekonomická stránka je druhotnou záležitostí a jak říkáme: “Když budou klienti spokojeni, tak i ty zisky přijdou”. Jsme silná společnost, která jede bez úvěrů a závazků. Vlastníme datacentrum, infrastrukturu a nemusíme se “zpovídat nějaké bance”. Stavíme druhé datacentrum za desítky milionů korun a to opět bez jakékoliv pomoci třetích stran. Možná by šlo si peníze ponechat a koupit si za ně něco “pro radost”, ale nás baví tohle a nás baví spokojení klienti.
Plánované certifikace by měly být zárukou pro naše klienty, že jejich data jsou na tom nejlepším místě a že je o ně dobře postaráno.
Buďte s námi a sledujte jak se nám naše plány daří.