Již dříve jsme představili TIER obecně a také jak je u TIER důležitá bezpečnost. Dnes představíme všechno kolem napájení.
V prvním díle seriálu jsme se věnovali tomu, co je pojem TIER obecně.
V minulém díle seriálu jsme se věnovali tomu, jak se u TIER posuzuje bezpečnost.Dnes probereme napájení a vše kolem napájení. V minulém díle seriálu jsme se věnovali tomu, co je pojem TIER obecně.
Napájení a přípojky
Jedním z mýtů o TIER je to, že datacentrum musí mít 2 nezávislé zdroje napájení – myšleno 2 přípojky. Vše vychází z neznalostí. Jak to tedy je? Každé datacentrum, které má splňovat stupeň TIER IV musí mít 2 zcela oddělené napájecí větve až k serverům. Zdroj napájení však může být jeden, ale musí být dostatečně zálohovaný. Jak? Motorgenerátory.
Stejné mýty jsou ohledně trafostanic. Datacentrum nemusí mít vlastní trafostanici nebo dokonce několik trafostanic. Může a nemusí. Pokud máte příkony do cca 630 A, tak můžete využít trafostanice od distributora elektřiny a odebírat elektřinu v nízkém napětí, ale můžete si postavit vlastní trafostanici a využívat přípojku vysokého napětí. To je spíše takové obchodní rozhodnutí. Při větších odběrech jste většinou donuceni si pořídit vlastní trafostanici.
Podstatné je to, že pokud máte trafostanici, tak musíte zajistit její bezpečnost a když je nějak na první pohled přístupná a otevřete ji z ulice pomocí elektrikářské “kličky”, tak věřte, že tohle není ta správná bezpečnost. Když máte více trafostanic, tak berte v úvahu, že je nemůžete “naskládat” vedle sebe, protože pokud dojde k problémům na jedné – například požár, tak si můžete být jistí, že to zasáhne i tu sousední. Nemůžete říkat, že to je v betonovém obalu, který nehoří. Kdo viděl hořet trafostanici, tak potvrdí, že tam bude hořet vše okolo a navíc při hašení požáru automaticky zasáhnete i tu druhou. Stejně tak při následných opravách budete muset zasáhnout do té druhé…
Nejhorší možná kombinace je, když si dáte trafostanice vedle sebe a vedle nich dáte motorgenerátory, které jsou také vedle sebe. Takové datacentrum nikdy TIER IV splnit nemůže. Stačí jeden požár čehokoliv v této soustavě a celé datacentrum je okamžitě bez proudu. I kdyby to neshořelo samo o sobě (a věřte tomu, že to tak nejspíše bude), tak vám to “pokropí” hasiči. Proto je potřeba mít vše oddělené a dostatečně daleko od sebe. Ideálně je to, když máte vše protipožárně oddělené jako samostatné protipožární úseky s dostatečnou protipožární odolností a zároveň tak, že zdroje napájení jsou každé z jiné strany budovy (a vcházejí do budovy jinou trasou).
Jak to budeme mít my?
Stávající datacentrum bude mít 2 zdroje napájení. Jeden zdroj bude ze sítě nízkého napětí e.ON a druhý ze sítě vysokého napětí, který projde naší vlastní trafostanicí (která bude na smyčce kabelů vysokého napětí). Každá napájecí větev musí být na 100% kapacity datacentra a zároveň bude zálohována pomocí motorgenerátoru (na každou větev bude jeden), přičemž každý motorgenerátor musí být schopen zajistit 100% provozu datacentra. Pro TIER IV se z hodnot udávaných výrobcem – Prime (maximální výkon během neomezeného času, ale s variabilní zátěží) – smí použít pouze 70% kapacity. Takže každý generátor má ještě desítky procent rezervu.
Nové datacentrum bude připojené do trafostanice e.ON, která je na sousedním pozemku, cca 1 metr od našeho plotu. Do trafostanice je přivedena smyčka vysokého napětí sítě e.ON, která vede do různých lokalit. Do této trafostanice – na stejnou svorkovnici, je připojena také vodní elektrárna, která je schopna zajistit napájení 100% kapacity našeho datacentra. Uvnitř nového datacentra budou umístěny 3 motorgenerátory, přičemž každý bude schopen zajistit 100% napájení datacentra.
Vše máme jinak
Po důkladném zvažování a hodnocení jsem se rozhodli pro zcela samostatné motorgenerátory, které nebudou nijak párované a nijak synchronizované, abychom předešli jakýmkoliv možným technickým problémům. Vše bude fungovat plně automaticky přes ATS (automatic transfer switch), což je “jednoduchý” přepínač napájení, který umí jen dvě polohy. Umí buď dodávat napájení z primárního zdroje elektřiny NEBO ze záložního. Nikdy nic víc. Pokud nejde primární, tak se přepne na záložní. Pokud naběhne zpět primární, tak se přepne zpět na primární.
Nepoužíváme a neplánujeme používat jakékoliv chytré krabičky a na ně navázané stykače. Podle různých studií jsou stykače 15-20x poruchovější, než námi používané ATS, které mají předpokládanou dobu životnosti (či průměrnou dobu mezi poruchami) přes 100 let. Stejně tak námi navržené ATS mají výrazně vyšší počty přepínacích cyklů bez poruchy, než stykače. Naše ATS mají minimální předpokládaný počet cyklů bez poruchy 6.000 přepnutí. Představte si tedy, že 100 let bychom neměli čekat poruchu, respektive minimálně 6.000 krát může dojít k výpadku napájení (a následnému přepnutí ATS na záložní zdroj), než by mohla nastat porucha. U stykačů jsou počty výrazně nižší.
Co je tedy výsledkem?
V každém z datacenter se mohou porouchat (nebo by bylo možné servisovat) současně až 3 zdroje napájení a datacentrum bude mít neustále 100% elektřiny pro provoz! Napájení tedy není jen jištěné nebo jištěné dvakrát, ale dokonce třikrát. Je to jedna z nejkritičtějších záležitostí IT provozu a tak se na tohle velmi dbá.
Vodní elektrárna
Rádi bychom také uvedli, že naše datacentrum bude nejen mimořádně ekologické, protože budeme využívat velmi úsporné olejové chlazení a zároveň odpadní teplo využije místní plovárna, ale naše datacentrum bude primárně napájené z vodní elektrárny.
Servery budou díky olejovému chlazení o desítky procent úspornější (nemusejí mít ventilátory jež spotřebují cca 30% energie). Zároveň nebudeme potřebovat žádné velké ventilátory na chlazení a ani klimatizace. Prostě úsporný provoz s využitím odpadního tepla. Pokud by někdo vyhrožoval tím, že tam máme olej, tak náš monolitický betonový objekt je koncipován jako záchytná vana a kdyby nám vytekl veškerý olej, který v budově bude, tak budeme mít v záchytné vaně necelých 15 centimetrů a přitom vana je přes 50 centimetrů. Ale na toto téma napíšeme zase někdy více a detailněji příště..
Víte o nějakém zelenějším a ekologičtějším projektu?
Napájení uvnitř budovy
Samostatnou kapitolou jsou rozvody napájení uvnitř budovy. Co je podstatné? Rozvody napájení musejí být nachystané tak, že všechny prvky musejí být napájené ze 2 napájecích větví současně. Každý server tedy musí mít zajištěné napájení ze dvou větví (v našich schématech větev A a větev B) současně a každá větev musí být schopna zajistit dodat vždy a za jakékoliv okolnosti 100% napájení.
Mimořádně důležité je to, aby všechny části a všechny prvky byly oddělené a nikde se nesmí větev A potkat nebo křížit s větví B. Vše musí být oddělené nejen nějakou vzdáleností, ale především fyzicky, aby nějaká havárie jedné větve neohrozila druhou větev. Stejně tak musí být oddělené vše protipožárně.
Představte si tedy to, že musíte do každého racku dostat 2 napájení, ale tyto 2 kabely se vám nesmí nikde potkat, nikde potkat v jednom prostoru, nesmějí mít souběh v jednom prostoru a nesmějí se ani křížit. Tohle je sranda, kterou si zkuste nakreslit a promyslet jak to chcete udělat. Na tomhle skončí většina datacenter, protože nejsou fyzicky postavena tak, aby tohle bylo možné realizovat. V podstatě žádné takové datacentrum na tohle není v ČR asi připravené a tak TIER IV nemůže nikdo získat. I tohle může být jeden z důvodů, proč není žádné datacentrum TIER IV v ČR, ani SR, ani v Polsku, ani v Maďarsku, ani v Rakousku a ani v Německu…
Naprosto nepřípustné je to, že natáhnete obě napájecí větve v jednom prostoru současně – například pod zdvojenou podlahou. Tohle je z hlediska TIER IV naprosto nepřípustné. Stejně tak jako nějaké křížení tras apod.
Jak to uděláme my?
Jedna napájecí větev bude umístěna pod zdvojenou podlahou, která je nehořlavá a postavena tak, aby splnila příslušnou protipožární odolnost.
Druhá napájecí větev bude umístěna pod stropem, zakryta sádrokartonovým podhledem s příslušnou protipožární odolností.
Předtím, než se obě větve dostanou do podlahy, respektive do podhledu, tak se nikde předtím nekříží, vše je oddělené, izolované a to jak fyzicky, tak i protipožárně.
Obě napájení se potkají až v racku, ale ani tam se nebudou křížit. Jedna přijde otvorem v podlaze a bude na jedné straně racku (nebo chladící vany v novém datacentru). Druhá větev přijde otvorem ve stropě a do racku přijde vrchem a bude na druhé straně racku (respektive chladící vany v novém datacentru).
Stejná pravidla platí i pro další záležitosti datacentra – chlazení (a napájení chlazení) a konektivitu uvnitř datacentra (o konektivitě vně datacentra jsme psali již minule). Nikde nesmíte mít žádné křížení, žádný souběh, nic v jednom prostoru. I tam bude náš přístup podobný jako u napájení.
Co dalšího je podstatného s napájením?
Všechny části napájení musejí být plně servisovatelné a to vždy tak, aby stále fungovalo 100% napájení a stále musíte zajistiti, aby fungovaly obě napájecí větve současně! Není to tak jednoduché, když si představíte, že musíte být schopni servisovat motorgenerátory, UPSky, rozvaděče, veškerou kabeláž a všechny již zmiňované přepínače (ATS). Není to jen tak. Také nám to dalo hodně práce, abychom to vymysleli.
Z hlediska servisu nejde jen o nějaké pravidelné kontroly a revize z hlediska zákona, ale jde také o předcházení chybám a sledování a monitorování celého systému. O kontrole a testování bychom mohli psát asi romány. Věřte tomu, že u nás každý týden kontrolujeme stav rozvodů senzoricky na začátku týdne a každý čtvrtek testujeme zda vše funguje správně i provozně. Každý čtvrtek testujeme zda nám naskočí náhradní zdroj napájení. A první čtvrtek v měsíci vždy testujeme black-out. Ano, vždy vypneme hlavní přívod napájení a testujeme kompletní běh všech systémů. Po cca 30 minutách přívod napájení nahodíme a sledujeme zda dojde k opačnému stavu – přepnutí všech systémů na elektrickou síť. I tohle je jedna z cest jak předcházet lidským chybám.
Celý systém napájení musí být schopný plně automatického provozu. Vše musí fungovat samo a reagovat na chyby a poruchy tak, aby nemusel kdokoliv a kdekoliv něco dělat.
Motorgenerátory
U motorgenerátorů se vychází z mezinárodní normy ISO Standard 8528-1. Každý generátor je tak hodnocen ve 3 hodnotách – Emergency Standby (hodnota maximálního výkonu jež může zvládnout krátkodobě – maximálně 200 hodin ročně), Prime (maximální výkon během neomezeného času, ale s variabilní zátěží) a Continuous (maximální výkon bez omezení času s trvalou zátěží).
Jaký generátor lze použít a s jakou hodnotou? Záleží na výrobci. Continuous bez omezení. Prime – jen 70% kapacity udávané výrobcem. Musíte tedy použít výrazně silnější motorgenerátor, než potřebujete pro provoz. Počítá se s tím, že tam bude dostatečná rezerva pro jakýkoliv problém.
Motorgenerátory pro TIER III nebo TIER IV musejí splňovat několik kritérií. Nečekejte žádné nesmyslné hodnoty jak dlouho musejí motorgenerátory fungovat. Je to poměrně jednoduché. Motorgenerátory musejí:
- být určené pro nepřetržitý provoz, věřte tomu, že to není zcela běžné,
- musejí mít zásobu na 12 hodin nepřetržitého provozu na celou kapacitu datacentra,
- opět musejí být dostatečně fyzicky oddělené, aby byla zajištěna fyzická bezpečnost (generátory musejí být dostatečně chráněné a plot moc nestačí)
- protipožární bezpečnost a je tak třeba nepřípustné, aby byly motorgenerátory vedle sebe nebo několik metrů od sebe bez jakéhokoliv protipožárního oddělení a přepážek s dostatečnou protipožární odolností.
To je zcela běžná chyba a vidíte ji prakticky všude, ve všech datacenterech.
Pro jistotu jsme se rozhodli, že motorgenerátory budeme mít každý od jiného výrobce, Je to sice komplikace se servisem, ale je to bezpečnější, protože nás v budoucnu nepotká nějaká skrytá sériová vada.
UPS
UPS musíte mít také dvakrát. Jednou na napájecí větvi A a jednou na napájecí větvi B. Každá napájecí větev musí být schopna zajistit 100% napájení celého datacentra. Zároveň musíte být schopni UPS kdykoliv servisovat a nebo celou vyměnit a přitom zároveň zajistit 100% napájení na obou napájecích větvích současně. V takovém případě dospějete k tomu, že nelze například použít modulární UPS, které mohou fungovat v režimu N+1. Tam totiž nejde udělat výměnu bez odstávky celé napájecí větve. Musíte mít N+1 UPS na každé napájecí větvi fyzicky, abyste byli schopni cokoliv servisovat nebo vyměnit.
Jako samozřejmost se bere to, že UPS pro jednotlivé větvě jsou zcela fyzicky oddělené v samostatných prostorách a zároveň baterie jsou v samostatných prostorách. Kabeláž pro různé napájecí větvě se nesmí křížit, nesmí být souběh a nesmí být v jednom prostoru.
Nutné je připomenout, že u TIER IV musíte zajistit bezvýpadkové chlazení a tak i chlazení musí používat UPS. Máte dvě možnosti – buď použijete UPS, které jsou pro servery NEBO pro chlazení dáte vlastní UPS. My tohle druhé řešení považujeme za lepší a bezpečnější a proto naše chlazení v každém datacentru bude mít 2 samostatné UPS, přičemž každá z těchto UPS musí být schopna zajistit 100% napájení pro 100% chlazení celého datacentra.
Samostatné UPS jsou pro kanceláře. Opět je máme oddělené od UPS, které napájejí servery.
Všechny UPS musejí být koncipované na minimální dobu 15 minut zálohy na 100% kapacity datacentra. Pokud vezmete v úvahu, že tedy vše máte zdvojené, tak máte zajištěných 30 minut přes UPS. V našem případě to bude ještě více, protože budeme mít UPS v režimu 2N + 1. Budeme mít vždy jednu UPS na každé větvi navíc a bude sloužit jako záloha pro případ poruchy jiné UPS.
Stejně jako u motorgenerátorů, tak i u UPS jsme se pro jistotu rozhodli, že UPS budou na jednotlivých větvích od různých výrobců a na jednotlivých větvích je koupíme různě v čase. Je to sice komplikace se servisem, ale je to bezpečnější, protože nás v budoucnu nepotká nějaká skrytá sériová vada.
IT prvky
Všechny IT zařízení musejí mít duální napájení (minimálně dva zdroje) nebo musí být připojení přes takzvané ATS, které zajistí použití obou napájecích větví. V tomto případě se jedné o trochu jiné ATS, než máme my v našem schématu a bavili jsme se o nich výše. Tyto rackové ATS fungují podobně, ale jsou to “elektronická zařízení”, která spínají malé proudy (většinou do 16A). Vše probíhá elektronicky. Námi uváděné ATS spínají proudy 630 nebo víc ampér) a jsou spínané pomocí silných elektromotorů. Jen pro úplnost dodáme, že přepnutí z jednoho zdroje napájení na druhý trvá od 10-100 ms a většina napájecích zdrojů u serverů tak rychlé přepnutí nepozná.
Chcete vidět naše schéma napájení?
Asi prozradíme úplně nejvíce, ale ukážeme vám naše schémata napájení. Podobná schémata jsou většinou tajná a to vzhledem k tomu, že obsahují hodně práce a považují se za obchodní tajemství. Vzhledem k naší otevřenosti vám schémata ukážeme.
Na co se můžete těšit příště?
Příště si napíšeme další informace a detaily. Prozradíme i nějaké detaily z našeho zákulisí. Nakonec se dozvíte i o nejčastějších chybách nebo o ekonomice provozu takového datacentra. Ekonomika provozu bude na samostatnou kapitolu.
Vzhledem k tomu, že nás certifikace TIER IV baví a bereme jí jako jednu z největších výzev, tak si příště detailně probereme některé technické předpoklady, které musí TIER IV datacentrum splňovat.
Určitě se dostane i na reálné příklady, podle kterých pochopíte proč v ČR (a ani jinde ve střední Evropě – včetně Německa, Polska, Maďarska, Slovenska, Rakouska) doposud žádné datacentrum certifikaci TIER IV nemá. Pokud máte otázky, tak nám pište a my můžeme zohlednit odpovědi v dalších článcích.
Proč to celé děláme?
Důvodů je několik. Jsme největší hostingová společnost v ČR, v našem datacentru hostujeme nejvíce služeb v ČR a tak jsme si vědomi toho, že musíme vše směřovat k maximální spokojenosti našich klientů. Kvalita datacentra je pro náš další růst a rozvoj jednoznačně velmi důležitým faktorem a bez kvalitního zázemí to určitě nepůjde. )
Proto chceme mít 2 moderní datacentra, která budou splňovat ta nejnáročnější kritéria a celé si to chceme nechat takhle certifikovat. Nejdeme cestou toho, že nám někdo něco někde nějak nakreslí a někdo někde nějak rychle postaví. Jdeme cestou, že přípravám věnujeme obrovské množství času, chystáme to několik let v týmu několika lidí. Vše si na stavbě hlídáme a vše operativně rozhodujeme. Ve výsledku všechny provozní věci chceme řešit “in house”. Máme tedy například vlastní elektrikáře (dokonce 2). Takže víme o všem v naší budově. Vše si dokážeme vyřešit vlastními silami. Co nejrychleji a nejlépe.
Obě datacentra budou navenek působit jako jedno, ale ve skutečnosti půjde o 2 samostatné budovy, které budou schopny fungovat zcela odděleně nebo se nějak vzájemně v provozu doplňovat. Půjde o takový RAID datacenter.
Ano, ekonomicky nic z toho nedává smysl, ale my děláme vše pro maximální spokojenost našich klientů. To je prvořadý cíl. Děláme to, protože nás to baví. Ekonomická stránka je druhotnou záležitostí a jak říkáme: “Když budou klienti spokojeni, tak i ty zisky přijdou”. Jsme silná společnost, která jede bez úvěrů a závazků. Vlastníme datacentrum, infrastrukturu a nemusíme se “zpovídat nějaké bance”. Stavíme druhé datacentrum za desítky milionů korun a to opět bez jakékoliv pomoci třetích stran. Možná by šlo si peníze ponechat a koupit si za ně něco “pro radost”, ale nás baví tohle a nás baví spokojení klienti.
Plánované certifikace by měly být zárukou pro naše klienty, že jejich data jsou na tom nejlepším místě a že je o ně dobře postaráno.
Buďte s námi a sledujte jak se nám naše plány daří.