Začátkem roku jsme výrazně posílili parametry služby NoLimit, hlavně co do výpočetního výkonu. Ocenili to zejména zákazníci používající redakční systémy s většími databázemi a zákazníci, jejichž weby navštěvuje velké množství návštěvníků nárazově. A je to znát. Počet rušených služeb z důvodu “nespokojenost s výkonem/rychlostí” klesl téměř 4x. Ale není to jen o navýšení parametrů. Jsou za tím změny a pokrok, o kterém většina zákazníků ani netuší.
Abyste měli přehled, co aktuálně NoLimit utáhne. Podívejte se na statistiku počtu požadavků (requestů) na nejvytíženější hostingy u nás v pondělí 26. 09. 2022. Toto je návštěvnost, která dorazila až na cílový server a ten musel vrátit/generovat stránku. V závislosti, jak má zákazník nastavené cachování, část odbaví proxy server (tyto requesty zde nejsou) a také zde nejsou přístupy, které zablokovala ochrana WEDOS Global Protection. Provoz, který by tito zákazníci museli řešit na vlastním serveru, by byl v některých případech i několikrát větší.
Tito zákazníci si platí běžný NoLimit anebo NoLimit Extra, který máme v nabídce za 68,80 Kč, respektive 135,80 Kč za měsíc bez DPH. Weby na tarifu LowCost zákazníků, kteří umí optimalizovat svůj web, zvládají návštěvnost v desítkách tisíc za den (kolem 100 tisíc requestů).
NoLimit je univerzální webhosting, optimalizovaný pro co nejširší použití. Zvládne jak oblíbené řešení (WordPress, Prestashop atd.), tak i řešení na míru. Myslíte si, že by takovéto weby na něm mohli fungovat, jen pokud by měly nadstandardní parametry?
Pravdou je, že za NoLimit stojí robustní infrastruktura, značkový kvalitní hardware a tým lidí, kteří mají roky zkušeností s provozováním více jak stovek tisíc hostingových služeb. Na českém trhu nikdo další takový není, ani nikdy nebyl. Hostingovou jedničkou jsme se v ČR stali v roce 2013 a od té doby rosteme. Nic nešidíme, právě naopak všechno vylepšujeme a děláme ještě robustnější. A když k tomu přidáte roky zkušeností…
WEDOS Global Protection zdarma
V posledních měsících je naší nejvyšší prioritou budování celosvětové decentralizované sítě WEDOS Global. Ta jednak výrazně zvyšuje rychlost všech dotazů na DNS po celém světě, ale také nám umožní na ní vybudovat další služby, jako jsou ochrany proti kybernetickým útokům, CDN (ukládání cachovaného obsahu v dané lokalitě), VPN a tak dále.
Kybernetické ochrany v každém bodě potřebujeme, protože poslední útoky na nás a naše zákazníky už překročily mez toho, co se dá reálně chránit v ČR. Jednak 300 Gbps provozu už je znát, ale hlavně takto masivní útoky jdou přes řadu ISP, kteří na to nemají stavěnou síť. Napadené počítače, mobily, televize, ledničky, prostě cokoliv připojeného k internetu, je i uvnitř českých sítí a je toho hodně. Při posledním útoku v nich byl generován provoz v nižších desítkách Gbps a bude to horší.
V září se WEDOS Global skládal celkem z 15 bodů:
- Evropa
- 🇳🇱 Amsterodam
- 🇪🇸 Barcelona
- 🇨🇭 Curych
- 🇫🇮 Helsinky
- 🇨🇿 Hluboká nad Vltavou
- 🇬🇧 Londýn
- 🇪🇸 Madrid
- 🇫🇷 Paříž
- 🇨🇿 Praha
- 🇸🇪 Stockholm
- 🇦🇹 Vídeň
- 🇵🇱 Varšava
- Asie
- 🇭🇰 Hongkong
- 🇸🇬 Singapur
- 🇯🇵 Tokyo
V každém bodě je minimálně 1 systém HPE Moonshot s 45 fyzickými servery a konektivitou 80 Gbps (postupně se připojíme k lokálním ISP a konektivita se navýší na 120 – 160 Gbps). To je 1200 Gbps (1800 – 2400 Gbps), které můžeme celkem filtrovat a navíc lokálně. Do našich datacenter se dostane jen čistý provoz.
Celkem je v první fázi v plánu vybudovat 50 takovýchto bodů.
Služba WEDOS Global Protection už se dokončuje. Aktuálně ji využívá zhruba 600 webů našich zákazníků, kteří jsou pravidelně pod silnými útoky anebo jim vysoký provoz přetěžuje hosting. O jaký se jedná provoz vám ukážeme v grafu z pondělí 26. 09. 2022. Pozor, pokud chcete srovnávat s předchozí tabulkou, tak zde jsou i (sub)domény. Rozlišuje se i verze s www. a bez (na každou jdou požadavky zvlášť).
Tyto weby (včetně našeho) by bez WEDOS Global Protection útoky neustály. Pokud by se to opakovalo, tak by je ani nikdo z konkurence nechtěl na sdíleném webhostingu hostovat. Konkurence toto často řeší odpojením webu od zahraniční konektivity, což dočasně pomůže. Ale majitele nepotěší. Trvalé řešení, je zaplatit si filtrování třetí stranou anebo … přejít k WEDOS 🙂
U nás je takováto ochrana zdarma. Aktuálně ji testujeme na zákaznících, kteří jsou pod útoky, ale postupně ji nasadíme všem a zdarma. Budou tam univerzální a vyzkoušené filtry.
Náklady na tuto ochranu? Ceníkové ceny hardware jsou přes 100M Kč, umístění serverů, konektivita a elektřina jsou aktuálně stovky tisíc Kč za měsíc, ale postupně se přehoupneme přes milion Kč za měsíc.
Níže se můžete podívat na několik grafů z reálných útoků, které šly přes WEDOS Global. Ne všude je nastavena aktivní ochrana (něco aktivujeme stále ručně), takže za pár minut, než dojde k aktivaci projde útok a vytvoří i stovky tisíc chyb. Stále se jedná o testovací provoz 🙂
Nadstandardní ochrana infrastruktury před DDoS útoky
Nikdo v ČR zřejmě nemá tolik praktických zkušeností s DDoS útoky jako my. Držíme rekord za rok 2021 i 2022. Nevíme o nikom, kdo by kdy v ČR řešil takto silné útoky. A to jsme v kontaktu jak s lidmi, kteří poskytují konektivitu v ČR a mají přehled, tak i Národním úřadem pro kybernetickou a informační bezpečnost (NÚKIB), kterému se všechny významné útoky musí hlásit.
Naše práce je o to složitější, že nechráníme 1 službu, u které přesně víte, jaký provoz chcete a jaký ne. Naši zákazníci provozují všechno možné, využívají sdílený webhosting, VPS, dedikované servery, cloud atd. Mají návštěvnost z celého světa, projekty napojené na různá API, s kterými potřebují rychle komunikovat a služby třetích stran.
Navrhnout pro tohle vše DDoS ochranu je pořádná výzva. Abychom tohle dokázali, tak denně pracujeme s objeme dat logů o velikosti 1042,45 GB (to je běžný provoz, když nejsou nějaké masivní útoky). Z nich se automaticky tvoří filtry a hledáme v nich i nové druhy útoků. Denně se těmto logům věnuje několik lidí s různým odborným zaměřením.
Nenajdete moc konkurenčních služeb, kde by bylo tolik prostředků, jak finančních, tak i lidských, vynaloženo na analyzování bezpečnostních hrozeb a vylepšování ochran.
Nadstandardní zálohování dat
Za ty roky provozu jsme pochopili, že ačkoliv je kvalitní záloha dat základem, tak také rozhoduje, jak rychleji ji dokáže v případě problémů nahodit. Pravidelné zálohy jsou fajn, ale je to právě schopnost obnovit službu dostatečně rychle, co zvláště náročný zákazník ocení.
Do hledání ideálního řešení jsme investovali hodně peněz i času. Spousta řešení, která se vyvíjela dlouhé měsíce, jsme prostě zahodili, protože ve výsledku to nebylo ono. Reálný provoz takového množství služeb se bohužel nedá efektivně nasimulovat.
Nakonec jsme skončili u úložišť HPE 3PAR StoreServ Storage 8450. Jedná se o úložiště, které využívá AI pro optimalizaci výkonu a předpovídání problémů. Tato úložiště zvládají papírově až 3 miliony IOPS s odezvou pod 1 ms. Hewlett Packard Enterprise u nich garantuje dostupnost dat až neuvěřitelných 99,9999 %. Škálovat se dají až na 80 PB jeden systém. V reálném provozu se nám podařilo dosáhnout něco pod 1 milion IOPs.
Jedním z cílů bylo co nejvíce se odprostit od software a vrstev, které brzdí výkon. Nechat tam jen hardware a firmware, ať se o vše postará. Celkem máme v datacentru 13x HPE 3PAR StoreServ Storage 8450 z toho aktivně nasazených 12 a pro vývoj 1.
Výsledkem je, že je vše rychlejší a otvírají se nám nové možnosti zálohování a hlavně i ochrany dat.
Ochrana dat
Právě téma ochrany dat v posledních měsících hodně řešíme. Aktuální koncept, kam bychom se chtěli dostat vypadá následovně:
O co tedy jde. Data služeb pojedou na prvním 3PAR (v DC1/DC2). Z něj se bude provádět živá kopie dat na druhý 3PAR (v DC2/DC1), kde formou snapshotů disků se budou ukládat data 6x za den (každé 4h), 7x za týden (každý den), 4x za měsíc (1x týdně). Tyto snapshoty se budou ukládat na “cold storage” ve formě třetího 3PAR, který je offline a umístěný mimo naše datacentra. V pravidelných intervalech se připojí k síti a stáhne si data z druhého 3PAR. Už uložená data se navíc nebudou dát z třetího 3PAR mazat (stará data se budou pravidelně čistit v rámci interních procesů, ale co není staré, smazat nepůjde).
Tento koncept se aktuálně testuje. Nicméně negarantovaně už se data ukládají na první a druhý 3PAR podle infografiky výše.
Co aktuálně ještě řešíme je, jak poznat zašifrovaná data. Tedy data, která byla napadena ransomware, a to přímo na úrovni 3PAR. Jakmile se nám to povede, tak dokážeme odhalit ransomware útok a zašifrovaná data nezazálohujeme.
Naddimenzovaná a redundantní infrastruktura
Když si sami navrhnete a postavíte datacentrum, tak víte o každém kabelu. Zároveň si pořád říkáte “co kdyby” a přehráváte v hlavě různé katastrofické scénáře. Výsledkem je robustní naddimenzovaná infrastruktura, která je odolná jak proti reálným scénářům (požár, výbuch, rozsáhlé záplavy v oblasti, blackout …) až po zcela katastrofické (10000 letá voda (existuje to vůbec?), totální karanténa, měsíční blackout, tornádo, extrémní teploty (teplo i zima), invaze zombie …)
Na vše existuje řešení. Jen je třeba vymyslet a investovat do něj čas i peníze.
Pár příkladů:
V obou našich privátních datacentrech používáme nehořlavé (samozhášecí) kabely pro rozvod elektřiny. V datovém sále je pak použitý přípojnicový systém, který nám jednak zjednodušuje montáž a zároveň poskytuje i ochranu před ohněm. Jak kabely, tak i přípojnicový systém je několikrát dražší než běžně používané “hořlavé” řešení.
Datacentrum WEDOS DC2 je už od základu stavěno s nehořlavými kabely a přípojnicovým systémem, datacentrum WEDOS DC1 prošlo v minulých letech rozsáhlou modernizací a staré řešení nahradily nehořlavé kabely a přípojnicový systém.
Obecně u obou datacenter jsme udělali maximum nejen pro vznik požáru, ale také k jeho dopadu (jednotlivé části jsou požárně oddělené a dobou prohoření je 30 – 120 minut). Pokud už by se něco pokazilo, tak se s tím rychle vypořádáme, vyvětráme, vyměníme co je potřeba a jedeme dál.
Mít dva motorgenerátory v datacentru je dnes celkem standard. Aby každý samostatně utáhl celé datacentrum, včetně infrastruktury už ne. Ve WEDOS DC1 máme dva sestavené speciálně na míru (součástky různých výrobců, jeden chytrý a jeden hloupí).
Každý z nich utáhne kompletně celé datacentrum 12 hodin plného výkonu (při aktuálním výkonu 16 – 17 hodin). Oba jsou stavěné na standardní nepřetržitý provoz (dají se za chodu doplňovat) a jeden dokonce na skutečný nonstop provoz (používají se například na lodích a musí jet v kuse měsíce). Dokonce jsme u něj uvažovali, že jestli poroste cena elektřiny dál takovým tempem, tak začneme prostě pálit levnější naftu. Klidně měsíce v kuse.
A co teprve 7 motorgenerátorů? Každý schopný utáhnout celé datacentrum. 2 na střeše, 3 uvnitř budovy. WEDOS DC2 je už od začátku stavěno na provoz i v extrémních podmínkách.
Možná se vám to zdá jako zbytečný “luxus”, ale pravdou je, že mi chceme, i pokud by se stalo něco hodně špatného, tak abychom to dokázali ustát anebo nahodit plný provoz co nejdříve (maximálně v řádu hodin).
U nás si tedy platíte i za to, že když dojde k extrémní situaci, tak vše budeme schopni rozchodit velice rychle.
Pořád někoho sháníme 🙂 Aktuálně hledáme nové kolegy na 8 pozic. Není to však kvůli tomu, že by nám chyběli lidé na provoz. Pokud bychom vše chtěli jen udržet v chodu, tak nám stačí zhruba 1/3 lidí, co teď máme. Zbytek prostě dělá vývoj a posouvá vše kupředu. Hledáme tak lidi, abychom mohli růst rychleji anebo rozjet další projekty.
To že nás stačí 1/3 na provoz však má jednu obrovskou výhodu. Když nastane problém, jako byl třeba Covid, tak je tu vždy dost lidí, aby mohli tu 1/3 zastoupit. Navíc máme 2 oddělené budovy, s celkem 3 oddělenými kancelářskými prostory (2 kanceláře + 1 zasedačka). Dokázali jsme tak fungovat i v Covidu. Kolegy jsme rozdělili do skupin, tak, aby se jednotlivé skupiny nepotkávaly.
Zrovna Covid jsme zvládli celkem dobře, i když jsme se báli, že budeme muset omezit zákaznickou podporu. Dostatek lidí a vlastní prostory se hodí. Vše se posunulo kupředu.
Zkušení kolegové
Pokud s námi vydrží nový kolega déle jak rok, většinou i zůstane. Náš kolektiv se tak postupně rozrůstá a lidé jsou zkušenější. Je to znát, hlavně když se řeší nějaký nový problém. Je více lidí, kteří zkouší hledat, co se děje a navzájem sdílí informace. Dříve jsme se spoléhali na pár zkušených kolegů. Dnes, s tím jak se vše rozrostlo, je i více možností, jak některé nové problémy řešit. Znát je i sebedůvěra “něco zkusit”, která pramení právě z praktických zkušeností.
Výše uvedené se týká nových problémů a některých specifických situací. Běžné provozní věci (rozbitý hardware, DDoS útoky atd. ) si řeší každé oddělení. Má na to ověřené postupy.
Vzhledem k objemu služeb, které provozujeme, všichni nabírají zkušenosti poměrně rychle. Řada úkonů se opakuje, takže je u nás i silný tlak na automatizaci, což vede k rychlejšímu a efektivnějšímu odbavování požadavků.
Zkušení lidé s dlouholetou praxí jsou k nezaplacení.
Záruky ověřené třetí stranou
Jak jistě víte, máme řadu ISO certifikací. ISO certifikáty jsou zárukou, že nejen naše služby, infrastruktura, ale i procesy ve firmě odpovídají mezinárodním standardům.
Aktuálně máme:
- ISO 9001 (systém managementu kvality)
- ISO 14001 (systém environmentálního managementu)
- ISO 27001 (systém managementu bezpečnosti informací)
- ISO 27017 (soubor postupů pro opatření bezpečnosti informací pro cloudové služby)
- ISO 27018 (soubor postupů na ochranu osobně identifikovatelných informací ve veřejných cloudech)
Tyto certifikace nejsou levné a vyžadují i poměrně hodně administrativní práce. Na celou akci se připravujeme celoročně, ale měsíc před samotnou ISO recertifikaci a auditem samozřejmě intenzivněji. Poslední audit z března 2022 probíhal 2 dny.
U 9001 a 14001 se dělá audit dozorový, který se musí konat každý rok, jestli vše splňujeme. U ostatních probíhá recertifikace.
Certifikáty jsou zárukou, že nejen naše služby, infrastruktura, ale i procesy ve firmě odpovídají mezinárodním standardům.
Naši nejnáročnější zákazníci často musí se svými klienty řešit konkrétní požadavky na hardware, infrastrukturu a zabezpečení. Většina požadavků vychází právě z ISO norem. Takže když máme tyto certifikáty nemusíme řešit individuální smlouvy.
Aktuálně i ten nejlevnější sdílený webhosting u nás je provozován podle výše uvedených standardů, který stačí i náročným zákazníkům, kteří zde provozují aplikace svých klientů, což jsou často firmy s miliardovým obratem. Navíc to často stačí i úřadům 😉
Ano, i za to si platíte a ani o tom nevíte 🙂
Závěr
Snažíme se naše služby posouvat kupředu. Jenomže to vyžaduje práci na mnoha úrovních. Nemůžete jen rychle tlačit to, co je vidět. Je třeba řešit zázemí (datacentrum, budovy), infrastrukturu, hardware, vývoj a lidi, kteří se o to vše budou starat. Snažíme se nic zbytečně neuspěchat.
Aktuálně děláme na řadě úžasných projektů, které v ČR nemají konkurenci – (například WEDOS OnLine a WEDOS Global). Postupně vše budeme spouštět, propagovat a dále posouvat kupředu. Jsou to české projekty. Věříme, že do světa dostanou nejen naši značku ale i Česko 🙂