Když na nás v dubnu 2021 šly nejsilnější útoky v dějinách českého internetu, které dokázaly ucpat na krátkou chvíli všechny 3 naše 100 Gbps trasy, pochopili jsme, že se mění pravidla. I přes upgrade hardware našich ochran, posílení infrastruktury a zavedení nových procesů, byla jen otázka času, než se z krátkých útoků o této síle stanou útoky delší anebo dokonce permanentní.
Takto silné útoky přetěžují nejen konektivitu našich dodavatelů, ale i řady ISP přes které jdou. Někteří nemají ani zdaleka konektivitu jako my. Přesto od nich odchází útoky z napadených zařízení. Dnes dokáže silný útok vytvořit nejen napadený server, počítač, ale i chytrá televize anebo lednička. Schválně si srovnejte, jaké máte připojení doma dnes a jaké jste měli před 5 anebo 10 lety. Kolik nových zařízení má k přístup k síti a jaké procesory používají. Za 5 – 10 let se všechno posunulo strašně kupředu.
Můžeme navyšovat konektivitu, posilovat infrastrukturu, ale tady v ČR utlučou nás anebo naše poskytovatele. Proto jedinou cestou je vyrazit do světa. Přesunout boj na lokální bojiště po celém světě přímo tam, kde vznikají. A přesně to bude mít za úkol decentralizovaná celosvětová síť WEDOS Global.
Co je WEDOS Global
WEDOS Global využívá technologii BGP anycast, která umožňuje aby na dotaz návštěvníka odpověděl vždy jemu nejbližší server. Na rozdíl od běžného řešení, kdy odpověď zná jen 1 server na celém internetu. Tato technologie se využívá například pro anycastDNS anebo CDN. Obojí máme v plánu 🙂
Podstatou WEDOS Global je tedy rozmístění serverů po celém světě tak, aby zachytávaly provoz v dané lokalitě.
V našem případě se bude jednat o serverové skříně HPE Moonshot 1500, které obsahují 45 fyzických serverů a 2 switche. Díky dvěma integrovaným síťovým switchům (4 x 40GE a 8 x 10 GE porty) s full duplex připojením (obousměrné) může být jeden HPE Moonshot připojen až 320 Gbps konektivitou,. Počítáme, že využijeme jen polovinu a zbytek bude na redundanci. Nový plně osazený HPE Moonshot 1500 stojí zhruba jako rodinný dům.
Původně jsme měli v plánu v první fázi rozmístit HPE Moonshoty do 5 lokací. Vše otestovat, doladit a přidat další. Bohužel situace začíná být vážná. V kyberprostoru zuří válka a český naměřený rekord DDoS útoků 164,3 Gbps z roku 2021 byl minulý týden překonán. Článek připravujeme. Útok byl navíc celkem dlouhý a řada ISP to odnesla. Pokud víme, tak se v posledních dnech útočí silně i na jiné hostingy.
Musíme tak vše urychlit a pořádně škálovat. Připraveni na to už téměř jsme. Na fotce z našeho druhého datacentra WEDOS DC2 vidíte 3 palety s 20 plně osazenými HPE Moonshoty. K tomu 1 se připravuje ve vedlejší místnosti, 2 jsou připravené na expedici a 2 už zapojené v provozu.
Tím to ale nekončí. Aktivně jednáme o nákupu dalších 25 kusů pro další fáze naší expanze WEDOS Global.
Aktuální stav WEDOS Global
Podařilo se nám dokončit vývoj decentralizované sítě, teď se ladí detaily, sbírají data atd. Testovací provoz jde už přes první body.
Aktuálně máme dva body. Jeden v Hluboké nad Vltavou a druhý v Praze. Jsou v plánu úpravy a posílení konektivity. Chceme vyzkoušet 100 Gbps propoj do Peering.cz, otestovat si jak to půjde, jak zvládnout velké útoky. Tento propoj bude přes DC Sitel, kde bychom rádi navýšili celkovou konektivitu na 410 Gbps (Telia, Cogent). Dále máme připojení 100 Gbps přes DC ČDT U2 , kde máme a budeme mít 110 Gbps (ČDT + Kaora).
V Praze si odfiltrujeme co potřebujeme a pak vedeme čistý provoz přes 3×100 Gbps k nám na Hlubokou nad Vltavou.
Jde hlavně o to lépe pokrýt provoz z ČR a posílit zahraničí.
První Moonshot umístíme do Vídně (Telia). Pokud vše klapne, tak už příští týden. Vypadá to, že si ho tam prostě odvezeme sami. S Telia domlouváme ještě Mnichov.
Dále máme podepsané smlouvy na několik let s dalšími dodavateli a to nyní v 7 lokalitách:
- Helsinky
- Stockholm
- Amsterodam
- Paříž
- Madrid
- Curych
- Varšava
Domluvená už je přeprava do 6 z těchto lokalit. Jak se jedná o export prvních kusů, tak to musíme vše vymyslet, zprocesovat, domluvit. Další várky už budou na organizaci jednodušší.
V procesu jednání je ještě New York.
Aktuálně tedy pracujeme na 10 lokalitách + máme Prahu a Hlubokou. Ve všech lokalitách domlouváme minimálně 80 Gbps linku, ale ve většině to bude 120-160 Gbps. Předpokládáme, že budeme mít 40 Gbps do Telia (přejmenovala se od března), 40 Gbps od někoho dalšího (většinou Cogent). 20 Gbps do místního peeringu, 20 Gbps na vlastní propoje mezi našimi body. A potom 40 Gbps rezerva ne cokoliv (většinou další peering nebo přímý propoj k někomu). Uvidíme podle potřeb v jednotlivých lokalitách.
Takže venku budeme zvládat filtrovat přes 800 Gbps, v ČR dalších cca 400 Gbps (jednu 100 Gbps linku máme jako záložní). Celkem tedy 1,2 Tbps konektivity, pokud nepočítáme záložní trasy. Počítáme, že to navýšíme na dvojnásobek během jara.
Během jara bychom rádi počet bodů navýšili na 30. V lokalitách, kde to bude potřeba můžeme samozřejmě přidávat další HPE Moonshoty a škálovat je podle potřeby, ale technologicky je lepší mít více bodů. Kvůli bezpečnosti a redundanci.
Závěr
To je aktuální stav budování naší decentralizované sítě WEDOS Global, jejíž součástí bude i tradiční DDoS ochrana (na 3. a 4. síťové vrstvě). Na ni dále vyvíjíme WEDOS Global Protection, což je ochrana webů (7. síťová vrstva). Ta bude v základní verzi chránit všechny weby našich zákazníků na NoLimit, NoLimit Extra, LowCost, WMS a WEDOS WebSite. V plánu jsou i tarify pro individuálním nastavení a lepší ochranu, ale o tom zase příště.
Jakmile tohle dokončíme, tak se pustíme do dalších služeb postavených na WEDOS Global, jako CDN, VPN atd.
O výstavbě WEDOS Global vás budeme dále informovat. Od stavby našeho druhého privátního datacentra WEDOS DC2 je to náš největší projekt.
Příště také vysvětlíme jak WEDOS Global na technologii anycast funguje a bude fungovat.