V květnu jsme pokračovali v budování naší infrastruktury WEDOS Global. Posunuli jsme se také se službou WEDOS Zone, která vám umožní využívat jen naše anycast DNS. Služba WEDOS Global Protection zažila také největší L7 DDoS nápor od doby, co detailně měříme a zaznamenáváme útoky.
WEDOS Global
WEDOS Global je název naší infrastruktury, na které jede stejnojmenná celosvětová síť. Celá infrastruktura WEDOS Global má aktuálně k dispozici přes 1500 fyzických serverů a konektivitu přes 2,5 Tbps. Na konci května jsme měli servery ve 24 lokalitách v 19 státech na 5 kontinentech. Další 2 lokality jsou ve fázi dokončování.
Pokud se o WEDOS Global chcete dozvědět více, tak si pusťte záznam přednášky z Kubernetes Community Days Czech & Slovak 2023 v Bratislavě, kde naši dva kolegové, kteří na vývoji služby pracují, měli přednášku “WEDOS Global – globální Kubernetes infrastruktura, její vývoj a údržba”.
Nový bod WEDOS Global v Istanbulu
V úterý 02.05.2023 ve 14:04 jsme spustili novou lokalitu WEDOS Global v Turecku se 45 fyzickými servery a konektivitou 100 Gbps. Tato lokalitu je velice důležitá, protože bude mít na starosti provoz pro střední východ a část Afriky. Bude přes ni přistupovat více jak 400 milionů internetových uživatelů v regionu. Istanbul je již 24. lokalita WEDOS Global.
Nové propoje WEDOS Global
V dubnu jsme oznámili naše připojení k Bulgarian Internet eXchange (BIX.bg) prostřednictvím našeho bodu v Sofii v Bulharsku. Toto byl důležitý krok, který nám potvrdil, že jdeme správnou cestou. Dokonce výsledky předčily naše očekávání.
V rámci posílení WEDOS Global v dané oblasti jsme se připojili i k Balkan-IX. Zatímco BIX.bg nám zajistí skvělou dostupnost a odezvu především v Bulharsku, Balkan-IX jí zlepší odezvu a dostupnost v celém regionu.
WEDOS Global se neustále rozšiřuje. Usilovně pracujeme na přidávání dalších lokalit a navíc současně jednáme o spolupráci s patnácti provozovateli IXP (Internet Exchange Points), většinou evropskými.
Co je to IXP (Internet Exchange Point)?
IXP (Internet Exchange Point) je fyzické místo, kde se propojují různé sítě. Provozovatelé sítí se zde mohou propojit a vyměňovat data. Díky tomu se snižuje latence a zvyšuje rychlost přenosu dat mezi jejich sítěmi. V podstatě je to křižovatka lokálního internetu.
WEDOS Global se tím posune na novou úroveň. Už jsme se dostali do TOP 10 v Evropě a víme, že to bude ještě lepší.
Statistiky
Následující statistiky jsou z proxy serverů na jednotlivých bodech, které odbavují požadavky očištěné od L3/L4 DDoS útoků.
Co jsou L3/L4 útoky?
DDoS útoky na L3 a L4 vrstvě se zaměřují na síťovou a transportní vrstvu a využívají různé techniky, jak zahlcovat cílové servery nebo zařízení.
Síťová vrstva (L3) – zajišťuje směrování dat mezi různými sítěmi pomocí logických adres (IP).
Transportní vrstva (L4) – zajišťuje spolehlivý a řízený přenos dat mezi koncovými body pomocí protokolů jako TCP nebo UDP.
Dále jsou očištěny o všechny požadavky, které jdou ze serverů na našich blacklistech.
Jak používá WEDOS blacklisty?
WEDOS využívá řadu blacklistů, které si tvoříme sami anebo získáváme od třetích stran.
Nejvíce IP adres je na automaticky generovaných blacklistech, které se vytváří algoritmy na základě analýzy provozu v reálném čase. IP adresa zde může být jednotky minut anebo i hodin.
Dále máme standardní blacklisty, které tvoří naši odborníci na kybernetickou bezpečnost v reakci na útoky anebo z analýzy logů. Používáme i placené blacklisty třetích stran (Udger, AbuseIPdb).
Dále do přehledu nejsou zahrnuty některé požadavky, které používáme pro monitorování dostupnosti a fungování jednotlivých bodů, aby statistiky nezkreslovaly.
Ke konci května počet chráněných domén WEDOS Global Protection narostl na 3034. Většinou jsou to domény, které přidala podpora kvůli útokům anebo to jsou náročné weby, kterým výrazně pomáhá automatická cache na proxy serveru (v podstatě CDN). Mimo nás využívá WEDOS Global Protection 804 uživatelů.
V květnu bylo zaznamenáno celkem 2 679 570 211 požadavků (+43,35 %) z 8 101 233 (+1,96 %) unikátních IP adres, které směřovaly na chráněné domény. V průměru za den odbavily proxy servery 86 437 749 požadavků.
Za nárůst může jednak přibývající počet chráněných domén, ale také delší L7 DDoS útoky, které v posledních letech výrazně získaly na popularitě. K jejich eliminaci je potřeba vidět do provozu, protože z venku vypadají jako legitimní přístupy. Což pro nás není problém 🙂
Co je L7 DDoS útok?
L7 DDoS útok je typ kybernetických útoků na web anebo aplikaci, který používá běžné internetové požadavky jako GET a POST. Cílem je zpomalit anebo znepřístupnit webovou stránku anebo třeba API.
Útoky na L7 jsou obtížně odhalitelné a odlišitelné od normálního provozu, protože používají stejné protokoly a metody jako legitimní uživatelé. K jejich eliminaci je potřeba použít speciální nástroje a techniky a důkladnou analýzu síťového provozu.
V květnu se ladila a vylepšovala ochrana, takže bohužel nemáme přesné statistiky kolik toho zachytila která metoda ochrany jako je limitování požadavků, limitování připojení atd. Jedná se však o stovky milionů požadavků.
Čistě WAF zablokoval 12 489 704 požadavků.
Co je WAF (Web Application Firewall)?
WAF (Web Application Firewall) je ochrana na našich reverzních proxy serverech, která je umístěna mezi útočníkem a vaším webem. V reálném čase prochází každý požadavek a hledá v něm specifické znaky útoku anebo zneužití bezpečnostní díry. Pokud narazí na podezřelý požadavek, může jej přesměrovat na test (přesměrování, captcha) anebo zablokovat.
Nejsilnější DDoS útoky
V květnu jsem zaznamenali zvýšenou aktivitu útoků přes služby nabízející anonymní VPN. Převážně se jednalo o hledání zranitelností a SQLi útoky. Prozatím to řešíme individuálně, ale do budoucna zvláště služby nabízející bezplatnou VPN či nějakou formu testovacího období zdarma budeme muset dát permanentně na seznam potenciálně nebezpečných. Přístupy z nich budou vždy testovány zdali se nejedná o roboty. Nebudou tedy blokovány, ale návštěvník bude muset počkat na přesměrování JavaScriptem anebo v některých případech vyplnit jednoduchou captchu.
Ale teď už k nejsilnějším L7 DDoS útokům za květen, které dorazily až na proxy server.
1. útok na WEDOS.com – špička 1,65M požadavků za minutu
Naše weby bývají pod útokem pravidelně, ale tentokrát to bylo trochu komplikovanější, protože jsme prováděli sjednocení všech webů pod jednu doménu a ne všechno bylo ještě dotažené. Útočníci tak zřejmě vytušili příležitost a rozjeli celkem silný útok, který postupně škálovali. Útok trval 4 hodiny a až na samotný proxy server během té doby prošlo 53,8M požadavků z 11 154 IP adres. Ve špičce to bylo 1 657 083 požadavků za minutu.
Vždy když je velmi silný útok, tak se na bodech, odkud jde, spustí captcha pro všechny jako prevence. Tohle máme u všech chráněných domén a jde o to zabránit “zadýchání” webserveru zákazníka. Ne vždy totiž jde o jeden druh útoku. Mohou probíhat další s různým cílem.
Mimo to jsou tam aktivní různé limity požadavků, pokusů o připojení atd. podle dalších pravidel.
Pokud by tohle všechno z nějakého důvodu selhalo, tak máme záložní plán, kdy se identifikují útočící IP adresy prostě hodí na blacklist, než se problém vyřeší.
Tady něco nezafungovalo úplně správně (v důsledku seskupování webů). Nicméně, jak je to náš web a ne zákazníka, tak nějaké zpomalení anebo kratší výpadek moc neřešíme. Prioritou je zjistit, proč problém nastal, sesbírat data a vše vyřešit. Samozřejmě pokud by to byla zákaznická administrace anebo něco jiného, co omezí naše zákazníky, tak si “hrát” nebudeme.
Zajímavé bylo, že tohle naše zkoumání asi brali útočníci jako, že máme problém a daří se jim. Aktivních bylo hned několik lidí u nás, takže zatímco technici kontrolovali, zdali webserver stíhá, vývojáři hledali a opravovali problém, tak analytici procházeli logy a sledovali, co a kam směřuje.
Pro jistotu bylo zhruba 2 tisících útočících IP adres dáno postupně na blacklist. No a pak útočníci odhalili karty a pustili další útoky z úplně nových rozsahů. Je možné, že si někoho nového jen pozvali na pomoc, kdo běžně neútočí, nehledá zranitelností atd. Po půlnoci jsme tak hlavně sbírali data.
Pak se rozhodlo, že je čas jít spát a pustily se ochrany.
2. útok na WEDOS.com – špička 1,31M požadavků za minutu
Za pár dní to zkusili útočníci znovu, trochu dříve. Útok měl něco přes 2 hodiny, bylo to ale jen 36 401 597 requestů z 4 740 IP adres. Špička na začátku 1 318 016 požadavků za minutu. Chvilku trvalo než sepnula ochrana.
3. útok na herní web – špička 948K požadavků za minutu
Celkem zajímavý útok proběhl začátkem měsíce na jeden web herního serveru. Útoky komunit mezi sebou nejsou nic nového, ale většinou jsou primitivní. Tento vypadal celkem slušně, k profesionálnímu provedení mu chyběla jen synchronizace. Trval necelých 6 minut. 2 029 781 requestů z 2 273 IP není zrovna málo. Špička 948 0140 požadavků za minutu.
Závěr
Kdokoliv může využívat WEDOS Global Protection pro rychlejší načítání a ochranu svých webů. Službu je možné používat bez nutnosti stěhovat hardware anebo měnit poskytovatele webhostingu. Stačí nasměřovat doménu na DNS WEDOS Global a přidat doménu do administrace WEDOS Global Protection.