🚨 Каскадный коллапс Рунета. Мрачные прогнозы воплотились.
Первопричиной цифрового домино стал кинетический импакт от удара беспилотников по ДЦ Яндекса в рязанском Сасово... на объекте начался пожар, и площадку пришлось полностью обесточить и заглушить. Инженеры Yandex Cloud написали о потере одной зоны доступности и начали экстренную переброску мощностей и терабайтов живого трафика в резервные кластеры. Но в распределенных сетях чудес не бывает... законы физики и пропускной способности каналов нельзя отменить директивой руководства.
Когда огромная цифровая экосистема начинает единовременно перенаправлять колоссальные потоки данных между регионами, на смежных узлах связи и точках обмена начинается тектонический сдвиг. Рикошетом накрыло Selectel, на котором висит добрая треть коммерческого Рунета. Около четырех часов дня на их статусной странице замигал красный алерт 🚨... не выдержала система фильтрации трафика DDoS Curator.
Архитектурная ирония ситуации в том, что защита от DDoS создана для отсева мусорных сетевых пакетов, но когда аварийный трафик с перегруженных узлов и соседних ДЦ начинает лавинообразно перестраивать маршруты, скрубберы фильтрации сами превращаются в узкое горлышко. Как только ложится защитный шлюз, весь трафик клиентов либо улетает в пустоту, либо запросы упираются в мертвую стену таймаутов. В итоге клиенты облака легли синхронно, породив идеальный идеальный шторм отказов по всей стране.
З.Ы. Похоже, в смету на колокейшна пора вносить бронированные колпаки на крышу серверной.
Типичный 🟢 Сисадмин
Первопричиной цифрового домино стал кинетический импакт от удара беспилотников по ДЦ Яндекса в рязанском Сасово... на объекте начался пожар, и площадку пришлось полностью обесточить и заглушить. Инженеры Yandex Cloud написали о потере одной зоны доступности и начали экстренную переброску мощностей и терабайтов живого трафика в резервные кластеры. Но в распределенных сетях чудес не бывает... законы физики и пропускной способности каналов нельзя отменить директивой руководства.
Когда огромная цифровая экосистема начинает единовременно перенаправлять колоссальные потоки данных между регионами, на смежных узлах связи и точках обмена начинается тектонический сдвиг. Рикошетом накрыло Selectel, на котором висит добрая треть коммерческого Рунета. Около четырех часов дня на их статусной странице замигал красный алерт 🚨... не выдержала система фильтрации трафика DDoS Curator.
Архитектурная ирония ситуации в том, что защита от DDoS создана для отсева мусорных сетевых пакетов, но когда аварийный трафик с перегруженных узлов и соседних ДЦ начинает лавинообразно перестраивать маршруты, скрубберы фильтрации сами превращаются в узкое горлышко. Как только ложится защитный шлюз, весь трафик клиентов либо улетает в пустоту, либо запросы упираются в мертвую стену таймаутов. В итоге клиенты облака легли синхронно, породив идеальный идеальный шторм отказов по всей стране.
З.Ы. Похоже, в смету на колокейшна пора вносить бронированные колпаки на крышу серверной.
Типичный 🟢 Сисадмин