Типичный Сисадмин

👨‍🦳 Вечерняя порция от Яндекса...

Только к вечеру второго дня в облаке появилась "возможность переносить управляющие компоненты k8s и удалять хосты из зоны ru-central1-b". Всё это время распределенный консенсус etcd и репликации ждали ответа от превратившейся в угли ноды в Сасово, блокируя любые операции по управлению... нельзя было ни сменить конфиг, ни добавить пользователя, ни накатить миграцию.

Яндекс сообщает, что нейросети работают штатно, но добавляет: "сохраняются некоторые особенности работы моделей DeepSeek, связанные с размером контекстного окна". ИМХО, походу кластеры с топовыми ускорителями частично подгорели, видеопамяти под гигантский KV-кэш не хватает, и чтобы сетка не вылетала в аут оф мемори, ей подрезали память на лету. Вчера у тебя была умная модель с длинным контекстом, а сегодня - чуть склеротичный ИИ.

Из позитивного... S3 Object Storage починили и тайминги на запись вернулись в норму. Сторадж перестал задыхаться, а вот разгребать последствия контуженного кворума и общаться с амнезийным дипсиком предстоит еще долго.

Типичный 🟢 Сисадмин

🔥 Яндекс начал эвакуировать клиентов к прямым конкурентам. Стойки закончились.

В 09:27 во всех зонах разом захромал S3 Object Storage... тайминги улетели, операции записи начали повально сыпать ошибками. Стораджисты это понимают... это когда из распределенного кластера физически выпадают площадки, erasure coding и кворум репликации ложатся, то читать старое еще можно, а вот записать новый блоб становится тяжеловато (невозможно).

😱 В 10:39 случился исторический момент. Яндекс пояснил, что свободных мощностей для бизнеса больше нет, и предложил своим клиентам… переходить в Selectel, K2Cloud и VK Cloud. А чтобы быстрее приютили на чужих серверах, нужно назвать секретный пароль... CloudBro.

З.Ы. Как говорится... мем смешной, а ситуация страшная. Кажется, мы только что увидели фактический предел прочности нашего облачного рынка.

Типичный 🟢 Сисадмин

💥 Следом за Сасово прилетело по ДЦ Яндекса в Калуге. Минус два из трёх.

Не прошло и суток как под удар попал крупнейший ДЦ Яндекса в Калуге. Несколько модулей выведены из строя, экстренные службы на месте, сервисы по всей стране снова лихорадит, а масштаб ущерба уточняется.

Оцените всю дьявольскую издевку ситуации... ровно вчера, когда в Сасово догорал, техподдержка Яндекса советовала клиентам переносить нагрузку в другие зоны доступности. И тысячи невыспавшихся админов по всей стране, с красными глазами, раскатывали бэкапы, поднимали поды и переключали трафик… куда? В Калугу и Владимир. И вот, не успел в свежеподнятых базах остыть кэш, как резервная гавань сама ловит новый физический импакт.

С точки зрения архитектуры распределенных систем это почти фаталити... любой эникей знает, что для нормального кворума в etcd, распределенной YDB или консенсусах на базе Raft и Paxos требуется правило большинства (N/2 + 1). Для этого региональные облака и строят минимум на трех изолированных зонах доступности. Зона ru-central1-b физически аннигилировала вчера. Сегодня падает калужская зона. Два узла из трех выбыли.

Вчерашний совет саппорта про спасаться на дедиках теперь заиграл совсем уж погребальным сарказмом. На каком железе спасаться-то, если его выбивают быстрее, чем админы успевают поправить адреса в куберконфигах? Карточный домик суверенной облачной отказоустойчивости пошатнулся.

З.Ы. В строю осталась последняя площадка во Владимире. Инженерам во Владимирской области сейчас хочется пожелать персонального бронированного купола толщиной с бетонную плиту. Потому что если моргнет и Владимир...

Типичный 🟢 Сисадмин

Покупатели проходят мимо, выбирают пуховики... А могли бы выбрать Load Optimized Defaults и сделать мир чуточку стабильнее.

@sysodmins

Природа настолько очистилась, что в прод вернулись старые добрые дедики...Yandex Cloud советует спасаться с подгоревших виртуалок Сасово на физические дедики Bare Metal

Доступность зоны ru-central1-b пока не восстановлена. Наша команда продолжает устранять последствия инцидента.

Рекомендуем по возможности использовать альтернативные варианты восстановления сервисов, в том числе выделенные физические серверы Bare Metal.

Cледующую весточку отложили до завтра в 12:00 мск... впереди одиннадцать часов тишины, до утра оживить площадку в Сасово невозможно даже теоретически ⚰️

З.Ы. Вот она, ирония судьбы: больше десяти лет на всех конфах нам говорят, что будущее за эластичными микросервисами, подами и бессерверными функциями. И вот... облачный провайдер предлагает клиентам юзать выделенные физические серверы.

Получается, что облачный инжиниринг сделал полный оборот и вернулся в благословенный 2005 год... ностальгия в глаз попала.

Типичный 🟢Сисадмин

🚪 Пресс-служба Яндекса: компания продолжает оценивать ущерб в Сасово и подтвердить возможность восстановления оборудования пока не может.

Главный вопрос, от которого сейчас зависит будущее отечественного бигтеха... что там с Червоненкисом и Ляпуновым. Если пожар или тушение добрались до машинных залов этих двух суперПК, то это же две трети вычислительных мозгов Яндекса, на которых обучаются главные нейросети страны, и четверть коммерческого облачного рынка РФ.

Типичный 🟢 Сисадмин

🚨Yandex Cloud выкатил самый тревожный апдейт за эти сутки... в ближайшее время ничего не поднимется ⚰️

Если кто-то еще питал иллюзии, что к ночи рубильник поднимут и базы в Сасово оживут, увы:

Ситуация с доступностью зоны ru-central1-b пока не изменилась. Наши специалисты продолжают восстановительные работы, однако, по текущим оценкам, возобновить работу зоны в ближайшее время не удастся. Рекомендация остается прежней по возможности задействовать альтернативные планы по восстановлению работы сервисов.

Если чья инфраструктура, БД или единственные копии снапшотов жили исключительно внутри зоны ru-central1-b - сочувствую. Но урок по Disaster Recovery должен быть усвоен.

Что же там внутри ДЦ... 😱

Типичный 🟢 Сисадмин

🚨 Хороники яростной битвы инженеров Yandex Cloud в Сасово с законами физики.

Условно разобью по актам для удобства чтения.

🟢 Акт первый: Просто моргнул свет.
В 01:44 ночи дежурный мониторинг выкатывает уведомление "Нарушение электропитания в зоне доступности ru-central1-b". Тип инцидента - Unavailable. Следом простыня из трех десятков критических сервисов, от управляемых кластеров Kubernetes и баз данных PostgreSQL до YandexGPT API. И сообщение от саппорта: "Рекомендуем по возможности перенести нагрузку в другие зоны". Любой девопс, пытавшийся в час ночи на коленке мигрировать терабайтные стейтфулсеты и реплики баз данных в соседние зоны, в этот момент 100% нервно заскрежетал зубами... заподозрив неладное.

🟢 Акт второй: Давка на выходе.
К пяти утра наступило следствие любой облачной эвакуации. Тысячи перепуганных клиентов ломанулись поднимать упавшие виртуалки в зонах ru-central1-a и ru-central1-c. Итог закономерен... работающие ДЦ захлебнулись. В 04:55 статус-бот признает, что в других зонах начались проблемы с созданием новых инстансов, баз данных и нод k8s. Свободные аллокации железа тупо кончились. Если у кого не было заранее зарезервированных и оплаченных мощностей в другом регионе, то увы... очередь с ошибками.

🟢 Акт третий: Спам в консоли и смерть Serverless.
Ближе к обеду бота мониторинга начало лихорадить... посыпались сообщения об исключении сервисов из инцидента. Выглядело это так, будто инженеры в вручную разруливали связность, по живому пересобирая IAM, VPC, DNS и сетевые балансировщики. Но стоило отчитаться о локализации, как в 14:33 легли Cloud Functions и Serverless Containers... бессерверная магия скорчилась под каскадной нагрузкой уже в масштабах всего облака.

🟢 Акт четвертый: Нервный тик контрол-плейна.
Ближе к вечеру уставшая дежурная смена подарила сетевикам отдельный приступ тахикардии. В 16:46 бот внезапно добавил к списку аварийных зон… ru-central1-d. Ровно через шестьдесят секунд зону убрали обратно. То ли у кого-то дрогнула рука, то ли соседний кластер на секунду захлебнулся от перегруза - хз. Представляю седые волосы админов, которые в эту минуту смотрели на дашборд 👨‍🦳

🟢 Акт пятый: Признание неизбежного.
Понадобилось почти четырнадцать часов сообщений про "перебои с питанием", чтобы в 15:19 назвать вещи своими именами. Формулировка сменилась на реальную:

Причиной инцидента стал пожар в результате атаки БПЛА на дата-центр в Сасово... Работа дата-центра полностью остановлена.

🤔 Что можно тут сказать... невозможно построить надежную распределенную систему без кратного переизбытка физического железа. Без огромного холодного пула мощностей любое падение крупного ЦОДа гарантированно запускает каскадный отказ всей платформы.

Типичный 🟢 Сисадмин

🔥 Еще про пожар в рязанском ДЦ Яндекса Сасово.

Еще недавно по сети гулял душевный корпоративный румтур, где местный бородатый инженер Вова в худи весело рассекал на электросамокате между полями серверных залов. А там... собственные серверные стойки четвертого поколения, порты на 400 Гбит/с, толстенные оптические стволы на 864 волокна, спортзал и ламповую сауну, где админы могли попариться.

Минувшей ночью сауна расширилась до каких-то... масштабов. Ждём офф отчетов, но как бы небыло всё куда страшнее для индустрии в целом.

Дело в том, что ДЦ в Сасово, помимо веб-серверов и виртуалок. находятся два из трех главных суперкомпьютеров России... это Червоненкис и Ляпунов (третий, Галушкин, базируется во Владимире)

Так вот Червоненкис - самый производительный вычислительный монстр в стране и всей восточной европе, который еще в 2021 году с ноги влетел на 19 место мирового рейтинга TOP500 суперПК. Именно на тысячах прожорливых тензорных ядер Червоненкиса и Ляпунова круглосуточно обсчитывались нейросетевые модели, обучалась YandexЖПТ, допиливался беспилотный транспорт и тренировался суверенный ИИ 😱

ХЗ как обстоят дела в цифрах и тд, но если у вас сгорел кластер с БД заказов или упала нода кубера, то вы морщитесь, достаете бэкапы, перенаправляете балансировщик на Владимир или Калугу и терпите просадку пинга. Это всё лечится.
А что если пострадали стойки с тысячами интерконнектов и топовыми ускорителями A100 или H100... как это восстанавливать?

Посудите сами... на дворе 2026 год. Экспортный контроль закручен до скрипа, вторичные санкции давят серые каналы, а дефицит памяти поднял цены на ии-ускорители. Купить и привезти тысячи высокопроизводительных GPU по параллельному импорту через десятые руки сегодня - это та еще задача по суммам и времени 🤔

В итоге каскадный коллапс половины Рунета как бы не стал лишь верхушкой айсберга.

З.Ы. Инженеру Вове и дежурной смене искреннее сочувствие... разгребать всё это.

Типичный 🟢 Сисадмин

🚨 Каскадный коллапс Рунета. Мрачные прогнозы воплотились.

Первопричиной цифрового домино стал кинетический импакт от удара беспилотников по ДЦ Яндекса в рязанском Сасово... на объекте начался пожар, и площадку пришлось полностью обесточить и заглушить. Инженеры Yandex Cloud написали о потере одной зоны доступности и начали экстренную переброску мощностей и терабайтов живого трафика в резервные кластеры. Но в распределенных сетях чудес не бывает... законы физики и пропускной способности каналов нельзя отменить директивой руководства.

Когда огромная цифровая экосистема начинает единовременно перенаправлять колоссальные потоки данных между регионами, на смежных узлах связи и точках обмена начинается тектонический сдвиг. Рикошетом накрыло Selectel, на котором висит добрая треть коммерческого Рунета. Около четырех часов дня на их статусной странице замигал красный алерт 🚨... не выдержала система фильтрации трафика DDoS Curator.

Архитектурная ирония ситуации в том, что защита от DDoS создана для отсева мусорных сетевых пакетов, но когда аварийный трафик с перегруженных узлов и соседних ДЦ начинает лавинообразно перестраивать маршруты, скрубберы фильтрации сами превращаются в узкое горлышко. Как только ложится защитный шлюз, весь трафик клиентов либо улетает в пустоту, либо запросы упираются в мертвую стену таймаутов. В итоге клиенты облака легли синхронно, породив идеальный идеальный шторм отказов по всей стране.

З.Ы. Похоже, в смету на колокейшна пора вносить бронированные колпаки на крышу серверной.

Типичный 🟢 Сисадмин

Эникей прошел посвящение 😁

@sysodmins

👮‍♂️ XBox DNS (сервис для доступа к ChatGPT, Claude, Gemini, Google Antigravity и другим) отлетел в бан. Российский хостер заблокировал их аккаунт по прямому сигналу из ЦМУ ССОП (структура РКН).

Защита от тлетворного влияния западных нейросетей.

Типичный 🟢 Сисадмин

2030 ГОД
@
ГОРОДА ПРЕВРАТИЛИСЬ В ОЦИФРОВАННЫЕ ЗОНЫ С БИОМЕТРИЧЕСКИМИ КПП, ГДЕ КАЖДЫЙ ТВОЙ ВЗДОХ ЛОГИРУЕТСЯ И ОБЛАГАЕТСЯ НАЛОГОМ
@
ТЫ СВАЛИЛ В ГЛУХУЮ ТАЙГУ ПОД КОСТРОМУ, ВЫКОПАЛ ЗЕМЛЯНКУ И ОБИЛ ЕЕ СЕТКОЙ ФАРАДЕЯ
@
ТВОЯ ЗЕМЛЯНКА ОБВЯЗАНА САМОПАЛЬНЫМ РЭБОМ ИЗ СТАРЫХ МИКРОВОЛНОВОК, ПАЯЛЬНИКА И МИКРОТИКА НА БАТАРЕЙКАХ 18650
@
ТЕПЛОВИЗОРЫ АВТОНОМНЫХ ДРОНОВ СКАНИРУЮТ ВЕРХУШКИ ЕЛЕЙ
@
ТЫ СИДИШЬ ПОД СЛОЕМ ГЛИНЫ В ТЕРМООДЕЯЛЕ С АЛИКА И ПРАКТИКУЕШЬ ХОЛОДНЫЙ РЕСТАРТ ОРГАНИЗМА
@
РОЙ ДРОНОВ ПОД УПРАВЛЕНИЕМ СУВЕРЕННОЙ LLM КРУЖИТ НАД ПОЛЯНОЙ И ПЫТАЕТСЯ РАСПОЗНАТЬ В ТВОЕЙ ТУШКЕ ЧЕЛОВЕКА
@
ТЫ АКТИВИРУЕШЬ ОБФУСКАТОР ТЕПЛОВОГО СЛЕДА, ВЫСТАВИВ НАРУЖУ ГОРЯЩИЙ СИСТЕМНИК НА СТАРОМ FX-8350
@
РОИ ДРОНОВ СХОДИТ С УМА, ОПРЕДЕЛЯЯ СИСТЕМНИК КАК НЕЗАРЕГИСТРИРОВАННУЮ ВЯЗКУ ЛЕСНЫХ КАБАНОВ
@
РОЙ УЛЕТАЕТ ОБРАТНО НА БАЗУ ЗАПРАВЛЯТЬСЯ
@
ТЫ ВЫДЫХАЕШЬ, ДОСТАЕШЬ ИЗ ЗАНАЧКИ БАНКУ ТУШЕНКИ И ОБЖИМАЕШЬ ПАТЧКОРД ЗУБАМИ
@
ВЕДЬ В 23:00 СЕАНС СВЯЗИ ПО ДИАЛАПУ С ПАРТИЗАНАМИ ИЗ СОСЕДНЕГО ЛЕСНИЧЕСТВА

Типичный 🟢Сисадмин

2020: Учись программировать.
2025: Учись на сантехника.
2030: Учись прятаться в лесу.

2035 год. Сидишь в землянке у костра и рассказываешь лесным белкам, почему монолит был в разы надежнее этих ваших микросервисов.

Типичный 🟢Сисадмин

Просыпаешься утром, чувствуешь себя странно. Подходишь к зеркалу... и видишь, что ты превратился в управляемый коммутатор!

Твои действия?

@sysodmins

Рунет обретает ГОСТы

Провайдерам больше нельзя самовольно вносить IP-адреса корпоративных клиентов в белый список, потому что ловкие админы умудрялись прокидывать через них VPN-туннели наружу. Теперь сетевая изоляция обретает ГОСТ.

Минцифры взялось за разработку единых правил для белого списка. Лавочку с операторской самодеятельностью прикрывают. Попадание в список централизуют... будето только через ходатайство профильных федеральных ведомств, согласование с органами безопасности и размещение всех мощностей на железе внутри РФ.

Более того, еще с конца лета Минцифры прессует хостеров, требуя физически изолировать белые IP-адреса в отдельные подсети, чтобы рядом в случае чего не сидел левый сервис или обычный пользователь.

Типичный 🟢 Сисадмин

👮‍♂️ Следком закупает ИИ за 6,2 миллиона, чтобы искать связи между людьми и деньгами.

На портале госзакупок обнаружился свежий тендер от СК РФ на поставку "программно-аппаратного комплекса для текстовой аналитики". Система должна уметь употреблять большие объемы неструктурированных данных и автоматически вытаскивать оттуда ФИО, должности, телефоны, почты, банковские реквизиты, суммы денег, а главное - строить графы связей между фигурантами, компаниями и событиями. Также ИИ будет анализировать ТЗ поставщиков при закупках.

Цена вопроса - 6,2 млн рублей. Чет маловато, железо будет на игровых видюхах? 🤔


Типичный 🟢 Сисадмин

Аппаратная шумоизоляция 😬

@sysodmins

Когда старая клипса высохла и отвалилась 👌

@sysodmins

🍕 Анатомия эпичного факапа или как на самом деле вынесли Додо Пиццу.

🚩 Дисклеймер: Материал носит исключительно ознакомительный и аналитический характер для специалистов по информационной безопасности. Данные взяты из открытых отчетов исследователей. Автор категорически осуждает киберпреступность.

Помните недавний пост про слив базы Додо? Так вот, история получила продолжение. Наливайте чай иди открывайте крафтовое - у нас тут нарисовался неплохой пятничный чтиво-тред.

Всё началось с банального анализа APK из Google Play. Внутри которого разрабы забыли карту внутренней кухни на почти сотню сетевых адресов бэкенда (причем некоторые отдавали ответы вообще без авторизации) 😥

Главной же точкой входа стала облачная аналитическая платформа Databricks. Один из её открытых адресов из-за кривых прав доступа позволял читать внутренние файлы системы обычным GET-запросом без всяких токенов. Оттуда и вытащили конфиг с зашитым PAT-токеном, подняли свой кластер и получили полный удаленный контроль над сервером.

Интересный нюанс... Databricks на уровне платформы отслеживает вывод команд и заменяет найденные токены на [REDACTED]. Однако эта защита не сработала как задумывалось. Атакующие просто завернули вывод секрета в base64 и Databricks пропустил.

С root-правами на кластере хакеры постучались в защищенное хранилище ключей через стандартный Secrets API. Хранилище отдало десятки паролей в открытом виде.... ключи от всех облачных хранилищ Azure, админку к системе бизнес-аналитики, ключи каталога метаданных и сервисные учетки Azure с правами на всю облачную подписку ⚰️

Дальше начался сущий ад безопасника...
🟢 В метаданных одной из систем данные для входа лежали… открытым текстом прямо в строке подключения.
🟢 В декомпилированном внутреннем CLI-инструменте нашли шлюз к основным рабочим базам MySQL. Пробросили сетевой порт через систему управления контейнерами и вошли под дефолтной учеткой.
🟢 В админке финансового контура лежали исходные ключи двухфакторок, с помощью которых сгенерили себе вечные веб-сессии в обход любой двойной защиты.

Хакеры даже не стали мучить базы тяжелыми SQL-запросами (чтобы не спалиться по логам и нагрузке ЦП). Имея на руках ключи от хранилищ, они пошли напрямую к файлам данных. Суммарно за выходные в трубу улетело ~3.7 ТБ данных, а это 15 лет заказов, адреса с геокоординатами, телефоны, пароли в древнем MD5 и данных тысяч сотрудников.

В воскресенье безопасники Додо проводили плановое ТО. Они сменили часть токенов, но забыли про одно из внутренних авторизационных приложений. Через него доступ был обновлен. В итоге через 6 часов взломщики просто перевыпустили токен и продолжили качать. При этом защитный экран WAF за все дни отреагировал лишь однажды, заблокировав один IP-адрес из-за внутренних ошибок сервера, но пропустив аномальный трафик скачивания терабайтов информации.

Главный вывод сей басни:
У конторы формально было всё по ГОСТу и лучшим практикам... и WAF, и MFA, и хранилища клучей, и аудит. Но безопасность цепочки всегда равна прочности самого слабого звена. Достаточно было оставить одну тестовую дыру наружу и забыть пароль в конфиге - и весь эшелонированный периметр превратился в решето.

В ваших конторах секреты из хранилищ тоже передаются плейнтекстом в query-параметрах, или вы пока шифруетесь? И главный вопрос - дадут додокоины за моральный ущерб.

Типичный 🟢 Сисадмин