Котатор-ротатор и Грохотатор
В прошлую среду мы пришли на работу как обычно. Ожидали самый обычный рабочий день. Статистика сетевых отказов тоже выглядела совершенно обычно, и никаких причин ждать чего-то особенного не было. А потом дверь распахнулась, и на пороге появился Директор. С глазами навыкате. — Ребята! Что это? — ??? — У меня почтовый ящик забит жалобами. Ни у кого ничего не работает. Ни у кого! Ничего! Тут он, конечно, слегка погорячился. Не то чтобы совсем ничего и не то чтобы у всех. Децентрализованная сущность Кошачьих Туннелей сыграла свою роль — полностью заблокировать Котика не удалось. Но для нормальной работы системе нужны трекеры — опорные узлы. На тот момент их у нас было несколько десятков: в разных странах, у разных провайдеров, в разных датацентрах. И все они, без исключения, оказались заблокированы в России. До единого. Без них Котик не мог нормально подключать новых пользователей, да и у старых всё начинало работать заметно медленнее. Поскольку за опорную сеть отвечаю я, круче всего досталось, естественно, мне. Начался сизифов труд. Я ввожу новые узлы, запускаю новые серверы — бац, они тоже заблокированы. Я запускаю ещё — бац. Ещё — бац. В общем, долго так продолжаться, конечно, не могло. Пришлось сесть и соорудить Котатор-ротатор. Котатор-ротатор следит за доступностью опорных серверов, автоматически останавливает те, которые по статистике чаще всего недоступны клиентам, и запускает взамен новые. Причём чем хуже ситуация, тем активнее он это делает. А степень этой самой «хуже ситуации» с лёгкой руки Марианны Николаевны называется у нас в офисе Грохотатором.
https://habr.com/ru/articles/1072312/
#tunnel_cat #блокировки #сетевая_архитектура #мониторинг #опорные_узлы