Постмортем: 41 минута потерь пакетов на московском аплинке

Неисправный оптический модуль, неудачный порог мониторинга и что изменилось после.

2 сентября игровой трафик на московском узле в течение 41 минуты терял 3–8% пакетов. Сессии не рвались: тики подскакивали, игроки писали про «лаги» без отключения — а это именно та форма проблемы, которую снаружи легко диагностировать неверно. Ниже — что произошло и что мы изменили.

Хронология (местное время)

ВремяСобытие
18:42Первое обращение в поддержку: «подтормаживает, но не выкидывает».
18:56Дежурный видит рост ретрансмиссий на одном из двух аплинков. Потери пока ниже порога алерта.
19:04Тик на трёх тяжёлых инстансах падает вдвое. Открыт инцидент.
19:12Трафик переведён на второй аплинк. Потери прекратились в течение минуты.
19:23Подтверждено: деградация оптического модуля на порту первого аплинка.
20:15Модуль заменён, аплинк возвращён в работу после теста.

Что сломалось

Оптический модуль деградировал постепенно: ошибки на приёме росли в течение нескольких дней, но оставались ниже порога, на который был настроен мониторинг. Порог стоял по «средним потерям за пять минут», и короткие всплески в него не попадали. В итоге проблема проявилась не алертом, а жалобой игрока.

Что изменилось

  • Мониторинг переведён на скорость роста ошибок приёма, а не на средний процент потерь. Медленная деградация теперь видна до того, как станет проблемой.
  • Алерт о потерях на аплинке уходит дежурному напрямую, а не только в общий канал.
  • Переключение на резервный аплинк автоматизировано: при росте ошибок выше порога трафик уходит на второй канал без ожидания человека.
  • Модули на всех узлах проверяются раз в квартал, а не по факту отказа.

Чего мы не сделали

Не добавили третий аплинк на этот узел. Он стоит денег, а проблема была не в количестве каналов, а в том, что мы узнали о ней позже, чем могли. Второй аплинк сработал ровно так, как должен был, — вопрос был в одиннадцати минутах между первой жалобой и открытием инцидента.

Клиентам, у которых тик упал в этом окне, продлили период на сутки без запроса. Это не компенсация за простой — простое было коротким, — а признание того, что вечер игры был испорчен.

← Все записи