· Команда BLAZE
Постмортем: 41 минута потерь пакетов на московском аплинке
Неисправный оптический модуль, неудачный порог мониторинга и что изменилось после.
2 сентября игровой трафик на московском узле в течение 41 минуты терял 3–8% пакетов. Сессии не рвались: тики подскакивали, игроки писали про «лаги» без отключения — а это именно та форма проблемы, которую снаружи легко диагностировать неверно. Ниже — что произошло и что мы изменили.
Хронология (местное время)
| Время | Событие |
|---|---|
| 18:42 | Первое обращение в поддержку: «подтормаживает, но не выкидывает». |
| 18:56 | Дежурный видит рост ретрансмиссий на одном из двух аплинков. Потери пока ниже порога алерта. |
| 19:04 | Тик на трёх тяжёлых инстансах падает вдвое. Открыт инцидент. |
| 19:12 | Трафик переведён на второй аплинк. Потери прекратились в течение минуты. |
| 19:23 | Подтверждено: деградация оптического модуля на порту первого аплинка. |
| 20:15 | Модуль заменён, аплинк возвращён в работу после теста. |
Что сломалось
Оптический модуль деградировал постепенно: ошибки на приёме росли в течение нескольких дней, но оставались ниже порога, на который был настроен мониторинг. Порог стоял по «средним потерям за пять минут», и короткие всплески в него не попадали. В итоге проблема проявилась не алертом, а жалобой игрока.
Что изменилось
- Мониторинг переведён на скорость роста ошибок приёма, а не на средний процент потерь. Медленная деградация теперь видна до того, как станет проблемой.
- Алерт о потерях на аплинке уходит дежурному напрямую, а не только в общий канал.
- Переключение на резервный аплинк автоматизировано: при росте ошибок выше порога трафик уходит на второй канал без ожидания человека.
- Модули на всех узлах проверяются раз в квартал, а не по факту отказа.
Чего мы не сделали
Не добавили третий аплинк на этот узел. Он стоит денег, а проблема была не в количестве каналов, а в том, что мы узнали о ней позже, чем могли. Второй аплинк сработал ровно так, как должен был, — вопрос был в одиннадцати минутах между первой жалобой и открытием инцидента.
Клиентам, у которых тик упал в этом окне, продлили период на сутки без запроса. Это не компенсация за простой — простое было коротким, — а признание того, что вечер игры был испорчен.