Саммари

11 августа с 00:00 до 08:55 наблюдалась недоступность сервиса open / click трекинга. Причина — истекшие сертификаты для части доменов и отсутствие мониторинга на их перевыпуск. По итогу автоматизировали выпуск сертификатов для этих доменов, добавили мониторинг и сделаем глобальный мониторинг сертификатов для всех наших публичных адресов.

Влияние на клиента

Во время инцидента до 90% переходов из писем и отписок не смогли выполниться успешно из-за истекших сертификатов доменов mckw.ru, mckl.ru, mckx.ru.

В случае неуспешного вызова данные о кликах не доходили до сервисов Майндбокс и были утеряны.

Таймлайн: как выявляли и устраняли инцидент

00:00 истекло действие сертификатов для доменов mckw.ru, mckl.ru, mckx.ru

08:30 пришло обращение в поддержку о незащищенном подключении при переходе по ссылкам из писем

08:40 дежурный инженер подключился на починку

08:42 восстановлен mckw.ru

08:50 восстановлен mckl.ru

08:55 восстановлен mckx.ru. Все сертификаты обновлены, работа сервиса восстановлена

Что улучшили

• сделали автоматический выпуск и обновление сертификатов для доменов, используемых в сервисах open / click трекинга — за 30 дней до конца срока сертификата происходит обновление
• настроили мониторинг даты окончания действия сертификатов для этих доменов с эскалацией до дежурного инженера 24 / 7 — за 20 дней до конца приходит уведомление с эскалацией

Что улучшим

• сделаем закрывающий мониторинг сертификатов для всех наших публичных доменов — при добавлении новых доменов они будут автоматически подключаться в системе мониторинга. Изменения произойдут в октябре.