Mindbox Status

All Systems Operational

Uptime over the past 90 days. View historical uptime.

Процессинг Operational

Javascript API Operational

90 days ago

100.0 % uptime

Today

Визуальный конструктор писем Operational

Отправка Email Operational

Отправка SMS Operational

Open/Click трекинг в Email Operational

Административная панель Operational

Рекомендации на сайте Operational

Отправка мобильных пушей Operational

90 days ago

100.0 % uptime

Today

Operational

Degraded Performance

Partial Outage

Major Outage

Maintenance

System Metrics Month Week Day

API

Fetching

Past Incidents

Feb 21, 2020

No incidents reported today.

Feb 20, 2020

No incidents reported.

Feb 19, 2020

Деградация производительности api.mindbox.ru в течение 15 минут

Resolved - В течение 15 минут с 12:03 до 12:17 наблюдались таймауты вызовов api.mindbox.ru. Проблема была связана с отказом балансировщика. Сейчас работоспособность сервиса полностью восстановлена, мы работаем над улучшением резервирования и мониторинга.

----

Апдейт:

Что произошло:

Мы заменяли SSL сертификаты на балансировщиках - у старых истекает срок действия. После замены нагрузка на балансировщик выросла в два раза. Это связано с тем, что новые сертификаты сгенерированы с длиной ключа 4096 бит, а старые - с 2048 бит. В результате установка безопасного соединения потребляла в два раза больше ресурсов - а это основная нагрузка на балансировщике. В результате балансировщик не справился с нагрузкой и часть запросов не обрабатывалась.

Что улучшили:

Откатили изменения, увеличили количество балансировщиков, обновили сертификаты.
Прорабатываем план дальнейших улучшений, в частности:
- Улучшение горизонтального масштабирования балансировщиков
- Ужесточения порогов мониторинга нагрузки
- Автоматическое обнаружение перегруженных серверов и вывод их из кластера - это поможет существенно сократить время недоступности и время обнаружения.
Feb 19, 13:31 MSK

Feb 18, 2020

Проблемы с синхронным API

Resolved - Проблема была связана с нештатным сбросом SSL сертификатов на нескольких web серверах. В 9 30 сервера были выведены из продакшна для починки. Сейчас сервера снова введены в строй, все работает штатно. 20.02 вернемся с разбором ситуации.

----

Апдейт:

В процессе регламентных работ на веб сервере по неустановленной причине после запуска скриптов изменились настройки SSL.
В результате часть запросов заканчивалась ошибкой. Процент ошибочных запросов был недостаточный для срабатывания мониторинга, поэтому проблему обнаружили только утром, когда общее количество запросов увеличилось.

Что улучшили:
- Сделали мониторинг настроек SSL на всех серверах
- Ужесточили порог срабатывания мониторинга на процент ошибочных запросов
- Дополнили чеклист работ на серверах скриптом проверки, который отлавливает данную ситуацию
Feb 18, 14:26 MSK

Update - We are continuing to work on a fix for this issue.
Feb 18, 11:23 MSK

Identified - С 2 часов ночи до 9:30 были проблемы с 1-3% обращений к синхронному API Mindbox, а также в работе административной панели.

Мы идентифицировали причину проблем, работаем над устранением и улучшением мониторинга.

Вернёмся со статусом к 14:00.
Feb 18, 11:23 MSK

Feb 17, 2020

Плановые работы 17 февраля

Completed - The scheduled maintenance has been completed.
Feb 17, 04:00 MSK

In progress - Scheduled maintenance is currently in progress. We will provide updates as necessary.
Feb 17, 03:01 MSK

Scheduled - В понедельник, с 3 до 4 утра запланировано обслуживание серверов БД.
В это время сервисы могут быть недоступны, не более чем на 10 минут.

По любым вопросам обращайтесь к вашему менеджеру.
Feb 14, 20:13 MSK

Feb 16, 2020

No incidents reported.

Feb 15, 2020

No incidents reported.

Feb 14, 2020

No incidents reported.

Feb 13, 2020

Статусы отправки рассылок приходят с задержкой

Resolved - Статусы отправки приходят в административную панель без задержек, по отправленным с 14:00 рассылкам статистика отображается корректно.
Feb 13, 15:13 MSK

Identified - Примерно с 14:00 статусы об отправках рассылок приходят в административную панель с задержкой.
В административной панели это выглядит так: клиентам не выдаются действия "Отправлено", а в статистике по рассылке не отображается реальное количество отправок. При этом рассылки отправляются без задержек. Мы занимаемся исправлением, вернемся с обновлением в течение часа.
Feb 13, 14:43 MSK

Feb 12, 2020

No incidents reported.

Feb 11, 2020

No incidents reported.

Feb 10, 2020

Плановые работы 10 февраля

Completed - The scheduled maintenance has been completed.
Feb 10, 04:00 MSK

In progress - Scheduled maintenance is currently in progress. We will provide updates as necessary.
Feb 10, 03:00 MSK

Scheduled - В понедельник,с 3 до 4 утра запланировано обслуживание серверов БД.
В это время сервисы могут быть недоступны, не более чем на 10 минут.

По любым вопросам обращайтесь к вашему менеджеру.
Feb 7, 18:07 MSK

Feb 9, 2020

No incidents reported.

Feb 8, 2020

No incidents reported.

Feb 7, 2020

No incidents reported.

Related