All Systems Operational
Процессинг ? Operational
Javascript API ? Operational
90 days ago
100.0 % uptime
Today
Визуальный конструктор писем Operational
Отправка Email Operational
Отправка SMS Operational
Open/Click трекинг в Email ? Operational
Административная панель Operational
Рекомендации на сайте Operational
Отправка мобильных пушей Operational
90 days ago
100.0 % uptime
Today
Operational
Degraded Performance
Partial Outage
Major Outage
Maintenance
Major outage
Partial outage
No downtime recorded on this day.
had a major outage
had a partial outage
API
Fetching
Past Incidents
Feb 21, 2020

No incidents reported today.

Feb 20, 2020

No incidents reported.

Feb 19, 2020
Resolved - В течение 15 минут с 12:03 до 12:17 наблюдались таймауты вызовов api.mindbox.ru. Проблема была связана с отказом балансировщика. Сейчас работоспособность сервиса полностью восстановлена, мы работаем над улучшением резервирования и мониторинга.

----

Апдейт:

Что произошло:

Мы заменяли SSL сертификаты на балансировщиках - у старых истекает срок действия. После замены нагрузка на балансировщик выросла в два раза. Это связано с тем, что новые сертификаты сгенерированы с длиной ключа 4096 бит, а старые - с 2048 бит. В результате установка безопасного соединения потребляла в два раза больше ресурсов - а это основная нагрузка на балансировщике. В результате балансировщик не справился с нагрузкой и часть запросов не обрабатывалась.

Что улучшили:

Откатили изменения, увеличили количество балансировщиков, обновили сертификаты.
Прорабатываем план дальнейших улучшений, в частности:
- Улучшение горизонтального масштабирования балансировщиков
- Ужесточения порогов мониторинга нагрузки
- Автоматическое обнаружение перегруженных серверов и вывод их из кластера - это поможет существенно сократить время недоступности и время обнаружения.
Feb 19, 13:31 MSK
Feb 18, 2020
Resolved - Проблема была связана с нештатным сбросом SSL сертификатов на нескольких web серверах. В 9 30 сервера были выведены из продакшна для починки. Сейчас сервера снова введены в строй, все работает штатно. 20.02 вернемся с разбором ситуации.

----

Апдейт:

В процессе регламентных работ на веб сервере по неустановленной причине после запуска скриптов изменились настройки SSL.
В результате часть запросов заканчивалась ошибкой. Процент ошибочных запросов был недостаточный для срабатывания мониторинга, поэтому проблему обнаружили только утром, когда общее количество запросов увеличилось.

Что улучшили:
- Сделали мониторинг настроек SSL на всех серверах
- Ужесточили порог срабатывания мониторинга на процент ошибочных запросов
- Дополнили чеклист работ на серверах скриптом проверки, который отлавливает данную ситуацию
Feb 18, 14:26 MSK
Update - We are continuing to work on a fix for this issue.
Feb 18, 11:23 MSK
Identified - С 2 часов ночи до 9:30 были проблемы с 1-3% обращений к синхронному API Mindbox, а также в работе административной панели.

Мы идентифицировали причину проблем, работаем над устранением и улучшением мониторинга.

Вернёмся со статусом к 14:00.
Feb 18, 11:23 MSK
Feb 17, 2020
Completed - The scheduled maintenance has been completed.
Feb 17, 04:00 MSK
In progress - Scheduled maintenance is currently in progress. We will provide updates as necessary.
Feb 17, 03:01 MSK
Scheduled - В понедельник, с 3 до 4 утра запланировано обслуживание серверов БД.
В это время сервисы могут быть недоступны, не более чем на 10 минут.

По любым вопросам обращайтесь к вашему менеджеру.
Feb 14, 20:13 MSK
Feb 16, 2020

No incidents reported.

Feb 15, 2020

No incidents reported.

Feb 14, 2020

No incidents reported.

Feb 13, 2020
Resolved - Статусы отправки приходят в административную панель без задержек, по отправленным с 14:00 рассылкам статистика отображается корректно.
Feb 13, 15:13 MSK
Identified - Примерно с 14:00 статусы об отправках рассылок приходят в административную панель с задержкой.
В административной панели это выглядит так: клиентам не выдаются действия "Отправлено", а в статистике по рассылке не отображается реальное количество отправок. При этом рассылки отправляются без задержек. Мы занимаемся исправлением, вернемся с обновлением в течение часа.
Feb 13, 14:43 MSK
Feb 12, 2020

No incidents reported.

Feb 11, 2020

No incidents reported.

Feb 10, 2020
Completed - The scheduled maintenance has been completed.
Feb 10, 04:00 MSK
In progress - Scheduled maintenance is currently in progress. We will provide updates as necessary.
Feb 10, 03:00 MSK
Scheduled - В понедельник,с 3 до 4 утра запланировано обслуживание серверов БД.
В это время сервисы могут быть недоступны, не более чем на 10 минут.

По любым вопросам обращайтесь к вашему менеджеру.
Feb 7, 18:07 MSK
Feb 9, 2020

No incidents reported.

Feb 8, 2020

No incidents reported.

Feb 7, 2020

No incidents reported.