Что не работало

На проектах из Beta окружения не работали V2 сервисы интеграции.

Хронология инцидента

• 2018-04-19 13:50 Выложили код с ошибками на Beta окружение.
• 2018-04-19 13:55 Сработала система мониторинга. Ответственные получили СМС о возросшем количестве ошибок и приступили к починке.
• 2018-04-19 14:55 Написали исправление и выложили обновленный код.

Причины

Мы активно развиваем V3 интеграции для повышения безопасности, удобства и простоты настройки. В V3 появился новый тип секретных ключей авторизации, и для обеспечения обратной совместимости были внесены изменения в V2 протокол.

Во время разработки была допущена ошибка. Процесс тестирования должен был выявить проблему, но из-за человеческого фактора тестирование было выполнено не во всех возможных состояниях функционала.

Что улучшим

Технических мер, которые бы позволили снизить вероятность подобного, не видим. Человеческий фактор улучшаем:

• В чеклисте разработки функционала, требующего миграции, явно выделили необходимость тестирования во всех состояниях.
• Донесли важность четкого следования процессу.