Расследование инцидента в CRM: как ИИ помог найти скрытые причины зависаний
Исходная проблема
В службу поддержки начали поступать обращения пользователей CRM о периодических зависаниях браузера. Проблема проявлялась в двух сценариях:
- при быстром поиске договоров;
- при открытии карточки договора.
При возникновении ошибки вкладка браузера переставала отвечать на действия пользователя. В отдельных случаях приходилось ждать несколько секунд, но чаще пользователи просто обновляли страницу клавишей F5 — после этого договор успешно открывался, и работа продолжалась.
Главной особенностью инцидента была его непредсказуемость: зависание возникало случайным образом, не зависело от конкретного пользователя или договора и не воспроизводилось стабильно. Из-за отсутствия явных закономерностей локализовать причину стандартными методами не удавалось.
Почему стандартная диагностика не дала результата
Первоначально рассматривались наиболее очевидные причины: недостаточная производительность SQL Server, перегрузка IIS, проблемы сети, высокая нагрузка на серверы и блокировки в базе данных.
Однако проведенный анализ показал обратное:
- серверы не испытывали дефицита ресурсов;
- SQL-запросы выполнялись в допустимое время;
- дисковая подсистема работала штатно;
- сетевые задержки отсутствовали;
- журналы Windows не содержали критических ошибок.
Инфраструктура работала исправно. Это указывало на то, что причина кроется в клиентских ошибках JavaScript или в пользовательских расширениях CRM. Но объем диагностической информации составлял около 1 ГБ логов в сутки, и ручной анализ такого массива данных был крайне трудоемок.
Для поиска закономерностей было принято решение использовать генеративный ИИ — не для принятия решений, а для ускорения разработки специализированных инструментов анализа журналов.
Почему был выбран ИИ
При расследовании подобных инцидентов специалист обычно выполняет несколько однотипных действий: ищет повторяющиеся ошибки, группирует события, исключает известные сообщения, сопоставляет ошибки с действиями пользователей и анализирует временные последовательности.
Генеративный ИИ хорошо подходит для создания инструментов под подобные задачи. Инженеры формулировали задачу, описывали структуру логов и ожидаемый результат, после чего ИИ предлагал варианты реализации на PowerShell. Полученные скрипты проверялись, дорабатывались и использовались в процессе расследования.
Этапы расследования
Этап 1. Подготовка и очистка логов
Первым шагом стала предварительная обработка журналов. Большой объем служебных сообщений и известных безопасных ошибок затруднял поиск действительно важных событий.
Был подготовлен скрипт очистки, который:
- удалял известные служебные сообщения;
- исключал повторяющиеся безопасные ошибки;
- сокращал объем данных;
- подготавливал журналы для дальнейшего анализа.
После фильтрации инженеры могли сосредоточиться только на потенциально значимых событиях.
Этап 2. Поиск клиентских ошибок
Следующим шагом стал анализ ошибок скриптов из очищенного лога. Для этого был разработан отдельный инструмент, который извлекал ошибки JavaScript, декодировал содержимое сообщений, группировал одинаковые ошибки и сопоставлял их с сущностями CRM.
Именно на этом этапе удалось обнаружить повторяющиеся ошибки клиентских скриптов, которые ранее терялись среди большого количества служебных сообщений.
Этап 3. Анализ последовательностей событий
Важной задачей стало построение цепочек событий: открытие формы → выполнение JavaScript → появление ошибок → повторные запросы → зависание интерфейса. Такой подход позволил увидеть взаимосвязь между действиями пользователя и возникающими ошибками.
Этап 4. Выявление закономерностей и найденные ошибки
После обработки большого массива данных удалось установить две независимые причины зависаний интерфейса CRM:
- ошибка формирования URL пользовательского Web Resource;
- ошибка в Ribbon-команде карточки договора.
Обе ошибки находились в пользовательских доработках и проявлялись только при определенных условиях — именно это объясняло случайный характер инцидента.
Что дал проект
Использование генеративного ИИ позволило:
- быстро создавать специализированные инструменты анализа под конкретные задачи;
- сократить объем ручной обработки журналов;
- автоматизировать поиск повторяющихся ошибок;
- выявить скрытые закономерности, которые человек мог бы пропустить;
- существенно ускорить расследование инцидента.
Для заказчика это выразилось в измеримых преимуществах: сокращении времени поиска причин ошибок, снижении трудозатрат специалистов и возможности оперативно реагировать на сложные инциденты. Особенно это важно для крупных информационных систем, где количество журналов и диагностических данных может достигать десятков гигабайт в сутки.
ИИ не заменяет экспертизу специалистов
Важно подчеркнуть ключевой принцип проекта: искусственный интеллект не принимал решения и не определял причины ошибок самостоятельно.
Его роль заключалась в другом:
- ускорение разработки диагностических инструментов;
- автоматизация обработки журналов;
- поиск повторяющихся закономерностей;
- сокращение объема рутины.
Окончательный анализ, проверка гипотез и принятие технических решений выполнялись специалистами компании. Результат был достигнут именно благодаря сочетанию инженерной экспертизы в CRM и возможностей современных ИИ-инструментов.
Выводы
Этот инцидент оказался показательным по нескольким причинам.
Во-первых, на первый взгляд проблема выглядела как типичная жалоба на «тормоза» — а подобные обращения чаще всего связывают с производительностью серверов, сетью или базой данных. Однако расследование показало, что инфраструктура работала штатно, а истинные причины находились в пользовательских доработках клиентской части CRM.
Во-вторых, проект наглядно продемонстрировал, как ИИ может быть полезен инженерной команде: не как «замена специалисту», а как инструмент для создания специализированных скриптов и автоматизации рутинной обработки больших объемов данных.
В-третьих, кейс подтверждает правило, которое становится актуальным для все большего числа компаний: когда объем логов исчисляется гигабайтами в сутки, ручной анализ перестает быть эффективным. Новые подходы — с использованием генеративного ИИ как вспомогательного инструмента — позволяют инженерам сосредоточиться на том, что действительно требует человеческого мышления: постановке гипотез, проверке версий и принятии технических решений.
