Внедрение локального AI-суммаризатора в таск-трекер «Искра Телеком»
«Искра Телеком» — крупный интернет-провайдер, обслуживающий тысячи частных и корпоративных клиентов.
IceRock Development совместно с «Искра Телеком» разработали и интегрировали решение на базе Большой Языковой Модели (LLM) непосредственно в кастомный таск-трекер заказчика. Ключевая особенность проекта — 100% «on-premise» развертывание в закрытом контуре компании.
Система анализирует длинные переписки в задачах (часто насчитывающие 50-100+ комментариев) и по нажатию одной кнопки генерирует краткую сводку (summary) о текущем статусе, проделанной работе и следующих шагах. Это решение позволило кардинально сократить время менеджеров и исполнителей на «погружение» в задачу, полностью устранив риски утечки конфиденциальных данных клиентов во внешние AI-сервисы.
Задача
Бизнес-процессы в «Искра Телеком» построены вокруг самостоятельно разработанного таск-трекера. Руководство компании внедрило обязательное правило: вся работа, особенно по клиентским обращениям (например, «пропал интернет», «техническое подключение»), должна подробно документироваться в комментариях к задачам.
Это решило проблему отсутствия истории, но породило новую, не менее серьезную: информационная перегрузка.
Когда к задаче подключался новый сотрудник или руководитель хотел быстро понять статус, ему приходилось вручную читать десятки, а иногда и сотни комментариев. В потоке технической информации, уточнений от клиента, внутренней коммуникации и шума (флуда) терялась суть.
Перед нами была поставлена четкая бизнес-задача:
- Сократить время на «вход в задачу»: Сотрудник должен понимать текущий статус и историю задачи за секунды, а не за часы.
- Обеспечить 100% конфиденциальность: В задачах регулярно фигурируют персональные данные клиентов, адреса и внутренние технические данные. Использование внешних API, таких как ChatGPT, YandexGPT или Claude, было категорически запрещено.
- Обеспечить нативную интеграцию: Решение должно быть «бесшовно» встроено в существующий интерфейс таск-трекера, а не быть отдельным приложением.
Решение
Мы предложили решение, сочетающее в себе мощь современных LLM и строгие требования безопасности, — локальный AI-суммаризатор.
Мы интегрировали в интерфейс таск-трекера кнопку «Сгенерировать саммари». При ее нажатии происходит следующее:
- Система собирает все данные по задаче (описание, всю историю комментариев).
- Отправляет этот массив текста на собственный, развернутый внутри компании, AI-сервер.
- Локальная языковая модель анализирует весь контекст и генерирует краткую, структурированную выжимку:
- Суть проблемы: Что изначально требовалось.
- Выполненные работы: Ключевые действия, которые уже были предприняты.
- Текущий статус: Что происходит прямо сейчас.
- Дальнейшие шаги: Что планируется сделать для закрытия задачи.
- Эта сводка мгновенно отображается пользователю.
Таким образом, любой сотрудник, открыв задачу, избавляется от необходимости читать «простыню» переписки и сразу видит суть, что кардинально ускоряет операционную работу.
Процесс разработки
Процесс был разделен на несколько ключевых этапов:
Выбор архитектуры и технологического стека
Главным вызовом был запрет на облачные AI. Решение должно было работать в «закрытом контуре». Мы сразу отказались от внешних API и сосредоточились на on-premise решении.
Для этого требовалось три компонента:
- Железо: Сервер с достаточным объемом VRAM (видеопамяти или унифицированной памяти) для запуска мощной модели.
- Инференс-сервер: ПО для «обслуживания» модели, которое предоставляет удобный API-интерфейс для наших разработчиков.
- Модель: Эффективная и «умная» open-weight (открытая) модель, способная качественно понимать русский язык и выполнять задачи суммарризации.
Настройка аппаратной части
Заказчик по нашей рекомендации приобрел специализированную рабочую станцию — Mac Studio с 96 ГБ унифицированной памяти. Эта машина была выбрана как оптимальное решение по соотношению цена/производительность для задач локального инференса (запуска AI). Она была установлена в серверной комнате компании.
Развертывание AI-сервера
Мы использовали программное обеспечение LM Studio. Этот инструмент позволяет в несколько кликов скачать и запустить практически любую open-weight модель, и, что самое важное, он автоматически создает локальный API-сервер. Этот сервер полностью имитирует API OpenAI, что позволило нашим бэкенд-разработчикам использовать привычные библиотеки и инструменты, просто указав другой URL-адрес (внутренний адрес Mac Studio).
Выбор и тестирование модели
Мы протестировали несколько моделей, включая различные версии LLaMA и Mistral. В итоге наилучшие результаты по качеству суммарризации русскоязычных технических текстов показала модель Qwen (разработка Alibaba). Мы экспериментировали с разными по размеру версиями, чтобы найти идеальный баланс между скоростью ответа и качеством сводки.
Интеграция
Процесс интеграции был самым быстрым этапом:
- Frontend: В интерфейс таск-трекера добавлена кнопка «Суммаризировать».
- Backend: Добавлен новый эндпоинт, который по запросу с фронтенда собирает все комментарии из базы данных, формирует из них единый текстовый промпт, отправляет его на внутренний API-адрес LM Studio, получает в ответ JSON с готовой сводкой и передает ее обратно на фронтенд.
Весь процесс от закупки оборудования до запуска в эксплуатацию занял около одной недели, что демонстрирует крайнюю эффективность и скорость развертывания подобных решений при наличии нужной экспертизы.
Что было самым сложным
Самым сложным и нетривиальным был поиск решения для обхода ограничений безопасности.
Проблема заключалась в том, что в комментариях к задачам содержался «коктейль» из конфиденциальной информации: персональные данные клиентов (ФИО, адреса), технические детали сети, внутренние обсуждения команды.
Передача такой информации в любой внешний сервис, будь то ChatGPT, Claude или их аналоги, была абсолютно недопустима. Это создавало прямой риск нарушения ФЗ-152 «О персональных данных» и репутационных потерь для телеком-оператора.
Классические «облачные» AI-решения, которые так легко интегрировать, были под полным запретом. Нам нужно было придумать, как получить всю мощь современных LLM, не отправляя из компании ни одного байта данных.
Как мы решили эту задачу
Мы решили эту проблему, построив полностью изолированный («air-gapped») AI-контур внутри инфраструктуры заказчика.
- Аппаратная независимость: Вместо того чтобы арендовать GPU в облаке, мы использовали физическую машину (Mac Studio), находящуюся в их собственной серверной.
- Программная изоляция: Мы использовали LM Studio для локального хостинга модели. Это ПО работает автономно и не требует доступа в интернет для своей основной функции — обработки запросов.
- Локальная модель: Сама «интеллектуальная» часть — модель Qwen — представляет собой просто набор файлов (весов), которые были один раз скачаны и размещены на локальной машине.
Таким образом, весь жизненный цикл запроса на суммарризацию выглядит так:
Браузер сотрудника (внутренняя сеть) ➔ Бэкенд таск-трекера (внутренняя сеть) ➔ Mac Studio с LM Studio (внутренняя сеть) ➔ ... и обратно.
Ни один пакет с конфиденциальными данными не покидает периметр компании. Мы решили проблему, доказав, что внедрение передовых AI-технологий возможно даже в условиях строжайшей корпоративной безопасности.
Технологический стек
LM Studio
Qwen (Open-weight модель от Alibaba)Результат
Результаты превзошли ожидания. Мы не просто добавили «еще одну фичу», мы фундаментально изменили скорость работы с информацией в компании.
- Массовое внедрение: По словам технического директора, функцией суммарризации «пользуются практически все». Это редкий показатель для новой корпоративной функции, доказывающий ее реальную пользу.
- Экономия времени: Сотрудники и менеджеры экономят десятки рабочих часов в неделю. Время на «вход в задачу» сократилось со среднего (15-30 минут чтения) до 2 минут.
- Устранение «шума»: AI-модель эффективно отсеивает весь «мусор» (приветствия, сообщения «ок», переносы сроков) и оставляет только фактологическую суть, что было невозможно при ручном прочтении.
- Полная безопасность: Заказчик получил мощный AI-инструмент, полностью соответствующий их политике безопасности.
Этот кейс наглядно демонстрирует, что для внедрения AI не обязательно жертвовать безопасностью. Правильная архитектура и использование on-premise решений позволяют получить всю выгоду от технологий, сохранив полный контроль над своими данными.
