AI-коннектор для CIMS

Оглавление

Зачем в CIMS понадобился LiteLLM?
Какие задачи решались в проекте?
Роль LiteLLM в архитектуре CIMS
Интеграция AI в существующие бизнес-процессы
Работа с провайдерами и моделями
Массовая обработка, файлы и аналитика
Практический опыт внедрения LiteLLM
Выводы по проекту

Зачем в CIMS понадобился LiteLLM?

CIMS — это система, в которой AI используется не как отдельный экспериментальный модуль, а как часть прикладных бизнес-процессов. В рамках проекта требовалось встроить языковые модели в уже существующий контур приложения: backend, пользовательские сценарии, категории, справочники, настройки организаций, обработку сообщений и аналитические инструменты.

На раннем этапе было важно решить несколько инфраструктурных вопросов:

• как подключать разные LLM-провайдеры через единый интерфейс;
• как не привязывать бизнес-логику к одной конкретной модели;
• как управлять режимами работы моделей для разных задач;
• как обеспечить fallback при ошибках, таймаутах или недоступности провайдера;
• как сохранить совместимость с OpenAI API и при этом иметь возможность использовать Anthropic Claude, Google Gemini и другие модели;
• как встроить AI в существующие процессы без полной переработки backend-архитектуры.

Какие задачи решались в проекте?

При разработке CIMS требовалось реализовать несколько AI-сценариев, связанных с обработкой пользовательских сообщений, аналитикой и поддержкой принятия решений.
Эти задачи требовали не только промптов и вызова модели, но и полноценной backend-интеграции: схем данных, фоновых задач, статусов выполнения, обработки ошибок и контроля формата результата.

Ключевые задачи проекта:

• автоматическая классификация сообщений по категориям рейтингов;
• определение тональности и выделение релевантных цитат из текста;
• подбор тегов из заранее заданного дерева категорий;
• извлечение числовых значений и дат из неструктурированного текста;
• перевод и нормализация текстов для дальнейшей аналитики;
• массовая обработка больших наборов сообщений через batch-сценарии;
• работа чат-ассистента с кейсами, историей диалога и вложенными файлами;
• генерация фильтров и структурированных конфигураций для аналитических графиков;
• создание embeddings для поиска и сопоставления текстовых данных.

Роль LiteLLM в архитектуре CIMS

LiteLLM в проекте CIMS используется как единая точка доступа к языковым моделям. Вместо прямого обращения каждого сервиса к отдельному AI-провайдеру запросы направляются через LiteLLM Gateway.
Для приложения это означает, что AI-сервис работает с понятными внутренними названиями моделей и режимов, а техническая маршрутизация остается на уровне инфраструктуры.

Такой подход позволяет:

• использовать OpenAI-совместимый интерфейс для разных провайдеров;
• задавать понятные алиасы моделей для прикладной логики;
• разделять модели по типам задач: чат, аналитика, атрибуция, batch-обработка;
• централизованно управлять таймаутами, ключами, fallback-цепочками и параметрами маршрутизации;
• сократить зависимость бизнес-кода от особенностей конкретного провайдера;
• упростить дальнейшее тестирование и замену моделей.

Интеграция AI в существующие бизнес-процессы

Одна из главных задач проекта заключалась в том, чтобы встроить AI в существующее приложение, а не создавать отдельную изолированную систему.

AI-сервисы получают данные из backend-приложения: настройки организации, доступные категории, теги, числовые атрибуты, пользовательские и технические промпты, параметры выбора модели. После обработки результат возвращается обратно в структурированном формате, который может быть использован основным приложением.

Такой подход позволил встроить AI в несколько бизнес-сценариев:

• аналитика клиентских отзывов и сообщений;
• автоматическая разметка данных;
• подготовка структурированных результатов для отчетов;
• помощь пользователю через чат-ассистента;
• формирование фильтров и параметров визуализации;
• обработка файлов и документов в рамках пользовательского сценария.

Работа с провайдерами и моделями

В проекте использовались разные режимы работы моделей. Для задач атрибуции важны стабильность и предсказуемый формат ответа, поэтому применяются строгие схемы, function calling и низкая температура. Для чат-ассистента и аналитических сценариев используются режимы, рассчитанные на более сложную обработку контекста, работу с файлами и reasoning.

LiteLLM позволил разделить эти сценарии на понятные группы:

• быстрые модели для оперативных ответов;
• адаптивные модели для более сложного анализа;
• модели с расширенным reasoning для комплексных задач;
• строгие режимы для классификации и извлечения структурированных данных;
• batch-модели для массовой обработки сообщений.

Массовая обработка, файлы и аналитика

В CIMS AI-интеграция не ограничивалась одиночными запросами к модели. В проекте были реализованы сценарии массовой обработки и работы с разными типами данных.

Для batch-обработки сообщения преобразуются в набор задач, отправляются в модель, а затем результаты объединяются и приводятся к формату, который принимает backend-приложение. Это особенно важно при обработке больших массивов отзывов, сообщений или исторических данных.

Также были реализованы сценарии работы с файлами:

• загрузка файлов к выбранному AI-провайдеру;
• передача файлов в модель в рамках чат-сценария;
• получение и проксирование файлов, созданных моделью;
• поддержка PDF, изображений, презентаций и других вложений;
• возврат вложений пользователю через API приложения.

Практический опыт внедрения LiteLLM

Интеграция LiteLLM показала, что для промышленного использования LLM недостаточно просто подключить API модели. Важно заранее спроектировать инфраструктурный слой, который будет управлять моделями, ошибками, режимами работы и форматом обмена данными.

В ходе проекта были решены практические задачи:

• создан единый слой доступа к разным LLM-провайдерам;
• снижена зависимость приложения от конкретной модели;
• настроены fallback-сценарии для повышения устойчивости;
• разделены режимы работы для быстрых, сложных и строго структурированных задач;
• реализована обработка статусов фоновых задач через backend-сервис;
• выстроена работа с промптами и настройками на уровне организации;
• обеспечена передача результатов в контролируемом JSON-формате;
• добавлена возможность развивать AI-функции без изменения основной архитектуры продукта.

Выводы по проекту

Опыт интеграции LiteLLM в CIMS показал, что корпоративные AI-системы требуют отдельного инфраструктурного подхода. Когда языковые модели начинают участвовать в реальных бизнес-процессах, на первый план выходят стабильность, управляемость, контроль результата и возможность масштабирования.

LiteLLM помог решить несколько ключевых задач:

• унифицировать работу с разными LLM-провайдерами;
• ускорить внедрение новых AI-сценариев;
• упростить тестирование и замену моделей;
• повысить устойчивость системы за счет fallback-механизмов;
• сохранить прикладную логику приложения независимой от конкретного провайдера;
• сделать AI-сервисы частью существующего backend-контура.