Сравнение RAG и RLM MCP-серверов для 1С
perform_comparison_1c_rag_mcp
Методология и воркфлоу для оркестратора Claude, который сравнивает MCP-серверы анализа кода 1С по качеству ответов и расходу токенов
Низкий риск
Низкий уровень ставим, когда запись в основном дает агенту инструкции и справочные материалы.
Почему такой уровень
- Тестирует сторонние MCP-серверы на тестовой выгрузке конфигурации, не на рабочей базе
- Оркестратор только читает результаты тестируемых серверов и пишет отчеты
Установка
Ручная установка
git clone https://github.com/Dach-Coin/perform_comparison_1c_rag_mcp.gitДальше нужно поднять Docker, LM Studio с bge-m3 и настроить e2e_tests/servers.yaml из примера.
Это чужой код. Посмотрите файлы в репозитории перед установкой.
Что делает
Проект дает протокол двухролевой оркестрации: агент-оркестратор на Claude Opus запускает параллельных агентов-анализаторов на Claude Sonnet, по одному на каждый тестируемый MCP-сервер, каждый выполняет одинаковые бизнес-вопросы по конфигурации 1С, используя только свой сервер, и пишет лог вызовов и бизнес-отчет. Оркестратор затем оценивает качество по единой методологии и собирает сравнительную сводку по качеству ответов, расходу токенов и типу подхода (RAG, RLM, граф). В комплекте протокол WORKFLOW.md, десять тестовых бизнес-промптов, готовый пример конфигурации серверов servers_example.yaml и уже проведенные раунды сравнения на конфигурации 1С:Документооборот КОРП, зафиксированные в отчетах с конкретными результатами по каждому серверу.
Для кого. Для 1С-разработчиков и команд, которые выбирают между несколькими MCP-серверами анализа кода 1С и хотят объективное сравнение, а не рекламные обещания.
Подходит, если
- Нужно сравнить несколько MCP-серверов анализа кода 1С на своей конфигурации
- Разрабатываете свой MCP-сервер для 1С и нужна методология объективного тестирования
- Хотите понять соотношение качества ответов и расхода токенов у разных подходов (RAG, RLM, граф)
Не подходит, если
- Нужен сам MCP-сервер для работы с 1С, а не инструмент их сравнения
- Нет Docker, LM Studio с моделью bge-m3 и, для графовых серверов, Neo4j
- Не готовы тратить время на запуск десятков тестовых прогонов
Пример запроса к агенту
Запусти анализ по воркфлоу e2e_tests/WORKFLOW.md, тесты 1-3, для MCP-серверов cloud-embeddings, rlm-tools-bsl и 1c-metacodeОграничения
Готовые отчеты в репозитории сделаны на одной конфигурации 1С:Документооборот КОРП 3.0, результаты на других конфигурациях могут отличаться. Часть сравниваемых серверов (Comol) платные и распространяются только как Docker-образы без исходников. Методология зависит от оценок оркестратора Claude Opus, а не от независимого стороннего арбитра.
Как отключить. Просто не запускайте воркфлоу, инструмент не устанавливает ничего постоянного, кроме тестовых серверов, которые вы сами поднимаете для сравнения.
Проверка безопасности
- Тестирует сторонние MCP-серверы на тестовой выгрузке конфигурации, не на рабочей базе
- Оркестратор только читает результаты тестируемых серверов и пишет отчеты
Коротко о README
README описывает двухролевую модель оркестрации, подготовку стенда (Docker, LM Studio с bge-m3, Neo4j для графовых серверов), подготовку исходников конфигурации через выгрузку в XML, установку сравниваемых MCP-серверов (платных от Comol и бесплатных open-source), быстрый старт с очисткой примеров и запуском анализа, таблицы результатов двух раундов сравнения с конкретными числами качества и токенов, и структуру репозитория с протоколом, промптами и отчетами.
Частые вопросы
Какой сервер показал лучший результат в готовых отчетах?
В апрельском раунде rlm-tools-bsl, code-metadata (версия 08.04) и 1c-mcp-metacode набрали максимальное качество 10 из 10, при этом rlm-tools-bsl потратил меньше всего токенов.
Нужны ли платные серверы для теста?
Нет, в примере есть и бесплатные open-source серверы вроде rlm-tools-bsl и 1c-mcp-metacode.
Похожие
CLI для тестирования и ред-тиминга LLM-приложений: сравнение моделей, автоматические проверки в CI и поиск уязвимостей
Playwright CLI
playwright-cli
Официальный CLI Playwright со скиллом для агентов: управление браузером короткими командами без тяжелых MCP-схем
Официальный отладчик MCP-серверов: веб-интерфейс, CLI для автоматизации и терминальный интерфейс в одном пакете
Официальный MCP-сервер SonarSource: проблемы качества и безопасности, quality gates и анализ кода из SonarQube Server и Cloud