Сравнение RAG и RLM MCP-серверов для 1С
perform_comparison_1c_rag_mcp
Методология и воркфлоу для оркестратора Claude, который сравнивает MCP-серверы анализа кода 1С по качеству ответов и расходу токенов
- 29 ★ репозитория
- Последний коммит
- MIT
Расширенный доступ
Почему такой уровень
- Оркестратор запускает параллельных агентов, и каждый вызывает свой MCP-сервер 1С
- Работа идет на тестовой выгрузке, на выходе логи вызовов и отчеты
Установка
- Работает в
- Сервисы
Ручная установка
git clone https://github.com/Dach-Coin/perform_comparison_1c_rag_mcp.gitДальше нужно поднять Docker, LM Studio с bge-m3 и настроить e2e_tests/servers.yaml из примера.
Доступ и проверки
Как мы проверяемРасширенный доступИнструмент запускает код или ходит в сеть, а внешние данные только читает.
- Оркестратор запускает параллельных агентов, и каждый вызывает свой MCP-сервер 1С
- Работа идет на тестовой выгрузке, на выходе логи вызовов и отчеты
Это чужой код. Посмотрите файлы в репозитории перед установкой.
Что делает
Проект дает протокол двухролевой оркестрации: агент-оркестратор на Claude Opus запускает параллельных агентов-анализаторов на Claude Sonnet, по одному на каждый тестируемый MCP-сервер, каждый выполняет одинаковые бизнес-вопросы по конфигурации 1С, используя только свой сервер, и пишет лог вызовов и бизнес-отчет. Оркестратор затем оценивает качество по единой методологии и собирает сравнительную сводку по качеству ответов, расходу токенов и типу подхода (RAG, RLM, граф). В комплекте протокол WORKFLOW.md, десять тестовых бизнес-промптов, готовый пример конфигурации серверов servers_example.yaml и уже проведенные раунды сравнения на конфигурации 1С:Документооборот КОРП, зафиксированные в отчетах с конкретными результатами по каждому серверу.
Для кого. Для 1С-разработчиков и команд, которые выбирают между несколькими MCP-серверами анализа кода 1С и хотят объективное сравнение, а не рекламные обещания.
Подходит, если
- Нужно сравнить несколько MCP-серверов анализа кода 1С на своей конфигурации
- Разрабатываете свой MCP-сервер для 1С и нужна методология объективного тестирования
- Хотите понять соотношение качества ответов и расхода токенов у разных подходов (RAG, RLM, граф)
Не подходит, если
- Нужен сам MCP-сервер для работы с 1С, а не инструмент их сравнения
- Нет Docker, LM Studio с моделью bge-m3 и, для графовых серверов, Neo4j
- Не готовы тратить время на запуск десятков тестовых прогонов
Пример запроса к агенту
Запусти анализ по воркфлоу e2e_tests/WORKFLOW.md, тесты 1-3, для MCP-серверов cloud-embeddings, rlm-tools-bsl и 1c-metacodeОграничения
Готовые отчеты в репозитории сделаны на одной конфигурации 1С:Документооборот КОРП 3.0, результаты на других конфигурациях могут отличаться. Часть сравниваемых серверов (Comol) платные и распространяются только как Docker-образы без исходников. Методология зависит от оценок оркестратора Claude Opus, а не от независимого стороннего арбитра.
Как отключить. Просто не запускайте воркфлоу, инструмент не устанавливает ничего постоянного, кроме тестовых серверов, которые вы сами поднимаете для сравнения.
Частые вопросы
Какой сервер показал лучший результат в готовых отчетах?
В апрельском раунде rlm-tools-bsl, code-metadata (версия 08.04) и 1c-mcp-metacode набрали максимальное качество 10 из 10, при этом rlm-tools-bsl потратил меньше всего токенов.
Нужны ли платные серверы для теста?
Нет, в примере есть и бесплатные open-source серверы вроде rlm-tools-bsl и 1c-mcp-metacode.
Обсуждение
Вопросов и отзывов пока нет.
MCP-сервер для анализа больших кодовых баз 1С с экономией контекста: агент запускает скрипты у сервера и получает только сжатый результат
Нативный компонент, который поднимает полноценный MCP-сервер внутри 1С: инструменты, ресурсы, промпты пишутся на BSL, а протокол берет на себя DLL
Набор контейнеров: выгрузка структуры конфигурации 1С, векторная база Qdrant и MCP-сервер, который ищет объекты по смыслу
Набор MCP-серверов для разработки 1С
1C MCP Toolkit
Десять MCP-серверов для разработки 1С: справка платформы, точечная выгрузка и загрузка объектов, COM, хранилище, поиск по файлам и BSL Language Server
MCP стандартов разработки 1С
MCP-сервер стандартов разработки 1С:Предприятие 8
MCP-сервер с официальными стандартами и методиками разработки 1С:Предприятие 8 для поиска и проверки кода агентом
MCP-сервер к API 1С:Напарник
1C AI MCP
Docker-сервер на FastMCP с 12 инструментами анализа BSL-кода и поиска по документации через API 1С:Напарник (code.1c.ai)
Коротко о README
README описывает двухролевую модель оркестрации, подготовку стенда (Docker, LM Studio с bge-m3, Neo4j для графовых серверов), подготовку исходников конфигурации через выгрузку в XML, установку сравниваемых MCP-серверов (платных от Comol и бесплатных open-source), быстрый старт с очисткой примеров и запуском анализа, таблицы результатов двух раундов сравнения с конкретными числами качества и токенов, и структуру репозитория с протоколом, промптами и отчетами.