Primitive Bench MCP
Удаленный MCP-сервер называет лучший API поиска, извлечения, реранка или ретривала под вашу задачу, с интервалами.
- 122 ★ репозитория
- Последний коммит
- Apache-2.0
Расширенный доступ
Почему такой уровень
- Условия запроса отправляются на удаленный публичный сервер.
Установка
- Работает в
В терминале, через SkillFoxx CLI
npx skillfoxx add mcp/primitive-bench-mcpОпределит агенты на машине, покажет уровень доступа и зафиксирует версию.
Другие способы установки
Доступ и проверки
Как мы проверяемРасширенный доступИнструмент запускает код или ходит в сеть, а внешние данные только читает.
- Условия запроса отправляются на удаленный публичный сервер.
Это чужой код. Посмотрите файлы в репозитории перед установкой.
Что делает
Primitive Bench публикует независимые замеры инструментов, на которых строятся агенты: веб-поиска, извлечения текста, реранкеров и ретривала. Сервер MCP отдает эти результаты агенту. Агент сообщает ограничения задачи, например «поиск по государственным реестрам», и получает победителя для этого среза либо честную ничью с интервалом Уилсона и ссылкой на источник. Серверной модели нет, поэтому запросы бесплатны. Победитель называется только тогда, когда он статистически отделим от соседа по тесту Макнемара, иначе публикуется полоса ничьей. Закрытые эталонные ответы лежат на отдельном сервере оценки, в репозитории только публичные выборки. Тот же репозиторий содержит CLI `bench` для запуска собственных замеров из клона.
Для кого. Разработчикам агентов и RAG-систем, которые выбирают поисковый API или реранкер и хотят опереться на замеры, а не на отзывы.
Подходит, если
- Для агента нужен поисковый API, и срез запросов узкий: реестры, документация, новости.
- Два реранкера дают похожие результаты, и надо знать, различимы ли они статистически.
- Выбираете сервис извлечения чистого текста страниц для конвейера данных.
- В тексте решения нужна ссылка на источник сравнения.
Не подходит, если
- Нужны замеры OCR, векторных баз, чанкинга или краулинга: они пока запланированы.
- Запросы к серверу нельзя отправлять наружу: он удаленный.
- Ждете покупку результата по фиксированной цене с возвратом денег: этот слой пока на этапе плана.
Пример запроса к агенту
Какой API веб-поиска лучше всего находит страницы государственных реестров? Покажи победителя или ничью и интервалы.MCP
- Транспорт
- http
- Авторизация
- не нужна
Ограничения
Сейчас работают срезы для поиска, извлечения, реранкеров и ретривала, остальные направления запланированы. Сервер публичный и удаленный: ограничения задачи уходят на него. Пакеты еще не опубликованы в PyPI, поэтому CLI `bench` запускают из клона через `uv sync`. Рыночная часть проекта с фиксированной ценой и возвратом остается планом. Ответ показывает результат на публичной выборке и не гарантирует такой же результат на ваших данных. Замеры выполнены собственной системой проекта.
Как отключить. Выполните `claude mcp remove primitive-bench` или удалите запись из конфигурации клиента. Установленных локально компонентов у сервера нет.
Частые вопросы
Как подключить Primitive Bench к Claude Code?
Выполните `claude mcp add --transport http primitive-bench https://benchpublic.vercel.app/mcp`. Ключ и регистрация не нужны.
Какие направления уже поддерживаются?
Веб-поиск, извлечение, реранкеры и ретривал. OCR, векторные базы, чанкинг и краулинг запланированы.
Что значит ничья в ответе?
Два инструмента статистически неразличимы на этом срезе. Тогда сервер возвращает полосу ничьей, и их можно считать взаимозаменяемыми.
Можно ли запустить собственный замер?
Да, через CLI `bench`: `uv sync`, затем `uv run bench run --primitive ocr --config configs/ocr.yaml`. Пакеты запускаются из клона.
Платный ли сервер?
Нет, запросы бесплатны, потому что на сервере нет собственной модели.
Обсуждение
Вопросов и отзывов пока нет.
Похожие
MCP-серверыАгент-конструктор MCP подбирает серверы из официального реестра и собирает из них свой агентский MCP-сервер.
Универсальный CLI-клиент MCP от Apify: постоянные сессии, OAuth, JSON-вывод для скриптов и доступ агента к любому MCP-серверу через оболочку
MCP-сервер, который вставляет в задачи агента шаг обратной связи: веб или десктоп-окно для текста, картинок и промптов
MCP-сервер реестра HeyClaude только для чтения: агент ищет скиллы, MCP-серверы и хуки и получает готовые команды установки
MCP-сервер дает Claude Code и Codex дешевого помощника на DeepSeek для классификации, сводок и разбора текста.
Мост для MCP: один инструмент run_python запускает код в контейнере и вызывает ваши MCP-серверы
Коротко о README
README объясняет идею рынка проверяемых результатов, затем описывает слой проверки: примитивы, статистику и защиту от подтасовки. Раздел про MCP показывает команду подключения, ниже идут устройство репозитория и план развития.