Dokimos MCP
Dokimos MCP Server
MCP-сервер для оценки LLM-приложений: агент гоняет набор примеров, сравнивает запуски и показывает проваленные вопросы.
- 62 ★ репозитория
- Последний коммит
- MIT
Расширенный доступ
Почему такой уровень
- Примеры из набора данных уходят в OpenAI по вашему ключу, а запуски расходуют платные токены.
Установка
- Работает в
Ручная установка
{"mcpServers":{"dokimos":{"command":"docker","args":["run","-i","--rm","-e","OPENAI_API_KEY","-v","dokimos-mcp:/home/dokimos/.dokimos","-v","/absolute/path/to/datasets:/data:ro","ghcr.io/dokimos-dev/dokimos-mcp-server:latest"],"env":{"OPENAI_API_KEY":"sk-..."}}}}Вариант с Docker из README модуля: образ не требует JDK. Ключ подставьте свой.
Доступ и проверки
Как мы проверяемРасширенный доступИнструмент запускает код или ходит в сеть, а внешние данные только читает.
- Примеры из набора данных уходят в OpenAI по вашему ключу, а запуски расходуют платные токены.
Это чужой код. Посмотрите файлы в репозитории перед установкой.
Что делает
Dokimos — фреймворк оценки LLM-приложений на Java и Kotlin, и в репозитории есть MCP-сервер `dokimos-mcp-server`. Он дает агенту четыре инструмента: `run_evaluation` запускает оценку на наборе примеров (JSON, CSV или JSONL), `list_experiments` показывает прошлые запуски, `compare_runs` сравнивает два запуска и отмечает регрессии, `get_failing_queries` выводит проваленные примеры с входом, ожидаемым и фактическим ответом. Оценщиков два: `exact_match` и `llm_judge` с критериями и порогом, по умолчанию 0,7. Результаты запусков сохраняются в `~/.dokimos/mcp-results.json`. Отдельно маркетплейс Claude Code содержит плагины для заготовок оценщиков, наборов данных, тестов JUnit и экспериментов для LangChain4j, Spring AI, Koog, Embabel и OpenAI.
Для кого. Разработчикам на Java и Kotlin, которые проверяют ответы LLM на регрессии и хотят запускать оценку прямо из беседы с агентом.
Подходит, если
- После смены модели нужно сравнить два запуска и увидеть, какие метрики просели.
- Набор вопросов и ответов в JSON должен пройти проверку судьей-LLM с порогом 0,7.
- Требуется быстро разобрать, на каких входах агент проваливается, и вывести ожидаемый и фактический ответ.
- Для тестов JUnit нужна заготовка оценки по набору данных.
Не подходит, если
- Нужны оценщики кроме `exact_match` и `llm_judge`: сервер знает только их.
- Недопустима отправка примеров в OpenAI: оценка судьей идет через модель OpenAI.
- Проект не на JVM: сам фреймворк рассчитан на Java и Kotlin, хотя сервер отдельный.
Пример запроса к агенту
Запусти оценку набора /data/qa-pairs.json судьей llm_judge с критерием «ответ совпадает по смыслу» и покажи проваленные вопросы.MCP
- Транспорт
- stdio
- Авторизация
- API-ключ
Переменные окружения
OPENAI_API_KEYобязательная, секрет- Ключ OpenAI для `run_evaluation` и судьи llm_judge.
Ограничения
Для `run_evaluation` нужна переменная `OPENAI_API_KEY`, по умолчанию берется модель gpt-5.5 с температурой 0,0. Сервер работает по stdio, запуск вручную смысла не имеет. Образ Docker запускают с флагом `-i`, а набор данных монтируют в `/data` только для чтения. Сборка из исходников требует Java 17 и Maven (`mvn package -pl dokimos-mcp-server -am`). Версия в README помечена как SNAPSHOT. Результаты лежат в `~/.dokimos/mcp-results.json`, а при запуске в Docker для них нужен именованный том.
Как отключить. Удалите запись `dokimos` из `claude_desktop_config.json` или `.mcp.json`. Файл `~/.dokimos/mcp-results.json` и том `dokimos-mcp` очистите вручную.
Частые вопросы
Как запустить сервер без JDK?
Через Docker-образ `ghcr.io/dokimos-dev/dokimos-mcp-server:latest`: конфигурация клиента вызывает `docker run -i --rm` с ключом, томом `dokimos-mcp` и каталогом данных в `/data`.
Какие инструменты есть?
`run_evaluation`, `list_experiments`, `compare_runs` и `get_failing_queries`. Первый запускает оценку, остальные читают сохраненные результаты.
Какие форматы наборов данных поддерживаются?
JSON, CSV и JSONL. В минимальном JSON задают `name` и список `examples` с полями `input` и `expectedOutput`.
Как получить плагины для Claude Code?
Маркетплейс репозитория содержит плагины `create-evaluator`, `create-dataset`, `create-tests`, `create-experiment`, `generate-goldens` и `evaluate-*` для разных фреймворков.
Где хранятся результаты?
В `~/.dokimos/mcp-results.json`, файл создается при первом использовании. В Docker для сохранения между запусками нужен именованный том.
Обсуждение
Вопросов и отзывов пока нет.
Похожие
MCP-серверыMCP Interviewer проверяет MCP-сервер до подключения агента: лимиты провайдеров, тесты инструментов и отчет в Markdown.
kogiQA MCP дает агенту браузер, который находит элементы страницы без селекторов, для отладки веб-приложений и e2e-тестов
MCP-сервер, который запускает Google Lighthouse по адресу страницы и возвращает оценки скорости и метрики
Официальный отладчик MCP-серверов: веб-интерфейс, CLI для автоматизации и терминальный интерфейс в одном пакете
Снимки поведения ИИ-агента: записывает вызовы инструментов сегодня и сообщает, когда они молча изменились после правки
MCP-сервер, который проверяет, правда ли агент закончил: гоняет реальное приложение и возвращает вердикт прошло, не прошло, неясно с указанием файла и строки
Сравнение с похожими
Карточки с тем же главным запросом: чем они отличаются.
| Инструмент | Официальный | Авторизация | Звезды репозитория | Главное отличие |
|---|---|---|---|---|
| Dokimos MCP (эта карточка) | да | API-ключ | 62 | |
| agentevals | нет | не нужна | 169 | оценка траекторий агентов; Dokimos считает метрики по набору примеров и сравнивает запуски |
| Evals Skills | нет | 1 770 | скиллы про организацию оценок; здесь MCP-сервер и плагины для JVM-фреймворков |
Коротко о README
README фреймворка перечисляет интеграции с JUnit, LangChain4j, Spring AI и учет стоимости вызовов. Раздел модулей называет `dokimos-mcp-server` как MCP-сервер для любого клиента.