BenchmarkQED — скилл
Набор Microsoft для проверки RAG-систем: генерирует вопросы к данным и оценивает ответы моделью-судьей, есть три скилла
- 104 ★ репозитория
- Последний коммит
Расширенный доступ
Почему такой уровень
- Отправляет тексты вашего корпуса и ответы систем модели по ключу из `.env`, расходуя платные запросы
- Пишет файлы настроек и результаты в рабочую папку и может читать и писать данные в Azure Blob Storage
Установка
- Работает в
В терминале, через SkillFoxx CLI
npx skillfoxx add skills/benchmarkqedОпределит агенты на машине, покажет уровень доступа и зафиксирует версию.
Другие способы установки
Доступ и проверки
Как мы проверяемРасширенный доступИнструмент запускает код или ходит в сеть, а внешние данные только читает.
- Отправляет тексты вашего корпуса и ответы систем модели по ключу из `.env`, расходуя платные запросы
- Пишет файлы настроек и результаты в рабочую папку и может читать и писать данные в Azure Blob Storage
Это чужой код. Посмотрите файлы в репозитории перед установкой.
Что делает
BenchmarkQED состоит из трех частей. AutoQ синтезирует вопросы к набору данных: от локальных, на которые отвечают несколько фрагментов текста, до глобальных, где нужны рассуждения по всему корпусу, а также многошаговые вопросы со связью между данными. AutoE сравнивает ответы разных RAG-систем попарно по релевантности, полноте, разнообразию и пользе для читателя, умеет оценивать по эталонным ответам и утверждениям и считает значимость различий. AutoD готовит выборки и сводки данных, чтобы вход для генерации вопросов был стабильным. В каталоге `.apm/skills` лежат три скилла для агента: `benchmark-qed-setup` создает рабочую папку и файл `settings.yaml`, `benchmark-qed-autoq` ведет генерацию вопросов и утверждений, `benchmark-qed-autoe` запускает оценку. Агент запускает CLI через `uvx`, а ключ модели берет из файла `.env`. К проекту приложены два набора данных: расшифровки подкаста Behind the Tech и новости AP о здоровье.
Для кого. Инженерам и исследователям, которые сравнивают RAG-системы на своих корпусах документов и хотят отдать агенту настройку и запуск замеров.
Подходит, если
- Нужно сравнить GraphRAG и обычный векторный поиск на одном корпусе по полноте и разнообразию ответов.
- Для своих документов не хватает набора вопросов, и AutoQ синтезирует локальные, глобальные и связанные вопросы.
- Для готовых вопросов агент строит утверждения командой `generate-assertions` и считает по ним метрики.
- Измерение качества поиска: точность, полнота и достоверность выдачи считаются командой `autoe retrieval-scores`.
- Надо понять, значима ли разница между двумя методами, и `autoe assertion-significance` дает проверку значимости.
- Новая рабочая папка собирается через мастер `benchmark-qed init`, без ручной правки YAML.
Не подходит, если
- Нужно мерить качество агента-программиста или модели на задачах кода: BenchmarkQED рассчитан только на системы с поиском по документам.
- Нет ключа модели: и генерация вопросов, и оценка идут через запросы к LLM.
- Нужна быстрая проверка в один запуск: прогон по большому корпусу делает много запросов к модели.
Пример запроса к агенту
Создай рабочую папку BenchmarkQED, сгенерируй по моим документам 50 локальных и 20 глобальных вопросов и сравни два RAG-метода попарноОграничения
Нужны Python 3.11 или новее и uv, а для запросов к модели ключ в файле `.env` рабочей папки; расходы на запросы несет владелец ключа. Оценка идет по принципу LLM-as-a-Judge, поэтому результат зависит от модели-судьи и промптов. Команда `data download` ждет подтверждения, и агент передает его через `echo y`, иначе процесс зависает. Скиллы лежат в каталоге `.apm/skills` для менеджера пакетов агентов APM, штатной команды установки в README нет, их копируют вручную. Конфигурацию можно хранить в Azure Blob Storage. Лицензия MIT.
Как отключить. CLI запускается через `uvx` без установки в систему, достаточно перестать его вызывать. Скопированные каталоги скиллов `benchmark-qed-*` удалите из папки скиллов агента.
Частые вопросы
Как поставить BenchmarkQED?
Командой `pip install benchmark-qed`, либо без установки через `uvx --from "git+https://github.com/microsoft/benchmark-qed" benchmark-qed <команда>`, как это делают скиллы.
Какие вопросы генерирует AutoQ?
Локальные, которые закрываются несколькими фрагментами текста, глобальные, требующие рассуждений по всему набору, и связанные многошаговые. Типы выбираются параметром `--generation-types`.
По каким метрикам AutoE сравнивает ответы?
Попарно по релевантности, полноте, разнообразию и пользе для читателя. При наличии эталона добавляются корректность и полнота, а значимость различий считает отдельная команда.
Какие данные идут в комплекте?
Расшифровки 70 выпусков подкаста Behind the Tech и 1397 новостей AP о здоровье. Скачиваются командой `benchmark-qed data download`.
Почему `data download` зависает у агента?
Команда ждет подтверждения в терминале. Агент должен вызывать ее как `echo y | uvx ... benchmark-qed data download <набор> <папка>`.
Обсуждение
Вопросов и отзывов пока нет.
Похожие
СкиллыПроверяет пакеты Agent Skills: структуру, ссылки, объем в токенах и качество инструкций с оценкой моделью-судьей
Тринадцать тестовых скиллов от анализа требований до отчета: стратегия, кейсы, API, Playwright и разбор нестабильных тестов.
Python-CLI замеряет, что скилл меняет в ответах: гоняет случай с ним и без него, ищет утечку ответа в промпте и сравнивает отчеты
Одиннадцать навыков проверки кода после ИИ: радиус изменений, дефекты, ревью-отчет, тест-кейсы и повтор сценария в браузере
Девять скиллов от авторов курса AI Evals: агент разбирает трассы, находит типы сбоев и помогает собрать оценки под ваш ИИ-продукт.
169 QA-скиллов на двух языках: тест-дизайн, API, UI, регрессия, нагрузка, безопасность и тесты LLM для агентов.
Коротко о README
Проект описан как набор инструментов для автоматического замера RAG-систем в больших масштабах с воспроизводимыми результатами. В описании показана схема из трех частей AutoQ, AutoE и AutoD и два выпущенных набора данных, подробная инструкция вынесена на сайт документации и в запись в блоге Microsoft Research.
Бейдж для README
Исходный SKILL.md
--- name: benchmark-qed-setup description: > Initialize and configure benchmark-qed workspaces for RAG benchmarking. Use when: setting up a new benchmarking project, initializing config files for question generation or evaluation, downloading sample datasets, or modifying benchmark-qed settings.yaml configuration. Also use when the user mentions "benchmark-qed config", workspace setup, or needs to prepare a benchmarking environment — even if they don't say "setup" explicitly. --- # Benchmark-QED Workspace Setup Initialize workspaces, generate configuration files, download datasets, and manage settings for the benchmark-qed RAG benchmarking tool. ## Prerequisites benchmark-qed requires Python 3.11+ and uv. Run commands with `uvx` to avoid installing globally: ```bash uvx --from "git+https://github.com/microsoft/benchmark-qed" benchmark-qed <command> ``` Pin a specific version for reproducibility: ```bash uvx --from "git+https://github.com/microsoft/benchmark-qed@v1.2.3" benchmark-qed <command> ``` If `uvx` is unavailable, install uv first: ```bash pip install uv && uvx --from "git+https://github.com/microsoft/benchmark-qed" benchmark-qed <command> ``` ## Procedure ### Step 1 — Initialize a Workspace **Option A (Recommended): Interactive wizard** The interactive wizard guides you through configuration with sensible defaults: