veridical-flow — плагин
Плагин проверяет ответ агента «да или нет» на вопрос по данным: насколько он держится на шуме и возмущениях.
- 76 ★ репозитория
- Последний коммит
- MIT
Расширенный доступ
Почему такой уровень
- Агенты-аналитики исполняют код и читают CSV на вашей машине, а для недоверенных данных нужна песочница.
- Скрипты создают много рабочих папок и расходуют токены.
Установка
- Работает в
Ручная установка
claude --plugin-dir agentsКоманда выполняется в клонированном репозитории veridical-flow.
Доступ и проверки
Как мы проверяемРасширенный доступИнструмент запускает код или ходит в сеть, а внешние данные только читает.
- Агенты-аналитики исполняют код и читают CSV на вашей машине, а для недоверенных данных нужна песочница.
- Скрипты создают много рабочих папок и расходуют токены.
Это чужой код. Посмотрите файлы в репозитории перед установкой.
Что делает
Плагин из папки `agents/` репозитория veridical-flow проверяет, можно ли верить выводу ИИ-аналитика. На вход он берет CSV-файл и вопрос с ответом «да или нет», например «влияет ли ИМТ на прогрессирование диабета». Затем независимые агенты-аналитики отвечают на него много раз: на реальных данных, на копиях с перемешанными столбцами и при возмущениях. Возмущения не должны менять верный ответ: лишние столбцы, анонимные или вводящие в заблуждение имена столбцов, наводящая формулировка. Скилл сравнивает, отличаются ли ответы на реальных данных от ответов на шуме и устойчив ли вывод. Три скрипта на стандартной библиотеке Python готовят рабочие папки, показывают прогресс и считают итог. Каждый прогон остается папкой, которую можно открыть и повторить.
Для кого. Аналитикам и исследователям, которые отдают анализ данных агенту и хотят знать, не получился ли вывод из шума.
Подходит, если
- Агент ответил «да» на вопрос по таблице, и ответ пойдет в отчет.
- Нужно понять, воспроизводим ли результат ИИ-анализа или он зависит от случайных решений агента.
- Перед публикацией вывода хочется перепроверить его на перемешанных данных.
- Команда сравнивает, насколько формулировка вопроса сдвигает ответ агента.
Не подходит, если
- Вопрос не сводится к «да или нет»: скилл просит сначала выбрать одно утверждение.
- Данные закрытые и их нельзя запускать на этой машине: аналитики исполняют код локально.
- Нужна быстрая проверка за минуты: полный прогон занимает много времени и стоит токенов.
Пример запроса к агенту
Используй veridical-flow и проверь, влияет ли bmi на target в diabetes.csv.Ограничения
Каждая рабочая папка равна полноценному анализу агента, поэтому число прогонов растет как число повторов, умноженное на возмущения и на два набора данных. Быстрая проверка из трех повторов и шести возмущений дает 36 запусков, а для результата, который идет в отчет, нужно не меньше 120. Скилл просит согласия пользователя перед запуском больше 20 прогонов. Аналитики исполняют код на вашей машине, поэтому для недоверенных данных нужны песочница или контейнер. Скилл запускает отдельного агента на каждую рабочую папку.
Как отключить. Не подключайте папку `agents` через `--plugin-dir` или удалите плагин из настроек. Созданные рабочие папки `vflow_runs` удалите вручную.
Частые вопросы
Как подключить плагин?
Склонируйте репозиторий и запустите `claude --plugin-dir agents`. После этого в сессии можно писать: «Используй veridical-flow, чтобы проверить, влияет ли bmi на target в diabetes.csv».
Сколько стоит прогон?
Число запусков равно повторам, умноженным на возмущения и на два. Проверка работоспособности требует 2 запусков, быстрый взгляд 36, результат для отчета от 120. Один запуск обычно занимает от одной до нескольких минут.
Какие возмущения проверяются?
`none`, `extra_columns`, `anonymized_names`, `shuffled_names`, `lead_yes` и `lead_no`. Их выбирают флагом `--perturbations`.
Что в репозитории кроме плагина?
Библиотека `vflow` для Python: она автоматизирует параллельные вычисления и отслеживание экспериментов и ставится командой `pip install vflow`.
Как узнать, что идет прогон?
Скрипт `progress.py` показывает полосу прогресса и оценку времени. Для наблюдения в своем терминале добавьте `--watch 30`.
Обсуждение
Вопросов и отзывов пока нет.
Похожие
ПлагиныПлагин учит агента делать ясные и честные графики и сам проверяет каждый перед показом: заголовок-вывод, оси, подписи, цвета.
16 скиллов научной методологии для агентов: от проверяемого вопроса и предрегистрации гипотез до воспроизводимого анализа
Скилл визуализации данных для агентов: превращает данные в аккуратные интерактивные HTML-графики и целые отчеты с единым визуальным языком
Официальный плагин Google Cloud: агент находит таблицы BigQuery, пишет SQL и строит прогнозы по вопросам на естественном языке.
Причинный анализ по шагам: 14 скиллов подбирают метод, проверяют допущения, пишут код на R или Python и тестируют вывод.
AVA, скилл визуальной аналитики, отвечает на вопросы о CSV или базе проверяемыми запросами и графиком, а не текстом наугад.
Коротко о README
README посвящен библиотеке `vflow` для анализа устойчивости в духе подхода PCS: код с примером конвейера, установка и документация. Отдельный раздел описывает плагин для агентов и способ его запуска.