TruLens Skills
Скиллы TruLens ведут агента через трассировку LLM-приложения, настройку оценок, разбор низких баллов и блокирующие ограничители
- 3 639 ★ репозитория
- Последний коммит
- MIT
Минимальный доступ
Почему такой уровень
- Скиллы состоят из инструкций; запуск оценок тратит токены по вашему ключу провайдера
Установка
- Работает в
Ручная установка
pip install trulensПервая команда README. Скиллы копируют из `src/core/trulens/.agents/skills` вручную.
Доступ и проверки
Как мы проверяемМинимальный доступИнструмент ничего не запускает и не ходит в сеть.
- Скиллы состоят из инструкций; запуск оценок тратит токены по вашему ключу провайдера
Это чужой код. Посмотрите файлы в репозитории перед установкой.
Что делает
TruLens — библиотека для оценки и трассировки экспериментов с LLM и ИИ-агентами. Репозиторий содержит набор агентских скиллов, которые ведут по рабочему процессу оценки: от инструментирования приложения до разбора результатов. Скилл `trulens-instrumentation` подключает трассировку на основе OTEL и помогает отлаживать и оптимизировать. `trulens-evaluation-setup` настраивает функции обратной связи и селекторы, `trulens-dataset-curation` собирает оценочные наборы с эталонными ответами, `trulens-diagnosis` разбирает низкие оценки и дает рекомендации, а `trulens-blocking-guardrails` превращает функции обратной связи в блокирующие ограничители во время работы. Есть и скилл для выполнения ноутбуков.
Для кого. Разработчикам RAG и агентных приложений, которые оценивают качество ответов TruLens и хотят, чтобы агент вел их по шагам.
Подходит, если
- Приложение на RAG выдает слабые ответы, и непонятно, виновен поиск или генерация.
- Трассировку нужно подключить к приложению на OpenTelemetry.
- Для оценок нужен набор вопросов с эталонными ответами.
- Оценка groundedness упала после правки промпта, и нужны причины.
- Небезопасные ответы надо блокировать прямо во время работы приложения.
Не подходит, если
- Приложение не использует TruLens и менять инструмент оценки не планируется.
- Нужна оценка без вызовов внешней модели: функции обратной связи часто обращаются к провайдеру.
- Скиллы нужны в качестве готового пакета: путь установки в README не описан.
Пример запроса к агенту
Подключи трассировку TruLens к нашему RAG-приложению, настрой оценку groundedness и релевантности контекста и запусти на двадцати вопросах.Ограничения
Скиллы лежат в каталоге `src/core/trulens/.agents/skills` внутри исходников, а в README способ их установки не описан: копируйте нужные папки в каталог скиллов агента вручную. Сама библиотека ставится командой `pip install trulens` и требует пакетов провайдеров для функций обратной связи. Оценки выполняет LLM-провайдер по вашему ключу, поэтому запуск тратит токены. Интерактивные скиллы задают вопросы о типе приложения, прежде чем настроить оценки.
Как отключить. Удалите скопированные папки `trulens-*` из каталога скиллов агента. Саму библиотеку убирают командой `pip uninstall trulens`.
Частые вопросы
Как поставить библиотеку?
Выполните `pip install trulens`. Для оценок добавьте пакет провайдера, например `trulens-providers-openai` или `trulens-providers-litellm`.
Где лежат скиллы?
В `src/core/trulens/.agents/skills`: инструментирование, настройка оценок, наборы данных, диагностика, ограничители и запуск ноутбуков.
Что делает скилл диагностики?
Разбирает низкие оценки и дает конкретные рекомендации по улучшению приложения.
Чем ограничитель отличается от оценки?
Оценка считается после ответа, а скилл `trulens-blocking-guardrails` ставит функцию обратной связи как блокирующую проверку во время работы.
Нужен ли внешний провайдер?
Для функций обратной связи обычно да: подключите OpenAI, Gemini, Bedrock, LiteLLM и другие через отдельные пакеты.
Обсуждение
Вопросов и отзывов пока нет.
Похожие
СкиллыДевять скиллов от авторов курса AI Evals: агент разбирает трассы, находит типы сбоев и помогает собрать оценки под ваш ИИ-продукт.
Скилл учит Claude Code и Cursor подключать трассировку Tracely и превращать провальные запуски агента в тесты для CI
Набор скиллов для оценки качества ИИ-продукта: рубрика, датасет, коды ошибок, код-проверки и LLM-судьи с калибровкой.
Скилл браузерного тестирования админок: прогоняет кейсы из Excel, собирает отчет и доказательства падений.
Скилл и MCP-сервер платформы Rhesis: агент проектирует, запускает и разбирает наборы тестов для вашего ИИ-агента
CLI и MCP для проверки скиллов: повторяемые тесты на YAML, сравнение отчетов, поиск регрессий и процесс skilled-improve
Коротко о README
В README TruLens представлен как инструмент оценки и отслеживания экспериментов с LLM и агентами. Установка идет через `pip install trulens` и пакеты провайдеров.