Скиллы LangSmith

Установка

npx skills add langchain-ai/langsmith-skills --skill '*' --yes

Это чужой код. Посмотрите файлы в репозитории перед установкой.

Что делает

Три скилла помогают наблюдать за LLM-приложениями и оценивать их. langsmith-trace добавляет трассировку в код и выгружает трейсы для отладки через langsmith CLI. langsmith-dataset собирает из трейсов датасеты для оценки. langsmith-evaluator создает собственные эвалюаторы. В каждый скилл входят вспомогательные скрипты на Python и TypeScript.

Для кого. Для разработчиков LLM-приложений и агентов, которые используют LangSmith.

Пример запроса к агенту

Выгрузи трейсы с ошибками за вчера из проекта support-bot и сделай из них датасет

Ограничения

Проект в ранней разработке, содержимое может меняться. Нужен ключ LangSmith, а для моделей ключи OpenAI или Anthropic, которые из России без VPN не работают. Скилл трейсов требует установки langsmith CLI.

Как отключить. Удалите плагин langsmith-skills через /plugin или папки скиллов из каталога агента.

Проверка безопасности

• Запускает вспомогательные скрипты и CLI
• Читает трейсы, где могут быть данные пользователей

Коротко о README

README предупреждает о ранней стадии проекта и указывает, что для разработки агентов есть отдельный репозиторий langchain-skills. Описаны три способа установки: skills.sh локально или глобально, плагин Claude Code и скрипт install.sh для Claude Code и Deep Agents CLI. Дальше переменные окружения и список трех скиллов.

SKILL.md

---
name: langsmith-trace
description: "INVOKE THIS SKILL when working with LangSmith tracing OR querying traces. Covers adding tracing to applications and querying/exporting trace data. Uses the langsmith CLI tool."
---

<oneliner>
Two main topics: **adding tracing** to your application, and **querying traces** for debugging and analysis. Python and Javascript implementations are both supported.
</oneliner>

<setup>
Environment Variables

```bash
LANGSMITH_API_KEY=lsv2_pt_your_api_key_here          # REQUIRED
LANGSMITH_PROJECT=your-project-name                   # Optional: default project
LANGSMITH_WORKSPACE_ID=your-workspace-id              # Optional: for org-scoped keys
```

Authentication is REQUIRED: either set the `LANGSMITH_API_KEY` environment variable, or pass the `--api-key` flag to CLI commands (preferred):
```bash
langsmith trace list --project my-project --api-key $LANGSMITH_API_KEY
```

**IMPORTANT:** Always check the environment variables or `.env` file for `LANGSMITH_PROJECT` before querying or interacting with LangSmith. This tells you which project contains the relevant traces and data. If the LangSmith project is not available, use your best judgement to identify the right one.

CLI Tool
```bash
curl -sSL https://raw.githubusercontent.com/langchain-ai/langsmith-cli/main/scripts/install.sh | sh
```
</setup>

<trace_langchain_oss>

Похожие