Agent Memory Benchmark CLI
Agent Memory Benchmark гоняет системы памяти агентов по открытым датасетам и считает точность, скорость и расход токенов.
- 167 ★ репозитория
- Последний коммит
Расширенный доступ
Почему такой уровень
- Данные датасетов и запросы уходят в Gemini и облачные провайдеры памяти.
- Прогоны тратят токены на вашем ключе.
Установка
- Работает в
Ручная установка
uv run amb run --dataset personamem --domain 32k --memory hindsight-cloudЗапуск прогона из README после клонирования репозитория и создания `.env` с `GEMINI_API_KEY`.
Доступ и проверки
Как мы проверяемРасширенный доступИнструмент запускает код или ходит в сеть, а внешние данные только читает.
- Данные датасетов и запросы уходят в Gemini и облачные провайдеры памяти.
- Прогоны тратят токены на вашем ключе.
Это чужой код. Посмотрите файлы в репозитории перед установкой.
Что делает
CLI `amb` сравнивает провайдеров памяти для агентов на одинаковых задачах. Документы датасета загружаются в провайдера, на каждый запрос он возвращает контекст, модель Gemini строит ответ, вторая модель Gemini оценивает его по эталону. Время поиска и загрузки меряется отдельно. Есть датасеты с задачами агентов: память между вызовами инструментов, знания из исследования документов, предпочтения в многошаговых решениях. Для PrecisionMemBench предусмотрен режим `--mode retrieval` без генерации и судьи: проверяется только, что нужные воспоминания вернулись, а лишние нет. Все промпты, оценка и результаты открыты, таблица лидеров лежит на agentmemorybenchmark.ai.
Для кого. Разработчикам систем памяти для агентов и тем, кто выбирает между такими системами по цифрам.
Подходит, если
- Сравниваете два провайдера памяти по точности и цене на одном датасете.
- Проверяете, возвращает ли ваша память только нужные воспоминания, режимом `retrieval`.
- Воспроизводите чужой результат из таблицы лидеров на своей машине.
- Добавляете своего провайдера памяти в общий набор прогонов.
Не подходит, если
- Нужна готовая память для агента: это стенд для замеров, хранилища в нем нет.
- Нет ключа Gemini: генерация и оценка идут через него.
- Нужен быстрый тест на ноутбуке: большие датасеты грузятся долго.
Пример запроса к агенту
Сравни провайдеров памяти hindsight-cloud и локального по датасету personamem и покажи точность и время поиска.Ограничения
Нужен ключ `GEMINI_API_KEY` в `.env`, прогоны расходуют токены Gemini. Часть провайдеров требует собственных ключей и облачных аккаунтов. Данные датасетов большие и лежат в репозитории в сжатом виде. Файла лицензии в репозитории нет, поэтому условия повторного использования неясны. Сравнение корректно только при одинаковых версиях моделей и датасетов, поэтому фиксируйте их в заметках к прогону. Облачные провайдеры тарифицируются отдельно от Gemini, а время ответа зависит от сети.
Как отключить. Удалите клонированную папку и файл `.env` с ключом Gemini.
Частые вопросы
Что делает режим retrieval?
Он пропускает генерацию ответа и судью: для каждого случая проверяет, что вернулся ровно нужный набор воспоминаний. Так устроен PrecisionMemBench.
Какие модели оценивают ответы?
Ответ строит модель Gemini, оценивает вторая модель Gemini по эталонным ответам. Конкретные модели и промпты опубликованы в репозитории.
Как узнать доступные датасеты и провайдеров?
Командой `uv run amb providers`: она печатает датасеты, провайдеров памяти и режимы. Домены датасета показывает `uv run amb domains --dataset personamem`.
Можно ли добавить своего провайдера?
Да, в репозитории есть слой провайдеров памяти: новый адаптер описывает загрузку документов и поиск контекста, после чего он появляется в `uv run amb providers`.
Что показывает таблица лидеров?
Точность ответов, скорость поиска и загрузки и расход токенов для каждого провайдера на каждом датасете. Расчет можно воспроизвести локально.
Обсуждение
Вопросов и отзывов пока нет.
Похожие
CLI-инструментыAgentDB хранит память агента в файле .rvf и через 41 инструмент MCP ищет прошлые решения, учась на обратной связи
agentperf-local меряет, как быстро ваш компьютер обслуживает ИИ-агента, на записанных диалогах: скорость и задержки
Локальная память для ИИ-агентов программиста: хуки записывают ход каждой сессии, и Claude Code, Codex или Cursor находят прошлые решения через MCP
Локальный MCP-сервер памяти для агентов: решения, ошибки и факты хранятся на вашей машине, поиск идет по смыслу и графу знаний
Долговременная память для ИИ-агентов: файлы Markdown как источник истины, индекс SQLite как кэш, общая у Claude Code, Codex и других
Внешняя память для Hermes, Claude Code, Codex и Cursor: архив сессий, слои recall, возврат нужного в контекст без правки агента
Сравнение с похожими
Карточки с тем же главным запросом: чем они отличаются.
| Инструмент | Официальный | Звезды репозитория | Главное отличие |
|---|---|---|---|
| Agent Memory Benchmark (эта карточка) | нет | 167 | |
| Supermemory Skills | да | 117 | там есть бенчмарк чужой памяти среди четырех скиллов; здесь отдельный открытый стенд с датасетами и таблицей лидеров |
| agent-memory | нет | 4 315 | хранит память агента в Markdown; AMB ничего не хранит, а сравнивает такие системы между собой |
Коротко о README
В репозитории открытый стенд AMB на Python: датасеты, провайдеры памяти, промпты ответа и судьи, команды запуска и таблица лидеров. Авторы объясняют, что старые тесты памяти рассчитаны на окна в 32 тысячи токенов и не различают системы при миллионных контекстах.