DeskMate MCP
Рекордер активности Windows с MCP-сервером: агент ищет по скриншотам, тексту экрана и расшифровкам и запускает отчеты.
- 112 ★ репозитория
- Последний коммит
- MIT
Широкий доступ
Почему такой уровень
- DeskMate постоянно записывает скриншоты, текст экрана, нажатия клавиш и содержимое буфера обмена, в них могут попасть пароли и личные сообщения.
- Через MCP агент читает всю эту историю и запускает локальные отчеты и снимки.
Установка
- Работает в
Ручная установка
claude mcp add deskmate -e DESKMATE_API=http://127.0.0.1:3030 -- C:/path/to/env/python.exe -m deskmate mcpПредварительно `pip install -e ".[ocr-winrt,audio,vad,mcp]"` и запуск `deskmate serve`.
Доступ и проверки
Как мы проверяемШирокий доступИнструмент может менять данные, выполнять команды или работать с секретами.
- DeskMate постоянно записывает скриншоты, текст экрана, нажатия клавиш и содержимое буфера обмена, в них могут попасть пароли и личные сообщения.
- Через MCP агент читает всю эту историю и запускает локальные отчеты и снимки.
Это чужой код. Посмотрите файлы в репозитории перед установкой.
Что делает
DeskMate записывает на вашем компьютере с Windows скриншоты, текст с экрана (OCR и дерево доступности), события клавиатуры, мыши и буфера обмена, а при желании расшифровку звука. Все лежит в локальной базе SQLite и никуда не загружается. Данные доступны через браузерный интерфейс, REST API и MCP-сервер по stdio. Через MCP агенты Claude Code, Cursor и Claude Desktop получают 12 инструментов с префиксом `deskmate_`: `deskmate_search` ищет по кадрам, событиям и расшифровкам, `deskmate_recent_frames` и `deskmate_recent_events` показывают последнее, `deskmate_capture_once` делает снимок, `deskmate_ask` отвечает на вопрос по вашему контексту через локальную модель, `deskmate_run_app` запускает отчеты вроде итога дня и протокола встречи. Отдельный режим маршрутизации подсказывает следующий шаг, например начать учебную сессию или запись встречи, но выполняет его только после вашего нажатия.
Для кого. Пользователям Windows, которые хотят искать по собственной рабочей истории и подключить ее к Claude Code или Cursor без облака.
Подходит, если
- Нужно вспомнить, в каком окне вы вчера видели ссылку или номер заказа.
- Агенту нужен итог рабочего дня или список задач по вашей активности за сегодня.
- Встреча прошла без протокола, и надо собрать резюме по записи и расшифровке.
- Вы хотите задать вопрос на естественном языке по собственному контексту и получить ответ от локальной модели.
Не подходит, если
- Компьютер общий, и запись клавиатуры и экрана затронет других людей.
- Нужна система не на Windows 10 или 11.
- Нельзя хранить снимки экрана из-за требований безопасности вашей организации.
Пример запроса к агенту
Найди через DeskMate, в каком окне я вчера видел номер подтверждения заказа, и покажи текст экрана вокруг него.MCP
- Транспорт
- stdio
- Авторизация
- не нужна
Переменные окружения
DESKMATE_API- Адрес локального HTTP API DeskMate, по умолчанию http://127.0.0.1:3030.
DESKMATE_MCP_ASK_TIMEOUT- Время ожидания deskmate_ask в секундах.
Ограничения
Нужны Windows 10 или 11 и Python 3.10 или новее. Сервер MCP только передает запросы локальному HTTP API, поэтому `deskmate serve` или `deskmate ui` должны работать заранее. Инструменты `deskmate_ask` и `deskmate_run_app` обращаются к локальной модели через Ollama и могут занимать минуты. Режим маршрутизации требует около 6 ГБ памяти, а отправка писем и бронирование комнат в нем не автоматизированы. Чтобы стереть данные, остановите программу и удалите `data.db` и папки в `.deskmate`.
Как отключить. Удалите запись deskmate из конфигурации MCP-клиента и остановите процесс `deskmate`. Данные лежат в `C:\Users\<имя>\.deskmate`, их удаляют вручную.
Частые вопросы
Как подключить DeskMate к Claude Code?
Запустите `deskmate serve`, затем выполните `claude mcp add deskmate -e DESKMATE_API=http://127.0.0.1:3030 -- <путь к python> -m deskmate mcp` и проверьте `claude mcp list`.
Что хранится в базе?
Скриншоты, текст с экрана, события интерфейса (клики, фокус, ввод текста, буфер обмена), расшифровки звука и результаты отчетов. Пауза записи останавливает съемку, а `/capture/forget` удаляет данные за период.
Нужна ли модель для ответов на вопросы?
Да, локальный сервер Ollama. Без него `deskmate_ask` и `deskmate_run_app` недоступны, но поиск и просмотр последних кадров работают.
Почему вызов обрывается по таймауту?
Медленные инструменты работают минутами. Увеличьте `DESKMATE_MCP_ASK_TIMEOUT` и `DESKMATE_MCP_RUN_APP_TIMEOUT` в `env` сервера и `MCP_TOOL_TIMEOUT` в клиенте.
Куда нужно перезапускать клиент?
После правки конфигурации клиент полностью перезапускают: MCP-серверы загружаются только при старте.
Обсуждение
Вопросов и отзывов пока нет.
Похожие
MCP-серверыПриложение для macOS помнит, что было на экране, и открывает агентам историю по MCP: поиск, дни, потоки работы, скриншоты.
MCP-сервер для работы агента с локальным компьютером: терминал и долгие процессы, поиск и правка файлов, Excel, PDF и DOCX
Локальная запись экрана и звука с поиском на естественном языке, отдает историю действий агенту через MCP
Локальная память об экране для агента: CatchMe хранит историю окон, клавиш и буфера обмена и отвечает на вопросы о ней.
Android-приложение записывает экран, распознает текст и открывает агенту по локальной сети MCP-доступ к поиску и сводкам.
Скилл и MCP-сервер дают агенту искать и разбирать расшифровки встреч, лекций и стримов из приложения DeLive
Коротко о README
Проект устроен как локальный рекордер с тонким MCP-прокси над HTTP API. В составе есть приложения-отчеты, обучение LoRA и распознавание речи, но для агентов главное — поиск и запуск отчетов.