win11-remote-control

Category: Content & Multimedia | Uploader: xiongweixp | Downloads: 0 | Version: v1.0（Latest）

远程控制Windows 11桌面的技能，支持屏幕截图、鼠标操作、键盘输入、剪贴板操作等功能。当需要操作远程Windows电脑、获取桌面内容、模拟键鼠输入时使用此技能。

Changelog: Source: GitHub https://github.com/xiongweixp/WindowsRemote-Skill

Directory Structure

Current level: tree/master/skill/win11-remote-control/

📁 references/
- 📄 api.md 8.3 KB
📁 scripts/
- 📄 win11_remote.py 14.4 KB
📄 SKILL.md 3.2 KB
📄 win11-remote-control.skill 7.5 KB

SKILL.md

---
name: win11-remote-control
description: 远程控制Windows 11桌面的技能，支持屏幕截图、鼠标操作、键盘输入、剪贴板操作等功能。当需要操作远程Windows电脑、获取桌面内容、模拟键鼠输入时使用此技能。
---

# Win11 远程控制技能

## 配置说明
默认服务地址和鉴权Token已预配置在TOOLS.md中：
- 服务地址：`http://127.0.0.1:8989`
- 鉴权Token：`6E37A288DC844762`

## 核心功能
| 功能 | 说明 |
|------|------|
| 健康检查 | 确认远程控制服务是否正常运行 |
| 屏幕截图 | 获取远程桌面的实时截图 |
| 鼠标操作 | 移动鼠标、点击、滚轮滚动 |
| 键盘操作 | 模拟按键、组合键、输入任意文本 |
| 剪贴板操作 | 读取/写入剪贴板内容、直接粘贴文本 |

## 使用流程
1. 首先调用健康检查接口确认服务可用
2. 根据需求调用对应的接口完成操作
3. 复杂操作可结合截图分析后执行后续步骤
4. 做视觉定位前，先记录远程控制接口返回的原始截图尺寸；然后明确要求视觉模型同时报告“它实际看到/处理的图像尺寸”和目标点坐标
5. 如果视觉模型返回的坐标基于缩放后的图，按 `原始截图尺寸 / 模型处理尺寸` 计算 x/y 缩放率，再把模型坐标还原为原图坐标后再移动鼠标
6. 第一次在当前环境里操作时，先挑 1~2 个容易验证的固定锚点（比如开始按钮、桌面图标）做一次校准；确认换算后的落点准确，再复用同一套比例去点其他目标
7. 复核鼠标移动结果时，优先参考远程控制接口返回的实际坐标；截图中的鼠标指针可能因识别误差、渲染时机或高亮效果导致视觉定位不准

## 坐标校准建议
- 视觉提示词里要显式要求模型返回两样东西：`目标坐标` 和 `它使用的图像尺寸`
- 如果模型拿不到内部尺寸，先不要盲目换算，默认把它当作原图坐标处理
- 一旦验证出稳定比例（例如本次 `2048x1152 -> 2560x1440`，即 `x1.25` / `y1.25`），同一张屏幕、同一截图链路下通常可继续沿用
- 如果换算后坐标超出屏幕边界，优先怀疑底部任务栏或边缘区域发生裁切，不要直接认定比例错误
- 在桌面图标和任务栏图标上各验证至少 1 个点，比只验证单一位置更稳

## 调用示例
### Python 脚本调用
使用scripts/win11_remote.py脚本完成操作：
```python
# 健康检查
python scripts/win11_remote.py health

# 截图保存到本地
python scripts/win11_remote.py screenshot screen.jpg

# 移动鼠标到(960,540)并左键点击
python scripts/win11_remote.py mouse move 960 540
python scripts/win11_remote.py mouse click left

# 如果模型看到的是缩放后的图，先根据模型图尺寸和原图尺寸计算缩放率，再还原到原始截图坐标
python scripts/win11_remote.py coord restore 480 270 1280 720 2560 1440
python scripts/win11_remote.py mouse move 480 270 scaled 1280 720 2560 1440

# 按Win+R打开运行窗口
python scripts/win11_remote.py keyboard press r win

# 输入文本
python scripts/win11_remote.py keyboard type "你好世界"
```

## 参考文档
详细接口说明见 [references/api.md](references/api.md)

Comments 0

Latest | Hot

Please login before commenting.

Loading comments...

win11-remote-control

Directory Structure

SKILL.md

Report

Notice