docs: update mobile computer use notes

This commit is contained in:
Liang Jiaqing committed 2026-06-08 19:39:11 +08:00
1 parent 0107f6c6ce
commit 98cf8ef9d7
3 files changed
+7 -2

No files matched your search

+4 -1
View File
@@ -6,7 +6,7 @@ L3 memory: ljqCtrl.py ljqCtrl_sop.md ui_detect.py
枚举窗口总是可用:GUI任务先用 win32gui 枚举标题/类名/rect,确定目标窗口、前台状态和客户区原点后再操作。
优先使用 Python UIA;若UIA可用,探测和操作均可使用UIA;游戏不使用UIA;
一旦 UIA 对该窗口无效,立刻改用 ui_detect 定位;
ui_detect 不足时才用 vision,vision 只用于语义理解、确认界面状态和辅助判断目标,不可信其坐标,不要直接按 vision 坐标点击。
ui_detect 不足时才用 vision,vision 只用于语义理解、确认界面状态和辅助判断目标,不可信其坐标
Windows 下窗口截图和操作使用 ljqCtrl:严禁 pyautogui;记得先 Activate 到前台;
坑1-DPI:一律物理坐标;坑2-遮盖/失焦:混乱先枚举窗口确认前台;
ui_detect 的 bbox 是截图内坐标,点击前必须用 `ClientToScreen(hwnd,(0,0))/dpi_scale + bbox中心` 转屏幕物理坐标
@@ -20,3 +20,6 @@ ljqCtrl 失效或目标为网络游戏时,必须使用硬件键鼠 Xbananakb /
明确一个操作后,可以在同一轮执行该动作,短暂等待,再立刻枚举窗口 + 截图/ui_detect 验证新状态;不要在未知状态下把多步决策写进大脚本
尽量不要预测关键词筛候选,应看 detect 输出、坐标、层级和上下文判断
若确定UIA可用则少用ui_detect/ljqCtrl;若UIA不可用,则后续不用UIA
临时截图/可视化文件用后清理,或固定文件名覆盖,避免堆积。
ui_detect 可跨端复用;手机端沿用本原则时,UIA 换成 ui dump/adb_ui,ljqCtrl 控制换成 adb