Refine computer_use window diagnostics

This commit is contained in:
Liang Jiaqing committed 2026-06-05 22:21:20 +08:00
1 parent 108fded5a9
commit ff5fa0d167
1 file changed
+1 -1
+1 -1
View File
@@ -8,7 +8,7 @@ L3 memory: ljqCtrl.py ljqCtrl_sop.md ui_detect.py
一旦 UIA 对该窗口无效,立刻改用 ui_detect 定位;
ui_detect 不足时才用 vision,vision 只用于语义理解、确认界面状态和辅助判断目标,不可信其坐标,不要直接按 vision 坐标点击。
Windows 下窗口截图和操作使用 ljqCtrl:严禁 pyautogui;记得先 Activate 到前台;
巨坑DPI:一律使用物理坐标;
坑1-DPI:一律物理坐标;坑2-遮盖/失焦:混乱先枚举窗口确认前台;
ui_detect 的 bbox 是截图内坐标,点击前必须用 `ClientToScreen(hwnd,(0,0))/dpi_scale + bbox中心` 转屏幕物理坐标
坐标转换禁用 `GetWindowRect` 或 DWM 窗口矩形直接加截图坐标(含标题栏/边框/阴影会错位)
ljqCtrl.Click 后会返回像素/前台变化,0% 或近 0% 变化立即停下诊断,禁止盲目重试。