本地电脑部署YOLO找图服务器识别

QQ896757558

本地电脑部署YOLO找图服务器识别















https://www.yuque.com/aiwork/nba2pr/cqznidyq69qlitmu

1. // YOLO 找图演示：点心心 → 下滑一个视频 → 点星星 → 下滑 → 循环
   
2. // 电脑端要开着：YOLO 服务(托盘图标)
   
3. // 模板图在电脑 templates/ 文件夹：hongxin.png(心心) shoucang.png(星星) dianzan.png hongbao.png
   
4. 
   
5. var LAN = "http://192.168.10.103:8000";        // ★电脑局域网IP
   
6. var RELAY = "https://7yebr64h.qwenwork.host/"; // 公网兜底(找图模式只用局域网)
   
7. var ROOM = "yolo";
   
8. 
   
9. // ★动作序列：按顺序执行、循环往复。["find","名字"]=找到模板就点；["swipe"]=下滑一个视频
   
10. var 动作序列 = [
    
11.     ["find", "hongxin"],     // 第1步：找到心心(点赞)就点
    
12.     ["swipe"],               // 第2步：下滑一个视频
    
13.     ["find", "shoucang"],    // 第3步：找到星星(收藏)就点
    
14.     ["swipe"]                // 第4步：下滑一个视频
    
15. ];
    
16. 
    
17. // 旧模式备用：动作序列留空 [] 时，LOOK_FOR 里的名字"找到全点"；也空则走 YOLO 识别
    
18. var LOOK_FOR = [];
    
19. var FIND_THR = 0.8;   // 匹配阈值，找不到可降到0.7
    
20. var 间隔毫秒 = 4000;  // 每步间隔(让视频播一会儿)
    
21. var lastResult = 0;
    
22. var 步骤 = 0;
    
23. var http = new okHttp();
    
24. print.log("[YOLO] == 找图演示脚本已启动 ==");
    
25. 
    
26. // 带重试的 POST 表单
    
27. function YOLO_post(url, body) {
    
28.     for (var t = 0; t < 2; t++) {
    
29.         try {
    
30.             var s = http.postForm(url.toString(), body.toString());
    
31.             if (s && ("" + s).charAt(0) === "{") return JSON.parse(s);
    
32.         } catch (e) {}
    
33.         java.lang.Thread.sleep(500);
    
34.     }
    
35.     return null;
    
36. }
    
37. 
    
38. // 带重试的 GET
    
39. function YOLO_get(url) {
    
40.     for (var t = 0; t < 2; t++) {
    
41.         try {
    
42.             var s = http.get(url.toString());
    
43.             if (s && ("" + s).charAt(0) === "{") return JSON.parse(s);
    
44.         } catch (e) {}
    
45.         java.lang.Thread.sleep(500);
    
46.     }
    
47.     return null;
    
48. }
    
49. 
    
50. // ---------- 序列模式：一步一动作 ----------
    
51. function 跑一步() {
    
52.     var st = 动作序列[步骤 % 动作序列.length];
    
53.     if (st[0] === "swipe") {
    
54.         auto.swip(540, 1500, 540, 500, 300, 0);   // 从下往上滑=下一个视频
    
55.         print.log("[序列] 第" + (步骤 + 1) + "步: 下滑一个视频");
    
56.         步骤++;
    
57.         return;
    
58.     }
    
59.     var shot = screen.screenShotFull();
    
60.     if (!shot) { print.log("[YOLO 跳过] 截图失败"); return; }
    
61.     var f = YOLO_post(LAN + "/api/find",
    
62.         ("b64=" + encodeURIComponent(shot.toBase64()) + "&names=" + st[1] + "&thr=" + FIND_THR).toString());
    
63.     if (!f || !f.ok) { print.log("[序列] 网络波动，下轮重试"); return; }
    
64.     var m = (f.matches || [])[0];
    
65.     if (m && m.found) {
    
66.         print.log("[序列] 第" + (步骤 + 1) + "步: 找到 " + m.name + " 置信度" + m.conf + " 中心点(" + m.center[0] + "," + m.center[1] + ")，点击");
    
67.         auto.clickPoint(m.center[0], m.center[1]);
    
68.         步骤++;
    
69.     } else {
    
70.         print.log("[序列] 第" + (步骤 + 1) + "步: 没找到 " + st[1] + "，下轮再找");
    
71.     }
    
72. }
    
73. 
    
74. // ---------- 旧模式：找到全点 / YOLO ----------
    
75. function YOLO_处理(res, 通道) {
    
76.     if (!res) return;
    
77.     print.log("[YOLO-" + 通道 + "] 取回坐标: " + (res.count || 0) + " 个目标");
    
78.     if ((res.count || 0) > 0) {
    
79.         var d = res.detections[0];
    
80.         print.log("[YOLO-" + 通道 + "] 点击 " + d.label + " 中心点(" + d.center[0] + "," + d.center[1] + ")");
    
81.         auto.clickPoint(Math.round(d.center[0] * screen.getScreenWidth() / res.width),
    
82.                         Math.round(d.center[1] * screen.getScreenHeight() / res.height));
    
83.     }
    
84. }
    
85. 
    
86. function 旧模式一轮(b64) {
    
87.     if (LOOK_FOR.length) {
    
88.         var f = YOLO_post(LAN + "/api/find",
    
89.             ("b64=" + encodeURIComponent(b64) + "&names=" + LOOK_FOR.join(",") + "&thr=" + FIND_THR).toString());
    
90.         if (f && f.ok) {
    
91.             for (var k = 0; k < (f.matches || []).length; k++) {
    
92.                 var m = f.matches[k];
    
93.                 if (m.found) {
    
94.                     print.log("[YOLO 找图] 找到 " + m.name + " 置信度" + m.conf + "，点击");
    
95.                     auto.clickPoint(m.center[0], m.center[1]);
    
96.                 }
    
97.             }
    
98.             return;
    
99.         }
    
100.     }
     
101.     var d = YOLO_post(LAN + "/api/detect", ("b64=" + encodeURIComponent(b64)).toString());
     
102.     if (d && d.count !== undefined) { YOLO_处理(d, "局域网"); return; }
     
103.     var r = YOLO_post(RELAY + "put_img", ("room=" + ROOM + "&b64=" + encodeURIComponent(b64)).toString());
     
104.     if (!r || !r.ok) { print.log("[YOLO] 网络波动，本轮跳过"); return; }
     
105.     for (var i = 0; i < 10; i++) {
     
106.         var g = YOLO_get(RELAY + "get_result?room=" + ROOM + "&after=" + lastResult);
     
107.         if (g && g.ok && g.id && g.id !== lastResult) {
     
108.             lastResult = g.id;
     
109.             if (g.id >= r.id) YOLO_处理(g.result || {}, "公网");
     
110.             break;
     
111.         }
     
112.         java.lang.Thread.sleep(300);
     
113.     }
     
114. }
     
115. 
     
116. setInterval(function () {
     
117.     try {
     
118.         if (动作序列.length) { 跑一步(); return; }
     
119.         var shot = screen.screenShotFull();
     
120.         if (!shot) { print.log("[YOLO 跳过] 截图失败"); return; }
     
121.         旧模式一轮(shot.toBase64());
     
122.     } catch (e) { print.log("[YOLO 异常] " + e); }
     
123. }, 间隔毫秒);
     

复制代码