AIWROK软件关闭/点赞场景 YOLOv5 检测示例

QQ896757558

AIWROK软件关闭/点赞场景 YOLOv5 检测示例









https://www.yuque.com/aiwork/nba2pr/cx3tzty1qm0xeg7u

1. // ====== 关闭/点赞场景 YOLOv5 检测示例 ======
   
2. 
   
3. //初始化yolov5
   
4. var yolo = new yoloV5();
   
5. 
   
6. // close模型文件在"资源"目录下，需要用getResPath()获取路径
   
7. var resPath = project.getResourcesPath();
   
8. var label = resPath + "close.txt";
   
9. var param = resPath + "close.param";
   
10. var bin   = resPath + "close.bin";
    
11. 
    
12. printl("模型路径: " + bin);
    
13. 
    
14. //加载模型（GPU优先，无GPU走CPU）
    
15. var model;
    
16. if (yolo.CheckGPU == true) {
    
17.     model = yolo.loadModel(label, param, bin, 4, false); // 4线程, GPU
    
18. } else {
    
19.     model = yolo.loadModel(label, param, bin, 4, true);  // 4线程, CPU
    
20. }
    
21. 
    
22. if (model != null) {
    
23.     printl("close模型加载失败，请检查close.bin/param/txt是否在资源目录中");
    
24. } else {
    
25.     printl("close模型加载成功，标签: 赞 / 收藏");
    
26. 
    
27. //截图（全屏）
    
28. var img = screen.screenShotFull();
    
29. 
    
30. try {
    
31.     //检测，返回JSON字符串
    
32.     var resStr = yolo.detectJson(img, 0.45, 0.55, 640);
    
33.     printl("检测结果: " + resStr);
    
34. 
    
35.     //JSON字符串转数组
    
36.     var res;
    
37.     try {
    
38.         res = JSON.parse(resStr);
    
39.     } catch (e) {
    
40.         printl("JSON解析失败: " + e);
    
41.         res = null;
    
42.     }
    
43. 
    
44.     //解析结果并逐个点击
    
45.     if (res && res.length > 0) {
    
46.         for (var i = 0; i < res.length; i++) {
    
47.             var item = res[i];
    
48.             var name = item["标签"];     // 标签名: "赞" 或 "收藏"
    
49.             var conf = item["精度"];     // 置信度
    
50.             var x = item["X"];           // 检测框中心X
    
51.             var y = item["Y"];           // 检测框中心Y
    
52. 
    
53.             printl("检测到 [" + name + "] 置信度:" + conf + " 坐标:" + x + "," + y);
    
54. 
    
55.             //无碍模式点击：try-catch包裹，失败不影响后续
    
56.             try {
    
57.                 auto.clickPoint(x, y);
    
58.                 printl("点击完成: " + x + "," + y);
    
59.             } catch (e) {
    
60.                 printl("点击异常(已忽略): " + e);
    
61.             }
    
62.             sleep.second(1);
    
63.         }
    
64.     } else {
    
65.         printl("未检测到目标");
    
66.     }
    
67. } finally {
    
68.     //释放截图Mat，防止内存泄漏
    
69.     try { img.recycle(); } catch (e) {}
    
70. }
    
71. 
    
72. }
    
73. 
    
74. //释放模型
    
75. yolo.Close();
    
76. printl("检测完成，已释放模型");
    

复制代码