设为首页收藏本站
AIWORK»AIWORK论坛 › AIWORK主页 › AIWORK技术交流 › 解析Kimi返回的拖动距离示例

解析Kimi返回的拖动距离示例

QQ896757558

380

主题

193

回帖

2397

积分

管理员

积分
2397
显示全部楼层
解析Kimi返回的拖动距离示例

2.png

1.png

3.png

  1. // AIWROK 自动化流程：截图B站验证码 → 启动Kimi助手 → 发送截图询问拖动距离 → 采集回答 → 切回B站拖动滑块
  2. // 包名：com.moonshot.kimichat（Kimi AI）
  3. //
  4. // 使用说明：
  5. //   1. 在B站验证码页面运行脚本
  6. //   2. 脚本自动截图并发送给Kimi识别
  7. //   3. 解析Kimi返回的拖动距离，切回B站拖动滑块
  8. //   4. Kimi使用WebView/Compose渲染，XML可能无可用节点，故采用OCR优先+坐标兜底策略

  10. print.log("===== KIMI识别验证码拖动B站流程启动 =====");
  11. print.time();

  13. // ========== 配置区 ==========
  14. var KIMI包名 = "com.moonshot.kimichat";
  15. var B站包名 = "tv.danmaku.bili";
  16. var 截图保存路径 = "/sdcard/验证码截图.png";

  18. var 等待回答超时秒 = 60;
  19. var 回答输出等待秒 = 60;
  20. var 滑块校准系数 = 1.0;

  22. var 提问话术 = "请帮我分析这张图片，告诉我左边的方块需要向右移动多少像素才能和右边的缺口对齐，只输出：距离加数字。";

  24. // ========== 获取设备信息 ==========
  25. var 屏幕宽 = screen.getScreenWidth();
  26. var 屏幕高 = screen.getScreenHeight();
  27. var 验证码滑块距离 = null;
  28. print.log("屏幕尺寸：" + 屏幕宽 + " x " + 屏幕高);
  29. try {
  30.     var 代理状态 = agent.isOpen();
  31.     print.log("代理状态：" + (代理状态 ? "已开启" : "未开启"));
  32. } catch (e) {
  33.     print.log("代理状态检查失败：" + e.message);
  34. }

  36. // ========== 工具函数 ==========

  38. function 获取UI() {
  39.     var xml = agent.getXml();
  40.     return "" + xml;
  41. }

  43. function 字符串长度(s) {
  44.     var str = "" + s;
  45.     return str.length;
  46. }

  48. function 解码HTML实体(s) {
  49.     var str = "" + s;
  50.     str = str.replace(/
/g, "\n");
  51.     str = str.replace(/
/g, "\r");
  52.     str = str.replace(/	/g, "\t");
  53.     str = str.replace(/'/g, "'");
  54.     str = str.replace(/"/g, '"');
  55.     str = str.replace(/"/g, '"');
  56.     str = str.replace(/'/g, "'");
  57.     str = str.replace(/&/g, "&");
  58.     str = str.replace(/&lt;/g, "<");
  59.     str = str.replace(/&gt;/g, ">");
  60.     return str;
  61. }

  63. function 获取当前最后AI回答(xml) {
  64.     var 回答列表 = 采集AI回答列表(xml);
  65.     if (回答列表.length === 0) return "";
  66.    
  67.     print.log("调试：回答列表共" + 回答列表.length + "条：" + 回答列表.join(", "));
  68.    
  69.     var 候选回答 = [];
  70.     for (var i = 0; i < 回答列表.length; i++) {
  71.         var 回答 = 回答列表[i];
  72.         if (回答.indexOf("距离") !== -1 || 回答.indexOf("像素") !== -1) {
  73.             候选回答.push({ text: 回答, len: 回答.length });
  74.         }
  75.     }
  76.    
  77.     if (候选回答.length > 0) {
  78.         候选回答.sort(function(a, b) { return a.len - b.len; });
  79.         print.log("✓ 找到包含距离信息的回答，选择最短的：'" + 候选回答[0].text + "'");
  80.         return 候选回答[0].text;
  81.     }
  82.    
  83.     for (var j = 0; j < 回答列表.length; j++) {
  84.         var 回答2 = 回答列表[j];
  85.         var 数字匹配 = 回答2.match(/\d+/g);
  86.         if (数字匹配 && 数字匹配.length > 0) {
  87.             var 数字 = parseInt(数字匹配[0]);
  88.             if (数字 >= 10 && 数字 <= 500) {
  89.                 print.log("✓ 找到包含合理数字的回答：'" + 回答2 + "'");
  90.                 return 回答2;
  91.             }
  92.         }
  93.     }
  94.    
  95.     return 回答列表[回答列表.length - 1];
  96. }

  98. function OCR识别屏幕区域(xml) {
  99.     try {
  100.         var img = screen.screenShotFull();
  101.         
  102.         var ocrres = img.MLKitOcr('zhs');
  103.         var ocrText = "";
  104.         
  105.         if (ocrres && typeof ocrres.getAllString === 'function') {
  106.             ocrText = "" + ocrres.getAllString();
  107.         } else if (ocrres && typeof ocrres.getJsonString === 'function') {
  108.             var jsonStr = "" + ocrres.getJsonString();
  109.             var textPattern = /"text"\s*:\s*"([^"]+)"/g;
  110.             var match;
  111.             var allText = [];
  112.             while ((match = textPattern.exec(jsonStr)) !== null) {
  113.                 if (match[1] && match[1].length > 0) {
  114.                     allText.push(match[1]);
  115.                 }
  116.             }
  117.             ocrText = allText.join("\n");
  118.         } else {
  119.             var str = "" + ocrres;
  120.             var textPattern2 = /"text"\s*:\s*"([^"]+)"/g;
  121.             var match2;
  122.             var allText2 = [];
  123.             while ((match2 = textPattern2.exec(str)) !== null) {
  124.                 if (match2[1] && match2[1].length > 0) {
  125.                     allText2.push(match2[1]);
  126.                 }
  127.             }
  128.             ocrText = allText2.join("\n");
  129.         }
  130.         
  131.         img.recycle();
  132.         
  133.         if (ocrText && ocrText.length > 0) {
  134.             print.log("✓ MLKitOcr识别成功");
  135.             print.log("--- OCR结果开始 ---");
  136.             print.log(ocrText);
  137.             print.log("--- OCR结果结束 ---");
  138.             return "" + ocrText;
  139.         }
  140.         
  141.         print.log("⚠ MLKitOcr未识别到内容");
  142.         return "";
  143.     } catch (e) {
  144.         print.log("⚠ OCR识别异常：" + e.message);
  145.         return "";
  146.     }
  147. }

  149. function 提取数字(文本) {
  150.     var str = "" + 文本;
  151.     var 精确匹配 = str.match(/距离加(\d+)/);
  152.     if (精确匹配) {
  153.         var num = parseInt(精确匹配[1]);
  154.         if (num >= 30) {
  155.             return "" + num;
  156.         }
  157.     }
  158.     var 备选匹配 = str.match(/距离精[\u51c6\u79ef\u786e]加?(\d+)/);
  159.     if (备选匹配) {
  160.         var num2 = parseInt(备选匹配[1]);
  161.         if (num2 >= 30) {
  162.             return "" + num2;
  163.         }
  164.     }
  165.     var 距离匹配 = str.match(/距离[\uFF0C,\s]*(\d+)/);
  166.     if (距离匹配) {
  167.         var num3 = parseInt(距离匹配[1]);
  168.         if (num3 >= 30) {
  169.             return "" + num3;
  170.         }
  171.     }
  172.     var allMatches = str.match(/\d+/g);
  173.     if (allMatches) {
  174.         var 候选数字 = [];
  175.         for (var i = 0; i < allMatches.length; i++) {
  176.             var n = parseInt(allMatches[i]);
  177.             if (n >= 30 && n < 1000) {
  178.                 候选数字.push(n);
  179.             }
  180.         }
  181.         if (候选数字.length > 0) {
  182.             候选数字.sort(function(a, b) { return b - a; });
  183.             return "" + 候选数字[0];
  184.         }
  185.         var allNums = [];
  186.         for (var j = 0; j < allMatches.length; j++) {
  187.             allNums.push(parseInt(allMatches[j]));
  188.         }
  189.         allNums.sort(function(a, b) { return b - a; });
  190.         return "" + allNums[0];
  191.     }
  192.     return "";
  193. }

  195. function 采集AI回答列表(xml) {
  196.     var xmlStr = "" + xml;
  197.     var 回答列表 = [];

  199.     var textViewPattern = /<node[^>]*?text="([^"]+)"[^>]*?class="android\.widget\.TextView"[^>]*?\/?>/g;
  200.     var tvMatch;
  201.     while ((tvMatch = textViewPattern.exec(xmlStr)) !== null) {
  202.         if (tvMatch[1] && 字符串长度(tvMatch[1]) > 1) {
  203.             var 原始文本 = tvMatch[1];
  204.             var 解码文本 = 解码HTML实体(原始文本);
  205.             
  206.             if (解码文本.includes("给Kimi发消息") ||
  207.                 解码文本.includes("有问题尽管问我") ||
  208.                 解码文本.includes("拍照解题") ||
  209.                 解码文本.includes("深度研究") ||
  210.                 解码文本.includes("OK Computer") ||
  211.                 解码文本.includes("发送") ||
  212.                 解码文本.includes("消息")) {
  213.                 continue;
  214.             }
  215.             
  216.             if (!回答列表.includes(解码文本)) {
  217.                 回答列表.push(解码文本);
  218.                 print.log("✓ 在TextView中找到文本: '" + 解码文本 + "'");
  219.             }
  220.         }
  221.     }

  223.     if (回答列表.length === 0) {
  224.         print.log("⚠ 未找到AI回答节点");
  225.     } else {
  226.         print.log("✓ 采集到" + 回答列表.length + "条AI回答");
  227.     }

  229.     return 回答列表;
  230. }

  232. function 全屏截图(保存路径) {
  233.     try {
  234.         var result = agent.shell("screencap -p " + 保存路径);
  235.         print.log("✓ 截图命令执行：" + result);
  236.         
  237.         var lsResult = agent.shell("ls -la " + 保存路径);
  238.         print.log("✓ 截图文件检查：" + lsResult);
  239.         
  240.         return true;
  241.     } catch (e) {
  242.         print.log("⚠ 截图失败：" + e.message);
  243.         return false;
  244.     }
  245. }

  247. function 判断KIMI打开形式(xml) {
  248.     var xmlStr = "" + xml;
  249.    
  250.     var inputKeywords = ["给Kimi发消息", "有问题尽管问我", "输入消息", "发消息"];
  251.     var hasInput = false;
  252.     for (var i = 0; i < inputKeywords.length; i++) {
  253.         if (xmlStr.indexOf('text="' + inputKeywords[i] + '"') !== -1) {
  254.             hasInput = true;
  255.             break;
  256.         }
  257.     }
  258.    
  259.     var plusKeywords = ["加号", "附件", "图片", "相册"];
  260.     var hasPlus = false;
  261.     for (var j = 0; j < plusKeywords.length; j++) {
  262.         if (xmlStr.indexOf('text="' + plusKeywords[j] + '"') !== -1 ||
  263.             xmlStr.indexOf('content-desc="' + plusKeywords[j] + '"') !== -1) {
  264.             hasPlus = true;
  265.             break;
  266.         }
  267.     }
  268.    
  269.     if (hasInput || hasPlus) {
  270.         print.log("✓ Kimi APP打开形式：对话页面");
  271.         return "对话页";
  272.     }
  273.    
  274.     print.log("⚠ Kimi APP打开形式：未知页面");
  275.     return "未知";
  276. }

  278. function 开启新对话(xml) {
  279.     var xmlStr = "" + xml;
  280.    
  281.     var newChatIdx = xmlStr.indexOf('content-desc="开启新会话"');
  282.     if (newChatIdx !== -1) {
  283.         var 段 = xmlStr.substring(newChatIdx);
  284.         var m = 段.match(/bounds="\[(\d+),(\d+)\]\[(\d+),(\d+)\]"/);
  285.         if (m) {
  286.             var x = (parseInt(m[1]) + parseInt(m[3])) / 2;
  287.             var y = (parseInt(m[2]) + parseInt(m[4])) / 2;
  288.             agent.click(x, y);
  289.             print.log("✓ 已点击开启新对话按钮，content-desc=开启新会话，坐标(" + Math.round(x) + "," + Math.round(y) + ")");
  290.             sleep.second(秒 = 3);
  291.             return true;
  292.         }
  293.     }
  294.    
  295.     var rightButtonPattern = /<node[^>]*?clickable="true"[^>]*?bounds="\[(\d+),(\d+)\]\[(\d+),(\d+)\]"/g;
  296.     var rbMatch;
  297.     var 右上角按钮 = [];
  298.     while ((rbMatch = rightButtonPattern.exec(xmlStr)) !== null) {
  299.         var bx1 = parseInt(rbMatch[1]);
  300.         var by1 = parseInt(rbMatch[2]);
  301.         if (bx1 > 屏幕宽 * 0.85 && by1 > 100 && by1 < 400) {
  302.             右上角按钮.push({ x: (bx1 + parseInt(rbMatch[3])) / 2, y: (by1 + parseInt(rbMatch[4])) / 2 });
  303.         }
  304.     }
  305.    
  306.     if (右上角按钮.length > 0) {
  307.         右上角按钮.sort(function(a, b) { return a.x - b.x; });
  308.         var 最右边按钮 = 右上角按钮[右上角按钮.length - 1];
  309.         agent.click(最右边按钮.x, 最右边按钮.y);
  310.         print.log("✓ 已点击右上角按钮开启新对话，坐标(" + Math.round(最右边按钮.x) + "," + Math.round(最右边按钮.y) + ")");
  311.         sleep.second(秒 = 3);
  312.         return true;
  313.     }
  314.    
  315.     print.log("⚠ 未找到开启新对话按钮，使用坐标兜底（右上角）");
  316.     var 兜底X = 屏幕宽 * 0.96;
  317.     var 兜底Y = 屏幕高 * 0.06;
  318.     agent.click(兜底X, 兜底Y);
  319.     print.log("✓ 已点击右上角兜底位置开启新对话，坐标(" + Math.round(兜底X) + "," + Math.round(兜底Y) + ")");
  320.     sleep.second(秒 = 3);
  321.     return true;
  322. }

  324. function 查找输入框中心(xml) {
  325.     var xmlStr = "" + xml;
  326.    
  327.     var inputKeywords = ["有问题尽管问我...", "给Kimi发消息", "输入消息", "发消息", "接着问"];
  328.     for (var i = 0; i < inputKeywords.length; i++) {
  329.         var kw = inputKeywords[i];
  330.         var inputIdx = xmlStr.indexOf('text="' + kw + '"');
  331.         if (inputIdx !== -1) {
  332.             var 段 = xmlStr.substring(inputIdx);
  333.             var m = 段.match(/bounds="\[(\d+),(\d+)\]\[(\d+),(\d+)\]"/);
  334.             if (m) {
  335.                 var x1 = parseInt(m[1]);
  336.                 var y1 = parseInt(m[2]);
  337.                 var x2 = parseInt(m[3]);
  338.                 var y2 = parseInt(m[4]);
  339.                 print.log("✓ 输入框定位：text=" + kw + "，bounds=[" + x1 + "," + y1 + "][" + x2 + "," + y2 + "]");
  340.                 return {
  341.                     x: (x1 + x2) / 2,
  342.                     y: (y1 + y2) / 2
  343.                 };
  344.             }
  345.         }
  346.     }

  348.     var editTextIdx = xmlStr.indexOf('class="android.widget.EditText"');
  349.     if (editTextIdx !== -1) {
  350.         var 段2 = xmlStr.substring(editTextIdx);
  351.         var m2 = 段2.match(/bounds="\[(\d+),(\d+)\]\[(\d+),(\d+)\]"/);
  352.         if (m2) {
  353.             var x1 = parseInt(m2[1]);
  354.             var y1 = parseInt(m2[2]);
  355.             var x2 = parseInt(m2[3]);
  356.             var y2 = parseInt(m2[4]);
  357.             print.log("✓ 输入框定位（EditText）：bounds=[" + x1 + "," + y1 + "][" + x2 + "," + y2 + "]");
  358.             return {
  359.                 x: (x1 + x2) / 2,
  360.                 y: (y1 + y2) / 2
  361.             };
  362.         }
  363.     }

  365.     var viewFactoryHolderIdx = xmlStr.indexOf('class="androidx.compose.ui.viewinterop.ViewFactoryHolder"');
  366.     if (viewFactoryHolderIdx !== -1) {
  367.         var 段3 = xmlStr.substring(viewFactoryHolderIdx);
  368.         var m3 = 段3.match(/bounds="\[(\d+),(\d+)\]\[(\d+),(\d+)\]"/);
  369.         if (m3) {
  370.             var x1 = parseInt(m3[1]);
  371.             var y1 = parseInt(m3[2]);
  372.             var x2 = parseInt(m3[3]);
  373.             var y2 = parseInt(m3[4]);
  374.             print.log("✓ 输入框定位（ViewFactoryHolder）：bounds=[" + x1 + "," + y1 + "][" + x2 + "," + y2 + "]");
  375.             return {
  376.                 x: (x1 + x2) / 2,
  377.                 y: (y1 + y2) / 2
  378.             };
  379.         }
  380.     }

  382.     print.log("⚠ 未找到输入框，使用坐标兜底（屏幕下方区域）");
  383.     return {
  384.         x: 屏幕宽 * 0.35,
  385.         y: 屏幕高 * 0.55
  386.     };
  387. }

  389. function 查找加号按钮(xml) {
  390.     var xmlStr = "" + xml;
  391.    
  392.     var plusDescIdx = xmlStr.indexOf('content-desc="更多输入方式"');
  393.     if (plusDescIdx !== -1) {
  394.         var 段 = xmlStr.substring(plusDescIdx);
  395.         var m = 段.match(/bounds="\[(\d+),(\d+)\]\[(\d+),(\d+)\]"/);
  396.         if (m) {
  397.             var x1 = parseInt(m[1]);
  398.             var y1 = parseInt(m[2]);
  399.             var x2 = parseInt(m[3]);
  400.             var y2 = parseInt(m[4]);
  401.             var centerX = (x1 + x2) / 2;
  402.             var centerY = (y1 + y2) / 2;
  403.             print.log("✓ 加号按钮定位：content-desc=更多输入方式，坐标(" + Math.round(centerX) + "," + Math.round(centerY) + ")");
  404.             return { x: centerX, y: centerY };
  405.         }
  406.     }

  408.     var inputIdx = xmlStr.indexOf('text="有问题尽管问我..."');
  409.     if (inputIdx === -1) {
  410.         inputIdx = xmlStr.indexOf('text="给Kimi发消息"');
  411.     }
  412.     if (inputIdx === -1) {
  413.         inputIdx = xmlStr.indexOf('text="有问题尽管问我"');
  414.     }
  415.    
  416.     if (inputIdx !== -1) {
  417.         var 输入框段 = xmlStr.substring(inputIdx);
  418.         var 输入框边界 = 输入框段.match(/bounds="\[(\d+),(\d+)\]\[(\d+),(\d+)\]"/);
  419.         if (输入框边界) {
  420.             var 输入框X2 = parseInt(输入框边界[3]);
  421.             var 输入框Y = parseInt(输入框边界[2]);
  422.             var 输入框底部Y = parseInt(输入框边界[4]);
  423.             var 输入框中心Y = (输入框Y + 输入框底部Y) / 2;
  424.             
  425.             var clickablePattern = /<node[^>]*?clickable="true"[^>]*?bounds="\[(\d+),(\d+)\]\[(\d+),(\d+)\]"/g;
  426.             var clickMatch;
  427.             var 候选按钮 = [];
  428.             
  429.             while ((clickMatch = clickablePattern.exec(xmlStr)) !== null) {
  430.                 var bx1 = parseInt(clickMatch[1]);
  431.                 var by1 = parseInt(clickMatch[2]);
  432.                 var bx2 = parseInt(clickMatch[3]);
  433.                 var by2 = parseInt(clickMatch[4]);
  434.                
  435.                 if (by1 >= 输入框中心Y - 100 && by2 <= 输入框中心Y + 200 && bx1 > 输入框X2 - 50) {
  436.                     候选按钮.push({ x: (bx1 + bx2) / 2, y: (by1 + by2) / 2 });
  437.                 }
  438.             }
  439.             
  440.             if (候选按钮.length > 0) {
  441.                 候选按钮.sort(function(a, b) { return a.x - b.x; });
  442.                 print.log("✓ 加号按钮定位：输入框右侧clickable元素，坐标(" + Math.round(候选按钮[0].x) + "," + Math.round(候选按钮[0].y) + ")");
  443.                 return 候选按钮[0];
  444.             }
  445.         }
  446.     }

  448.     print.log("⚠ 加号按钮使用坐标兜底（输入框右侧）");
  449.     var 输入框 = 查找输入框中心(xml);
  450.     return {
  451.         x: 屏幕宽 * 0.92,
  452.         y: 输入框.y
  453.     };
  454. }

  456. function 查找相册按钮(xml) {
  457.     var xmlStr = "" + xml;
  458.    
  459.     var clickablePattern = /<node[^>]*?clickable="true"[^>]*?bounds="\[(\d+),(\d+)\]\[(\d+),(\d+)\]"/g;
  460.     var clickMatch;
  461.     var 候选按钮 = [];
  462.    
  463.     while ((clickMatch = clickablePattern.exec(xmlStr)) !== null) {
  464.         var bx1 = parseInt(clickMatch[1]);
  465.         var by1 = parseInt(clickMatch[2]);
  466.         var bx2 = parseInt(clickMatch[3]);
  467.         var by2 = parseInt(clickMatch[4]);
  468.         
  469.         var 节点段 = xmlStr.substring(xmlStr.indexOf(clickMatch[0]));
  470.         var 节点结束 = 节点段.indexOf('</node>');
  471.         if (节点结束 !== -1) {
  472.             var 子节点内容 = 节点段.substring(0, 节点结束);
  473.             if (子节点内容.indexOf('text="相册"') !== -1 ||
  474.                 子节点内容.indexOf('content-desc="相册"') !== -1) {
  475.                 var centerX = (bx1 + bx2) / 2;
  476.                 var centerY = (by1 + by2) / 2;
  477.                 print.log("✓ 相册按钮定位：clickable父节点包含相册，bounds=[" + bx1 + "," + by1 + "][" + bx2 + "," + by2 + "]，坐标(" + Math.round(centerX) + "," + Math.round(centerY) + ")");
  478.                 return { x: centerX, y: centerY };
  479.             }
  480.         }
  481.     }
  482.    
  483.     var albumDescIdx = xmlStr.indexOf('content-desc="相册"');
  484.     if (albumDescIdx !== -1) {
  485.         var 段 = xmlStr.substring(albumDescIdx);
  486.         var m = 段.match(/bounds="\[(\d+),(\d+)\]\[(\d+),(\d+)\]"/);
  487.         if (m) {
  488.             var x1 = parseInt(m[1]);
  489.             var y1 = parseInt(m[2]);
  490.             var x2 = parseInt(m[3]);
  491.             var y2 = parseInt(m[4]);
  492.             var centerX = (x1 + x2) / 2;
  493.             var centerY = (y1 + y2) / 2;
  494.             print.log("✓ 相册按钮定位：content-desc=相册，bounds=[" + x1 + "," + y1 + "][" + x2 + "," + y2 + "]，坐标(" + Math.round(centerX) + "," + Math.round(centerY) + ")");
  495.             return { x: centerX, y: centerY };
  496.         }
  497.     }
  498.    
  499.     var albumKeywords = ["相册", "图片", "照片"];
  500.     for (var i = 0; i < albumKeywords.length; i++) {
  501.         var kw = albumKeywords[i];
  502.         var albumIdx = xmlStr.indexOf('text="' + kw + '"');
  503.         if (albumIdx !== -1) {
  504.             var 段 = xmlStr.substring(albumIdx);
  505.             var m = 段.match(/bounds="\[(\d+),(\d+)\]\[(\d+),(\d+)\]"/);
  506.             if (m) {
  507.                 var x1 = parseInt(m[1]);
  508.                 var y1 = parseInt(m[2]);
  509.                 var x2 = parseInt(m[3]);
  510.                 var y2 = parseInt(m[4]);
  511.                 var centerX = (x1 + x2) / 2;
  512.                 var centerY = (y1 + y2) / 2;
  513.                 print.log("✓ 相册按钮定位：text=" + kw + "，bounds=[" + x1 + "," + y1 + "][" + x2 + "," + y2 + "]，坐标(" + Math.round(centerX) + "," + Math.round(centerY) + ")");
  514.                 return { x: centerX, y: centerY };
  515.             }
  516.         }
  517.     }

  519.     print.log("⚠ 相册按钮使用坐标兜底（底部中间）");
  520.     return {
  521.         x: 屏幕宽 * 0.5,
  522.         y: 屏幕高 * 0.88
  523.     };
  524. }

  526. function 查找相册选项(xml) {
  527.     var xmlStr = "" + xml;
  528.    
  529.     var text关键词 = ["相册", "图片", "照片", "所有照片", "从相册选择", "选择图片"];
  530.     for (var i = 0; i < text关键词.length; i++) {
  531.         var kw = text关键词[i];
  532.         var idx = xmlStr.indexOf('text="' + kw + '"');
  533.         if (idx !== -1) {
  534.             var 段 = xmlStr.substring(idx);
  535.             var m = 段.match(/bounds="\[(\d+),(\d+)\]\[(\d+),(\d+)\]"/);
  536.             if (m) {
  537.                 print.log("✓ 相册选项定位：text=" + kw);
  538.                 return {
  539.                     x: (parseInt(m[1]) + parseInt(m[3])) / 2,
  540.                     y: (parseInt(m[2]) + parseInt(m[4])) / 2
  541.                 };
  542.             }
  543.         }
  544.     }

  546.     var desc关键词 = ["相册", "图片", "照片"];
  547.     for (var j = 0; j < desc关键词.length; j++) {
  548.         var kw2 = desc关键词[j];
  549.         var idx2 = xmlStr.indexOf('content-desc="' + kw2 + '"');
  550.         if (idx2 !== -1) {
  551.             var 段2 = xmlStr.substring(idx2);
  552.             var m2 = 段2.match(/bounds="\[(\d+),(\d+)\]\[(\d+),(\d+)\]"/);
  553.             if (m2) {
  554.                 print.log("✓ 相册选项定位：content-desc=" + kw2);
  555.                 return {
  556.                     x: (parseInt(m2[1]) + parseInt(m2[3])) / 2,
  557.                     y: (parseInt(m2[2]) + parseInt(m2[4])) / 2
  558.                 };
  559.             }
  560.         }
  561.     }
  562.    
  563.     return null;
  564. }

  566. function 粘贴文本(文本) {
  567.     try {
  568.         Clipboard.copy("" + 文本);
  569.     } catch (e) {
  570.         print.log("⚠ Clipboard.copy 失败：" + e.message);
  571.     }
  572.     sleep.millisecond(毫秒 = 300);

  574.     try {
  575.         agent.shell("service call clipboard 3 i32 1 s16 '" + 文本 + "' i32 0");
  576.     } catch (e2) {
  577.         // 忽略错误
  578.     }
  579.     sleep.millisecond(毫秒 = 300);

  581.     agent.shell("input keyevent 279");
  582.     sleep.millisecond(毫秒 = 500);
  583.    
  584.     try {
  585.         agent.shell("input text '" + 文本 + "'");
  586.         print.log("✓ 已通过input text直接输入文本");
  587.     } catch (e3) {
  588.         print.log("⚠ input text失败：" + e3.message);
  589.     }
  590.    
  591.     sleep.second(秒 = 1);
  592.     print.log("✓ 已粘贴文本：" + 文本);
  593. }

  595. function 是否在系统相册页面(xml) {
  596.     var xmlStr = "" + xml;
  597.    
  598.     var packageMatch = xmlStr.match(/package="([^"]+)"/);
  599.     var 当前包名 = packageMatch ? packageMatch[1] : "";
  600.    
  601.     if (当前包名 && 当前包名 !== KIMI包名) {
  602.         print.log("✓ 检测到系统相册页面，包名：" + 当前包名);
  603.         return true;
  604.     }
  605.    
  606.     return false;
  607. }

  609. function 是否在图片预览页面(xml) {
  610.     var xmlStr = "" + xml;
  611.     if (xmlStr.indexOf('text="完成"') !== -1 || xmlStr.indexOf('text="发送"') !== -1) {
  612.         return true;
  613.     }
  614.     if (xmlStr.indexOf('content-desc="完成"') !== -1 || xmlStr.indexOf('content-desc="发送"') !== -1) {
  615.         return true;
  616.     }
  617.     return false;
  618. }

  620. function 查找图片预览确认按钮(xml) {
  621.     var xmlStr = "" + xml;
  622.    
  623.     var 关键词 = ["完成", "发送", "确认"];
  624.     for (var i = 0; i < 关键词.length; i++) {
  625.         var kw = 关键词[i];
  626.         var textIdx = xmlStr.indexOf('text="' + kw + '"');
  627.         if (textIdx !== -1) {
  628.             var 段 = xmlStr.substring(textIdx);
  629.             var m = 段.match(/bounds="\[(\d+),(\d+)\]\[(\d+),(\d+)\]"/);
  630.             if (m) {
  631.                 var x = (parseInt(m[1]) + parseInt(m[3])) / 2;
  632.                 var y = (parseInt(m[2]) + parseInt(m[4])) / 2;
  633.                 print.log("✓ 图片预览确认按钮定位：text=" + kw + "，坐标(" + Math.round(x) + "," + Math.round(y) + ")");
  634.                 return { x: x, y: y };
  635.             }
  636.         }
  637.     }
  638.    
  639.     for (var j = 0; j < 关键词.length; j++) {
  640.         var kw2 = 关键词[j];
  641.         var descIdx = xmlStr.indexOf('content-desc="' + kw2 + '"');
  642.         if (descIdx !== -1) {
  643.             var 段2 = xmlStr.substring(descIdx);
  644.             var m2 = 段2.match(/bounds="\[(\d+),(\d+)\]\[(\d+),(\d+)\]"/);
  645.             if (m2) {
  646.                 var x = (parseInt(m2[1]) + parseInt(m2[3])) / 2;
  647.                 var y = (parseInt(m2[2]) + parseInt(m2[4])) / 2;
  648.                 print.log("✓ 图片预览确认按钮定位：content-desc=" + kw2 + "，坐标(" + Math.round(x) + "," + Math.round(y) + ")");
  649.                 return { x: x, y: y };
  650.             }
  651.         }
  652.     }
  653.    
  654.     print.log("⚠ 图片预览确认按钮使用坐标兜底（底部中间）");
  655.     return { x: 屏幕宽 * 0.5, y: 屏幕高 * 0.92 };
  656. }

  658. function 查找相册选择按钮(xml) {
  659.     var xmlStr = "" + xml;
  660.    
  661.     var 关键词列表 = ["选择", "完成", "确认", "发送", "确定"];
  662.     for (var i = 0; i < 关键词列表.length; i++) {
  663.         var kw = 关键词列表[i];
  664.         
  665.         var textPattern = new RegExp('text="' + kw + '[^"]*"[^>]*?bounds="\\[(\\d+),(\\d+)\\]\\[(\\d+),(\\d+)\\]"', 'gi');
  666.         var textMatch = textPattern.exec(xmlStr);
  667.         if (textMatch) {
  668.             var x = (parseInt(textMatch[1]) + parseInt(textMatch[3])) / 2;
  669.             var y = (parseInt(textMatch[2]) + parseInt(textMatch[4])) / 2;
  670.             print.log("✓ 相册选择按钮定位：text=" + kw + "，坐标(" + Math.round(x) + "," + Math.round(y) + ")");
  671.             return { x: x, y: y };
  672.         }
  673.         
  674.         var descIdx = xmlStr.indexOf('content-desc="' + kw + '"');
  675.         if (descIdx !== -1) {
  676.             var 段2 = xmlStr.substring(descIdx);
  677.             var m2 = 段2.match(/bounds="\[(\d+),(\d+)\]\[(\d+),(\d+)\]"/);
  678.             if (m2) {
  679.                 var x = (parseInt(m2[1]) + parseInt(m2[3])) / 2;
  680.                 var y = (parseInt(m2[2]) + parseInt(m2[4])) / 2;
  681.                 print.log("✓ 相册选择按钮定位：content-desc=" + kw + "，坐标(" + Math.round(x) + "," + Math.round(y) + ")");
  682.                 return { x: x, y: y };
  683.             }
  684.         }
  685.     }
  686.    
  687.     var bottomButtonPattern = /<node[^>]*?clickable="true"[^>]*?bounds="\[(\d+),(\d+)\]\[(\d+),(\d+)\]"/g;
  688.     var bottomMatch;
  689.     var 底部按钮列表 = [];
  690.     while ((bottomMatch = bottomButtonPattern.exec(xmlStr)) !== null) {
  691.         var bx1 = parseInt(bottomMatch[1]);
  692.         var by1 = parseInt(bottomMatch[2]);
  693.         var bx2 = parseInt(bottomMatch[3]);
  694.         var by2 = parseInt(bottomMatch[4]);
  695.         if (by1 >= 屏幕高 * 0.85) {
  696.             底部按钮列表.push({ x: (bx1 + bx2) / 2, y: (by1 + by2) / 2 });
  697.         }
  698.     }
  699.    
  700.     if (底部按钮列表.length > 0) {
  701.         底部按钮列表.sort(function(a, b) { return b.x - a.x; });
  702.         var 最右边按钮 = 底部按钮列表[0];
  703.         print.log("✓ 相册选择按钮定位：底部最右边按钮，坐标(" + Math.round(最右边按钮.x) + "," + Math.round(最右边按钮.y) + ")");
  704.         return { x: 最右边按钮.x, y: 最右边按钮.y };
  705.     }
  706.    
  707.     print.log("⚠ 相册选择按钮使用坐标兜底（底部）");
  708.     return { x: 屏幕宽 * 0.78, y: 屏幕高 * 0.92 };
  709. }

  711. function 查找第一张图片(xml) {
  712.     var xmlStr = "" + xml;
  713.    
  714.     if (是否在系统相册页面(xmlStr)) {
  715.         agent.shell("echo '" + xmlStr.substring(0, 5000) + "' > /sdcard/相册UI_dump.xml");
  716.         print.log("✓ 已保存相册UI XML到/sdcard/相册UI_dump.xml");
  717.         
  718.         var nafPattern = /<node[^>]*?NAF="true"[^>]*?clickable="true"[^>]*?bounds="\[(\d+),(\d+)\]\[(\d+),(\d+)\]"/g;
  719.         var nafMatch;
  720.         var NAF小圆点列表 = [];
  721.         
  722.         while ((nafMatch = nafPattern.exec(xmlStr)) !== null) {
  723.             var nx1 = parseInt(nafMatch[1]);
  724.             var ny1 = parseInt(nafMatch[2]);
  725.             var nx2 = parseInt(nafMatch[3]);
  726.             var ny2 = parseInt(nafMatch[4]);
  727.             var nw = nx2 - nx1;
  728.             var nh = ny2 - ny1;
  729.             
  730.             if (nw >= 50 && nw <= 300 && nh >= 50 && nh <= 300) {
  731.                 if (ny1 >= 400 && ny2 <= 屏幕高 - 400) {
  732.                     NAF小圆点列表.push({ x1: nx1, y1: ny1, x2: nx2, y2: ny2, x: (nx1 + nx2) / 2, y: (ny1 + ny2) / 2 });
  733.                 }
  734.             }
  735.         }
  736.         
  737.         if (NAF小圆点列表.length > 0) {
  738.             NAF小圆点列表.sort(function(a, b) {
  739.                 if (a.y1 !== b.y1) return a.y1 - b.y1;
  740.                 return a.x1 - b.x1;
  741.             });
  742.             var 选中小圆点 = NAF小圆点列表[0];
  743.             print.log("✓ ComposeView找到NAF小圆点选择框：坐标(" + Math.round(选中小圆点.x) + "," + Math.round(选中小圆点.y) + ")，bounds=[" + 选中小圆点.x1 + "," + 选中小圆点.y1 + "][" + 选中小圆点.x2 + "," + 选中小圆点.y2 + "]");
  744.             return { x: 选中小圆点.x, y: 选中小圆点.y };
  745.         }
  746.         
  747.         var imageDescPattern = /<node[^>]*?content-desc="([^"]+\.(png|jpg|jpeg|gif))"[^>]*?class="android\.view\.View"[^>]*?bounds="\[(\d+),(\d+)\]\[(\d+),(\d+)\]"/gi;
  748.         var imgMatch;
  749.         var 图片节点列表 = [];
  750.         
  751.         while ((imgMatch = imageDescPattern.exec(xmlStr)) !== null) {
  752.             var 文件名 = imgMatch[1];
  753.             var ix1 = parseInt(imgMatch[3]);
  754.             var iy1 = parseInt(imgMatch[4]);
  755.             var ix2 = parseInt(imgMatch[5]);
  756.             var iy2 = parseInt(imgMatch[6]);
  757.             var iw = ix2 - ix1;
  758.             var ih = iy2 - iy1;
  759.             
  760.             if (iw >= 100 && ih >= 100) {
  761.                 图片节点列表.push({ 文件名: 文件名, x1: ix1, y1: iy1, x2: ix2, y2: iy2, w: iw, h: ih });
  762.             }
  763.         }
  764.         
  765.         if (图片节点列表.length > 0) {
  766.             图片节点列表.sort(function(a, b) {
  767.                 if (a.y1 !== b.y1) return a.y1 - b.y1;
  768.                 return a.x1 - b.x1;
  769.             });
  770.             var 第一张图片 = 图片节点列表[0];
  771.             print.log("✓ 找到图片：" + 第一张图片.文件名 + "，bounds=[" + 第一张图片.x1 + "," + 第一张图片.y1 + "][" + 第一张图片.x2 + "," + 第一张图片.y2 + "]");
  772.             
  773.             var 选择框X = 第一张图片.x1 + 第一张图片.w * 0.77;
  774.             var 选择框Y = 第一张图片.y1 + 第一张图片.h * 0.24;
  775.             print.log("✓ 计算小圆点选择框坐标：(" + Math.round(选择框X) + "," + Math.round(选择框Y) + ")");
  776.             return { x: 选择框X, y: 选择框Y };
  777.         }
  778.         
  779.         var clickableViewPattern = /<node[^>]*?clickable="true"[^>]*?bounds="\[(\d+),(\d+)\]\[(\d+),(\d+)\]"/g;
  780.         var clickMatch;
  781.         var 可点击区域 = [];
  782.         while ((clickMatch = clickableViewPattern.exec(xmlStr)) !== null) {
  783.             var cx1 = parseInt(clickMatch[1]);
  784.             var cy1 = parseInt(clickMatch[2]);
  785.             var cx2 = parseInt(clickMatch[3]);
  786.             var cy2 = parseInt(clickMatch[4]);
  787.             var cw = cx2 - cx1;
  788.             var ch = cy2 - cy1;
  789.             可点击区域.push({ x1: cx1, y1: cy1, x2: cx2, y2: cy2, w: cw, h: ch, x: (cx1 + cx2) / 2, y: (cy1 + cy2) / 2 });
  790.         }
  791.         
  792.         var 图片区域内可点击 = [];
  793.         for (var k = 0; k < 可点击区域.length; k++) {
  794.             var item = 可点击区域[k];
  795.             if (item.y >= 400 && item.y <= 屏幕高 - 400) {
  796.                 图片区域内可点击.push(item);
  797.             }
  798.         }
  799.         
  800.         if (图片区域内可点击.length > 0) {
  801.             图片区域内可点击.sort(function(a, b) {
  802.                 if (a.y !== b.y) return a.y - b.y;
  803.                 return a.x - b.x;
  804.             });
  805.             var 第一个可点击 = 图片区域内可点击[0];
  806.             print.log("✓ ComposeView图片区域内第一个可点击元素：坐标(" + Math.round(第一个可点击.x) + "," + Math.round(第一个可点击.y) + ")");
  807.             return { x: 第一个可点击.x, y: 第一个可点击.y };
  808.         }

  810.         print.log("⚠ 系统相册未找到图片，使用坐标兜底");
  811.         return { x: 屏幕宽 * 0.25, y: 屏幕高 * 0.3 };
  812.     }

  814.     print.log("⚠ 未找到图片，使用坐标兜底（底部第一行第一列）");
  815.     return { x: 屏幕宽 * 0.15, y: 屏幕高 * 0.85 };
  816. }

  818. function 查找发送按钮中心(xml) {
  819.     var xmlStr = "" + xml;

  821.     try {
  822.         var detects = opencv.findImagesEx('图色168638.cv');
  823.         if (detects != null && detects.length > 0) {
  824.             print.log("✓ 发送按钮定位：图色匹配");
  825.             var dStr = "" + detects[0];
  826.             print.log("图色匹配结果：" + dStr);
  827.             var m = dStr.match(/矩形区域:([\d.]+),\s*([\d.]+),\s*([\d.]+),\s*([\d.]+)/);
  828.             if (m) {
  829.                 var left = parseFloat(m[1]);
  830.                 var top = parseFloat(m[2]);
  831.                 var right = parseFloat(m[3]);
  832.                 var bottom = parseFloat(m[4]);
  833.                 var centerX = (left + right) / 2;
  834.                 var centerY = (top + bottom) / 2;
  835.                 print.log("图色匹配百分比坐标：left=" + left + ", top=" + top + ", right=" + right + ", bottom=" + bottom);
  836.                 print.log("计算点击百分比：(" + centerX + "," + centerY + ")");
  837.                 agent.clickPercent(centerX, centerY);
  838.                 print.log("✓ 已点击发送按钮（图色）");
  839.                 return null;
  840.             }
  841.             print.log("⚠ 图色匹配结果格式解析失败");
  842.         }
  843.     } catch (e) {
  844.         print.log("⚠ 图色匹配失败：" + e.message);
  845.     }

  847.     var inputKeywords = ["给Kimi发消息", "有问题尽管问我"];
  848.     var inputIdx = -1;
  849.     for (var k = 0; k < inputKeywords.length; k++) {
  850.         inputIdx = xmlStr.indexOf('text="' + inputKeywords[k] + '"');
  851.         if (inputIdx !== -1) break;
  852.     }
  853.    
  854.     if (inputIdx !== -1) {
  855.         var 输入框段 = xmlStr.substring(inputIdx);
  856.         var 输入框边界 = 输入框段.match(/bounds="\[(\d+),(\d+)\]\[(\d+),(\d+)\]"/);
  857.         
  858.         if (输入框边界) {
  859.             var 输入框信息 = {
  860.                 x1: parseInt(输入框边界[1]),
  861.                 y1: parseInt(输入框边界[2]),
  862.                 x2: parseInt(输入框边界[3]),
  863.                 y2: parseInt(输入框边界[4]),
  864.                 centerY: (parseInt(输入框边界[2]) + parseInt(输入框边界[4])) / 2
  865.             };

  867.             var clickablePattern = /<node[^>]*?clickable="true"[^>]*?bounds="\[(\d+),(\d+)\]\[(\d+),(\d+)\]"[^>]*?\/?>/g;
  868.             var clickMatch;
  869.             var candidates = [];

  871.             while ((clickMatch = clickablePattern.exec(xmlStr)) !== null) {
  872.                 var cx1 = parseInt(clickMatch[1]);
  873.                 var cy1 = parseInt(clickMatch[2]);
  874.                 var cx2 = parseInt(clickMatch[3]);
  875.                 var cy2 = parseInt(clickMatch[4]);
  876.                 var cw = cx2 - cx1;
  877.                 var ch = cy2 - cy1;

  879.                 var 是小按钮 = (cw < 300 && ch < 300);
  880.                 var 在输入框右侧 = (cx1 > 输入框信息.x2 - 100);
  881.                 var 在输入框水平行 = (cy1 >= 输入框信息.y1 - 100 && cy1 <= 输入框信息.y2 + 100);

  883.                 if (是小按钮 && 在输入框右侧 && 在输入框水平行) {
  884.                     candidates.push({
  885.                         x1: cx1, y1: cy1, x2: cx2, y2: cy2,
  886.                         x: (cx1 + cx2) / 2,
  887.                         y: (cy1 + cy2) / 2
  888.                     });
  889.                 }
  890.             }

  892.             if (candidates.length > 0) {
  893.                 candidates.sort(function(a, b) {
  894.                     return b.x1 - a.x1;
  895.                 });
  896.                 var 选中 = candidates[0];
  897.                 print.log("✓ 发送按钮定位：输入框右侧clickable元素，坐标(" + Math.round(选中.x) + "," + Math.round(选中.y) + ")");
  898.                 return { x: 选中.x, y: 选中.y };
  899.             }

  901.             var 预估X = 输入框信息.x2 + 100;
  902.             var 预估Y = 输入框信息.centerY;
  903.             print.log("⚠ 发送按钮使用输入框右侧坐标兜底(" + Math.round(预估X) + "," + Math.round(预估Y) + ")");
  904.             return { x: 预估X, y: 预估Y };
  905.         }
  906.     }

  908.     var sendTextIdx = xmlStr.indexOf('text="发送"');
  909.     if (sendTextIdx !== -1) {
  910.         var 段 = xmlStr.substring(sendTextIdx);
  911.         var m = 段.match(/bounds="\[(\d+),(\d+)\]\[(\d+),(\d+)\]"/);
  912.         if (m) {
  913.             print.log("✓ 发送按钮定位：文本匹配");
  914.             return {
  915.                 x: (parseInt(m[1]) + parseInt(m[3])) / 2,
  916.                 y: (parseInt(m[2]) + parseInt(m[4])) / 2
  917.             };
  918.         }
  919.     }

  921.     var sendDescIdx = xmlStr.indexOf('content-desc="发送"');
  922.     if (sendDescIdx !== -1) {
  923.         var 段2 = xmlStr.substring(sendDescIdx);
  924.         var m2 = 段2.match(/bounds="\[(\d+),(\d+)\]\[(\d+),(\d+)\]"/);
  925.         if (m2) {
  926.             print.log("✓ 发送按钮定位：content-desc匹配");
  927.             return {
  928.                 x: (parseInt(m2[1]) + parseInt(m2[3])) / 2,
  929.                 y: (parseInt(m2[2]) + parseInt(m2[4])) / 2
  930.             };
  931.         }
  932.     }

  934.     print.log("⚠ 发送按钮使用屏幕右侧坐标兜底");
  935.     agent.clickPercent(0.9, 0.92);
  936.     print.log("✓ 已点击发送按钮（硬编码兜底）");
  937.     return null;
  938. }

  940. function 等待AI回答完成(发送前的最后文本, 发送前回答数量) {
  941.     var 已耗时 = 0;
  942.     var 检查间隔秒 = 3;
  943.     var 连续相同次数 = 0;
  944.     var 上次规范化文本 = "";

  946.     print.log("发送前最后AI回答：'" + 发送前的最后文本 + "'，发送前回答数量：" + 发送前回答数量);

  948.     sleep.second(秒 = 5);
  949.     已耗时 += 5;

  951.     while (已耗时 < 等待回答超时秒) {
  952.         var xml = 获取UI();
  953.         var 回答列表 = 采集AI回答列表(xml);
  954.         
  955.         if (回答列表.length > 0) {
  956.             var 当前最后回答 = 回答列表[回答列表.length - 1];
  957.             var 当前提取数字 = 提取数字(当前最后回答);
  958.             var 当前规范化文本 = 当前最后回答.trim().replace(/\s+/g, " ");
  959.             
  960.             var 有新回答 = false;
  961.             var 回答数量增加 = (回答列表.length > 发送前回答数量);
  962.             
  963.             var 发送前规范化 = 发送前的最后文本.trim().replace(/\s+/g, " ");
  964.             有新回答 = (当前规范化文本 !== 发送前规范化) || (当前提取数字 !== "");
  965.             
  966.             if (有新回答 || 回答数量增加) {
  967.                 print.log("✓ 检测到新回答（" + 已耗时 + "秒）：'" + 当前最后回答 + "'，提取数字：'" + 当前提取数字 + "'");
  968.                
  969.                 if (当前规范化文本 === 上次规范化文本) {
  970.                     连续相同次数++;
  971.                     if (连续相同次数 >= 2) {
  972.                         print.log("✓ 文本连续2次相同，回答完成");
  973.                         return 当前最后回答;
  974.                     }
  975.                 } else {
  976.                     连续相同次数 = 0;
  977.                     上次规范化文本 = 当前规范化文本;
  978.                 }
  979.             }
  980.         }
  981.         
  982.         sleep.second(秒 = 检查间隔秒);
  983.         已耗时 += 检查间隔秒;
  984.     }

  986.     print.log("⚠ 等待AI回答超时（" + 等待回答超时秒 + "秒），尝试返回当前内容");
  987.     var xml = 获取UI();
  988.     var 兜底列表 = 采集AI回答列表(xml);
  989.     if (兜底列表.length > 0) {
  990.         var 兜底文本 = 兜底列表[兜底列表.length - 1];
  991.         print.log("✓ 超时兜底：返回当前采集到的回答：" + 兜底文本);
  992.         return 兜底文本;
  993.     }
  994.     return null;
  995. }

  997. // ========== 主流程开始 ==========

  999. function 主流程() {
  1000.     // 步骤1：全屏截图（B站验证码页面）
  1001.     print.log("\n========== 步骤1：全屏截图B站验证码 ==========");
  1002.     var 截图成功 = 全屏截图(截图保存路径);
  1003.     if (!截图成功) {
  1004.         print.log("✗ 截图失败，退出流程");
  1005.         print.log("===== KIMI识别验证码拖动B站流程结束 =====");
  1006.         return;
  1007.     }

  1009.     // 步骤2：启动Kimi APP
  1010.     print.log("\n========== 步骤2：启动Kimi APP ==========");
  1011.     try {
  1012.         app.openApp(KIMI包名);
  1013.         print.log("✓ 已启动Kimi");
  1014.     } catch (e) {
  1015.         print.log("⚠ 启动失败：" + e.message);
  1016.     }
  1017.     sleep.second(秒 = 5);

  1019.     // 步骤3：点击右上角新对话按钮
  1020.     print.log("\n========== 步骤3：点击右上角新对话按钮 ==========");
  1021.    
  1022.     xml = 获取UI();
  1023.    
  1024.     var 新对话X = 屏幕宽 * 0.96;
  1025.     var 新对话Y = 屏幕高 * 0.06;
  1026.    
  1027.     var newChatIdx = xml.indexOf('content-desc="开启新会话"');
  1028.     if (newChatIdx !== -1) {
  1029.         var 段 = xml.substring(newChatIdx);
  1030.         var m = 段.match(/bounds="\[(\d+),(\d+)\]\[(\d+),(\d+)\]"/);
  1031.         if (m) {
  1032.             新对话X = (parseInt(m[1]) + parseInt(m[3])) / 2;
  1033.             新对话Y = (parseInt(m[2]) + parseInt(m[4])) / 2;
  1034.             print.log("✓ 新对话按钮定位：content-desc=开启新会话，坐标(" + Math.round(新对话X) + "," + Math.round(新对话Y) + ")");
  1035.         }
  1036.     }
  1037.    
  1038.     agent.click(新对话X, 新对话Y);
  1039.     print.log("✓ 已点击新对话按钮，坐标(" + Math.round(新对话X) + "," + Math.round(新对话Y) + ")");
  1040.    
  1041.     sleep.second(秒 = 5);
  1042.     print.log("✓ 新对话操作完成，等待5秒确保界面加载");

  1044.     // 步骤4：记录发送前的最后一条AI回答和数量
  1045.     print.log("\n========== 步骤4：记录发送前状态 ==========");
  1046.     var 发送前回答数量 = 0;
  1047.     print.log("✓ 发送前回答数量：" + 发送前回答数量);

  1049.     // 步骤5：点击加号按钮打开附件菜单（使用图色匹配，因为点击前XML可能不完整）
  1050.     print.log("\n========== 步骤5：点击加号按钮打开附件菜单 ==========");
  1051.    
  1052.     var 加号点击成功 = false;
  1053.     var detects = opencv.findImagesEx('图色414387.cv');
  1054.     if (detects != null && detects.length > 0) {
  1055.         print.log("✓ 图色匹配找到加号按钮");
  1056.         print.log("图色匹配结果：" + detects[0]);
  1057.         var dStr = "" + detects[0];
  1058.         var m = dStr.match(/矩形区域:([\d.]+),\s*([\d.]+),\s*([\d.]+),\s*([\d.]+)/);
  1059.         if (m) {
  1060.             var left = parseFloat(m[1]);
  1061.             var top = parseFloat(m[2]);
  1062.             var right = parseFloat(m[3]);
  1063.             var bottom = parseFloat(m[4]);
  1064.             var centerX = (left + right) / 2;
  1065.             var centerY = (top + bottom) / 2;
  1066.             agent.clickPercent(centerX, centerY);
  1067.             print.log("✓ 已点击加号按钮（图色匹配），百分比坐标(" + centerX.toFixed(4) + "," + centerY.toFixed(4) + ")");
  1068.             加号点击成功 = true;
  1069.         }
  1070.     }
  1071.    
  1072.     if (!加号点击成功) {
  1073.         print.log("⚠ 图色匹配未找到加号按钮，使用坐标兜底");
  1074.         var 兜底X = 屏幕宽 * 0.92;
  1075.         var 兜底Y = 屏幕高 * 0.55;
  1076.         agent.click(兜底X, 兜底Y);
  1077.         print.log("✓ 已点击加号按钮（坐标兜底），坐标(" + Math.round(兜底X) + "," + Math.round(兜底Y) + ")");
  1078.         加号点击成功 = true;
  1079.     }
  1080.    
  1081.     sleep.second(秒 = 3);
  1082.     print.log("✓ 等待3秒让附件菜单完全弹出");

  1084.     // 步骤6：点击相册按钮选择图片（点击加号后XML已完整，使用XML定位）
  1085.     print.log("\n========== 步骤6：点击相册按钮选择图片 ==========");
  1086.    
  1087.     var 相册选择成功 = false;
  1088.     var 尝试次数 = 0;
  1089.    
  1090.     while (!相册选择成功 && 尝试次数 < 5) {
  1091.         尝试次数++;
  1092.         xml = 获取UI();
  1093.         
  1094.         if (是否在系统相册页面(xml)) {
  1095.             print.log("✓ 已进入系统相册页面");
  1096.             相册选择成功 = true;
  1097.             break;
  1098.         }
  1099.         
  1100.         var 相册位置 = 查找相册按钮(xml);
  1101.         agent.click(相册位置.x, 相册位置.y);
  1102.         print.log("✓ 已点击相册按钮，坐标(" + Math.round(相册位置.x) + "," + Math.round(相册位置.y) + ")");
  1103.         sleep.second(秒 = 2);
  1104.         
  1105.         xml = 获取UI();
  1106.         if (是否在系统相册页面(xml)) {
  1107.             print.log("✓ 已进入系统相册页面");
  1108.             相册选择成功 = true;
  1109.             break;
  1110.         }
  1111.         
  1112.         print.log("⚠ 第" + 尝试次数 + "次尝试：未进入相册页面，重新点击加号");
  1113.         
  1114.         var 加号Detects = opencv.findImagesEx('图色414387.cv');
  1115.         if (加号Detects != null && 加号Detects.length > 0) {
  1116.             var dStr2 = "" + 加号Detects[0];
  1117.             var m2 = dStr2.match(/矩形区域:([\d.]+),\s*([\d.]+),\s*([\d.]+),\s*([\d.]+)/);
  1118.             if (m2) {
  1119.                 var centerX2 = (parseFloat(m2[1]) + parseFloat(m2[3])) / 2;
  1120.                 var centerY2 = (parseFloat(m2[2]) + parseFloat(m2[4])) / 2;
  1121.                 agent.clickPercent(centerX2, centerY2);
  1122.                 print.log("✓ 重新点击加号按钮（图色匹配），百分比坐标(" + centerX2.toFixed(4) + "," + centerY2.toFixed(4) + ")");
  1123.             }
  1124.         } else {
  1125.             var 兜底X = 屏幕宽 * 0.92;
  1126.             var 兜底Y = 屏幕高 * 0.55;
  1127.             agent.click(兜底X, 兜底Y);
  1128.             print.log("✓ 重新点击加号按钮（坐标兜底），坐标(" + Math.round(兜底X) + "," + Math.round(兜底Y) + ")");
  1129.         }
  1130.         sleep.second(秒 = 3);
  1131.     }

  1133.     // 步骤7：选择第一张图片（系统相册用Canvas渲染，XML无节点，直接坐标点击）
  1134.     print.log("\n========== 步骤7：选择第一张图片 ==========");
  1135.    
  1136.     var 图片尝试次数 = 0;
  1137.     while (图片尝试次数 < 3) {
  1138.         图片尝试次数++;
  1139.         xml = 获取UI();
  1140.         
  1141.         if (是否在系统相册页面(xml)) {
  1142.             print.log("✓ 系统相册页面，点击图片位置");
  1143.             
  1144.             var 标题栏底部 = 432;
  1145.             var actionBarMatch = xml.match(/resource-id="android:id\/action_bar"[^>]*?bounds="\[(\d+),(\d+)\]\[(\d+),(\d+)\]"/);
  1146.             if (actionBarMatch) {
  1147.                 标题栏底部 = parseInt(actionBarMatch[4]);
  1148.             }
  1149.             
  1150.             var 图片区域顶部 = 标题栏底部;
  1151.             var 图片区域底部 = 屏幕高;
  1152.             var 图片区域高度 = 图片区域底部 - 图片区域顶部;
  1153.             
  1154.             var 图片X = 屏幕宽 * 0.5;
  1155.             var 图片Y = 图片区域顶部 + 图片区域高度 * 0.4;
  1156.             agent.click(图片X, 图片Y);
  1157.             print.log("✓ 已点击图片位置，坐标(" + Math.round(图片X) + "," + Math.round(图片Y) + ")");
  1158.             sleep.second(秒 = 3);
  1159.             
  1160.             xml = 获取UI();
  1161.             if (!是否在系统相册页面(xml)) {
  1162.                 print.log("✓ 已离开相册页面，图片可能已添加");
  1163.                 break;
  1164.             }
  1165.         } else {
  1166.             break;
  1167.         }
  1168.     }

  1170.     // 步骤8：等待图片添加到输入区域（等待回到Kimi对话页面）
  1171.     print.log("\n========== 步骤8：等待图片添加到输入区域 ==========");
  1172.     sleep.second(秒 = 3);
  1173.     xml = 获取UI();
  1174.    
  1175.     var packageMatch = xml.match(/package="([^"]+)"/);
  1176.     if (packageMatch && packageMatch[1] === KIMI包名) {
  1177.         print.log("✓ 已回到Kimi对话页面");
  1178.     }
  1179.    
  1180.     print.log("✓ 图片已添加到输入区域");

  1182.     // 步骤9：粘贴文字询问拖动距离
  1183.     print.log("\n========== 步骤9：粘贴文字询问拖动距离 ==========");
  1184.     xml = 获取UI();
  1185.    
  1186.     var 输入框位置 = 查找输入框中心(xml);
  1187.     agent.click(输入框位置.x, 输入框位置.y);
  1188.     print.log("✓ 已点击输入框，坐标(" + Math.round(输入框位置.x) + "," + Math.round(输入框位置.y) + ")");
  1189.     sleep.second(秒 = 2);
  1190.    
  1191.     try {
  1192.         Clipboard.copy("" + 提问话术);
  1193.         sleep.millisecond(毫秒 = 500);
  1194.         agent.shell("input keyevent 279");
  1195.         sleep.second(秒 = 2);
  1196.         print.log("✓ 已通过剪贴板粘贴文本");
  1197.     } catch (e) {
  1198.         print.log("⚠ 剪贴板粘贴失败：" + e.message);
  1199.         agent.shell("input text '" + 提问话术 + "'");
  1200.         sleep.second(秒 = 2);
  1201.         print.log("✓ 已通过input text直接输入文本");
  1202.     }
  1203.     sleep.second(秒 = 2);

  1205.     // 步骤10：发送图片和文字
  1206.     print.log("\n========== 步骤10：发送图片和文字 ==========");
  1207.    
  1208.     var detects = opencv.findImagesEx('图色769678.cv');
  1209.     if (detects != null) {
  1210.         print.log("✓ 图色匹配找到发送按钮");
  1211.         print.log("图色匹配结果：" + detects[0]);
  1212.         var dStr = "" + detects[0];
  1213.         var sendMatch = dStr.match(/矩形区域:([\d.]+),\s*([\d.]+),\s*([\d.]+),\s*([\d.]+)/);
  1214.         if (sendMatch) {
  1215.             var left = parseFloat(sendMatch[1]);
  1216.             var top = parseFloat(sendMatch[2]);
  1217.             var right = parseFloat(sendMatch[3]);
  1218.             var bottom = parseFloat(sendMatch[4]);
  1219.             var centerX = (left + right) / 2;
  1220.             var centerY = (top + bottom) / 2;
  1221.             agent.clickPercent(centerX, centerY);
  1222.             print.log("✓ 已点击发送按钮（图色匹配），百分比坐标(" + centerX.toFixed(4) + "," + centerY.toFixed(4) + ")");
  1223.         }
  1224.     } else {
  1225.         print.log("⚠ 图色匹配未找到发送按钮，尝试坐标兜底");
  1226.         var 发送按钮位置 = 查找发送按钮中心(xml);
  1227.         if (发送按钮位置) {
  1228.             agent.click(发送按钮位置.x, 发送按钮位置.y);
  1229.             print.log("✓ 已点击发送按钮（坐标兜底）");
  1230.         }
  1231.     }
  1232.    
  1233.     sleep.second(秒 = 10);

  1235.     // 步骤11：等待Kimi AI回答
  1236.     print.log("\n========== 步骤11：等待Kimi AI回答 ==========");
  1237.     xml = 获取UI();
  1238.     var AI回答 = 等待AI回答完成("", 0);
  1239.    
  1240.     if (!AI回答) {
  1241.         print.log("✗ 未获取到AI回答");
  1242.         print.log("===== KIMI识别验证码拖动B站流程结束 =====");
  1243.         return;
  1244.     }

  1246.     print.log("\n✓ 采集到AI回答");
  1247.    
  1248.     print.log("\n========== 步骤11.5：点击加号获取完整源码 ==========");
  1249.     var detects = opencv.findImagesEx('图色414387.cv');
  1250.     if (detects != null && detects.length > 0) {
  1251.         var dStr = "" + detects[0];
  1252.         var m = dStr.match(/矩形区域:([\d.]+),\s*([\d.]+),\s*([\d.]+),\s*([\d.]+)/);
  1253.         if (m) {
  1254.             var centerX = (parseFloat(m[1]) + parseFloat(m[3])) / 2;
  1255.             var centerY = (parseFloat(m[2]) + parseFloat(m[4])) / 2;
  1256.             agent.clickPercent(centerX, centerY);
  1257.             print.log("✓ 已点击加号按钮（图色匹配），百分比坐标(" + centerX.toFixed(4) + "," + centerY.toFixed(4) + ")");
  1258.         }
  1259.     } else {
  1260.         agent.click(屏幕宽 * 0.92, 屏幕高 * 0.55);
  1261.         print.log("✓ 已点击加号按钮（坐标兜底）");
  1262.     }
  1263.     sleep.second(秒 = 2);
  1264.     xml = 获取UI();
  1265.     print.log("✓ 点击加号后重新获取UI");
  1266.    
  1267.     AI回答 = 获取当前最后AI回答(xml);
  1268.     print.log("✓ 重新采集AI回答：'" + AI回答 + "'");
  1269.    
  1270.     print.log("--- 采集内容开始 ---");
  1271.     print.log(AI回答);
  1272.     print.log("--- 采集内容结束 ---");

  1274.     // 步骤12：解析拖动距离坐标
  1275.     print.log("\n========== 步骤12：解析拖动距离坐标 ==========");
  1276.     print.log("✓ AI原始回答：'" + AI回答 + "'");
  1277.    
  1278.     var 所有数字 = AI回答.match(/\d+/g);
  1279.     var 拖动距离像素 = null;
  1280.     var AI图像宽度 = null;
  1281.    
  1282.     if (AI回答.indexOf("距离") !== -1 || AI回答.indexOf("像素") !== -1) {
  1283.         var 距离匹配 = AI回答.match(/(\d+)\s*[像相]?素?/);
  1284.         if (距离匹配) {
  1285.             拖动距离像素 = parseInt(距离匹配[1]);
  1286.             print.log("✓ 识别到距离格式回答，提取数字：" + 拖动距离像素);
  1287.             AI图像宽度 = 屏幕宽;
  1288.             print.log("✓ 距离格式回答，使用屏幕宽度作为图像宽度，不额外缩放");
  1289.         } else {
  1290.             var 数字匹配 = AI回答.match(/(\d+)/);
  1291.             if (数字匹配) {
  1292.                 拖动距离像素 = parseInt(数字匹配[1]);
  1293.                 print.log("✓ 从距离回答中提取数字：" + 拖动距离像素);
  1294.                 AI图像宽度 = 屏幕宽;
  1295.             }
  1296.         }
  1297.     } else if (所有数字 && 所有数字.length >= 2) {
  1298.         var 数字列表 = [];
  1299.         for (var n = 0; n < 所有数字.length; n++) {
  1300.             数字列表.push(parseInt(所有数字[n]));
  1301.         }
  1302.         print.log("✓ 提取到所有数字：" + 数字列表.join(", "));
  1303.         
  1304.         if (数字列表.length >= 5) {
  1305.             var x1 = 数字列表[0];
  1306.             var y1 = 数字列表[1];
  1307.             var x2 = 数字列表[2];
  1308.             var y2 = 数字列表[3];
  1309.             AI图像宽度 = 数字列表[4];
  1310.             拖动距离像素 = Math.abs(x2 - x1);
  1311.             print.log("✓ 识别到两组坐标+图像宽度：(" + x1 + "," + y1 + ") 和 (" + x2 + "," + y2 + ")，图像宽度=" + AI图像宽度);
  1312.             print.log("✓ 计算拖动距离：|x2 - x1| = |" + x2 + " - " + x1 + "| = " + 拖动距离像素);
  1313.         } else if (数字列表.length >= 4) {
  1314.             var x1 = 数字列表[0];
  1315.             var y1 = 数字列表[1];
  1316.             var x2 = 数字列表[2];
  1317.             var y2 = 数字列表[3];
  1318.             拖动距离像素 = Math.abs(x2 - x1);
  1319.             AI图像宽度 = Math.max(x1, x2) + 100;
  1320.             print.log("✓ 识别到两组坐标格式：(" + x1 + "," + y1 + ") 和 (" + x2 + "," + y2 + ")");
  1321.             print.log("✓ 计算拖动距离：|x2 - x1| = |" + x2 + " - " + x1 + "| = " + 拖动距离像素);
  1322.             print.log("✓ 估算图像宽度：max(x1,x2)+100 = " + AI图像宽度);
  1323.         } else if (数字列表.length >= 2) {
  1324.             var 坐标匹配 = AI回答.match(/(\d+)\s*[,，]\s*(\d+)/);
  1325.             if (坐标匹配) {
  1326.                 var cx1 = parseInt(坐标匹配[1]);
  1327.                 var cx2 = parseInt(坐标匹配[2]);
  1328.                 拖动距离像素 = Math.abs(cx2 - cx1);
  1329.                 AI图像宽度 = Math.max(cx1, cx2) + 100;
  1330.                 print.log("✓ 识别到坐标格式：(" + cx1 + "," + cx2 + ")，计算距离：" + 拖动距离像素);
  1331.             } else {
  1332.                 拖动距离像素 = 数字列表[0];
  1333.                 print.log("✓ 提取到单个数字（拖动距离）：" + 拖动距离像素);
  1334.             }
  1335.         } else {
  1336.             拖动距离像素 = 数字列表[0];
  1337.             print.log("✓ 提取到单个数字（拖动距离）：" + 拖动距离像素);
  1338.         }
  1339.     } else if (所有数字 && 所有数字.length === 1) {
  1340.         拖动距离像素 = parseInt(所有数字[0]);
  1341.         print.log("✓ 提取到单个数字（拖动距离）：" + 拖动距离像素);
  1342.     } else {
  1343.         print.log("✗ 未找到有效的拖动距离");
  1344.         print.log("===== KIMI识别验证码拖动B站流程结束 =====");
  1345.         return;
  1346.     }
  1347.    
  1348.     var 图像缩放系数 = 1.0;
  1349.     if (拖动距离像素 < 30) {
  1350.         print.log("⚠ 提取到的拖动距离过小(" + 拖动距离像素 + ")，可能是OCR识别错误，跳过缩放补偿");
  1351.     } else if (AI图像宽度 && AI图像宽度 > 0 && AI图像宽度 < 屏幕宽) {
  1352.         图像缩放系数 = 屏幕宽 / AI图像宽度;
  1353.         if (图像缩放系数 > 5) {
  1354.             图像缩放系数 = 1.0;
  1355.         } else {
  1356.             拖动距离像素 = Math.round(拖动距离像素 * 图像缩放系数);
  1357.             print.log("✓ 图像缩放补偿：AI图像宽度=" + AI图像宽度 + "，屏幕宽=" + 屏幕宽);
  1358.             print.log("✓ 缩放系数=" + 图像缩放系数.toFixed(2) + "，补偿后拖动距离=" + 拖动距离像素);
  1359.         }
  1360.     } else {
  1361.         图像缩放系数 = 屏幕宽 / 750;
  1362.         拖动距离像素 = Math.round(拖动距离像素 * 图像缩放系数);
  1363.         print.log("✓ 单数字模式补偿：假设AI图像宽度≈750，缩放系数=" + 图像缩放系数.toFixed(2));
  1364.         print.log("✓ 补偿后拖动距离=" + 拖动距离像素);
  1365.     }
  1366.    
  1367.     验证码滑块距离 = {
  1368.         x: 拖动距离像素,
  1369.         y: 0
  1370.     };

  1372.     // 步骤13：切换回B站并拖动滑块
  1373.     print.log("\n========== 步骤13：切换回B站并拖动滑块 ==========");
  1374.    
  1375.     agent.shell("input keyevent 187");
  1376.     print.log("✓ 已按后台键打开任务列表");
  1377.     sleep.second(秒 = 2);
  1378.    
  1379.     xml = 获取UI();
  1380.     var biliIdx = xml.indexOf('哔哩哔哩');
  1381.     if (biliIdx === -1) {
  1382.         biliIdx = xml.indexOf('bilibili');
  1383.     }
  1384.     if (biliIdx === -1) {
  1385.         biliIdx = xml.indexOf('B站');
  1386.     }
  1387.    
  1388.     if (biliIdx !== -1) {
  1389.         var 段 = xml.substring(biliIdx);
  1390.         var m = 段.match(/bounds="\[(\d+),(\d+)\]\[(\d+),(\d+)\]"/);
  1391.         if (m) {
  1392.             var clickX = (parseInt(m[1]) + parseInt(m[3])) / 2;
  1393.             var clickY = (parseInt(m[2]) + parseInt(m[4])) / 2;
  1394.             agent.click(clickX, clickY);
  1395.             print.log("✓ 已点击B站任务卡片，坐标(" + Math.round(clickX) + "," + Math.round(clickY) + ")");
  1396.         }
  1397.     } else {
  1398.         print.log("⚠ 未找到B站任务卡片，尝试直接打开");
  1399.         try {
  1400.             app.openApp(B站包名);
  1401.             print.log("✓ 已打开B站");
  1402.         } catch (e) {
  1403.             print.log("⚠ 打开B站失败：" + e.message);
  1404.         }
  1405.     }
  1406.     sleep.second(秒 = 3);

  1408.     xml = 获取UI();
  1409.    
  1410.     var startX = 屏幕宽 * 0.15 + 50;
  1411.     var startY = 屏幕高 * 0.42;
  1412.    
  1413.     var detects = opencv.findImagesEx('图色975253.cv');
  1414.     if (detects != null && detects.length > 0) {
  1415.         print.log("✓ 图色匹配找到滑块初始位置");
  1416.         print.log("图色匹配结果：" + detects[0]);
  1417.         var dStr = "" + detects[0];
  1418.         var m = dStr.match(/矩形区域:([\d.]+),\s*([\d.]+),\s*([\d.]+),\s*([\d.]+)/);
  1419.         if (m) {
  1420.             var left = parseFloat(m[1]);
  1421.             var top = parseFloat(m[2]);
  1422.             var right = parseFloat(m[3]);
  1423.             var bottom = parseFloat(m[4]);
  1424.             startX = (left + right) / 2 * 屏幕宽;
  1425.             startY = (top + bottom) / 2 * 屏幕高;
  1426.             print.log("✓ 滑块初始位置：(" + Math.round(startX) + "," + Math.round(startY) + ")");
  1427.         }
  1428.     } else {
  1429.         print.log("⚠ 图色匹配未找到滑块，使用坐标兜底");
  1430.     }

  1432.     var 拖动距离 = 验证码滑块距离.x * 滑块校准系数;

  1434.     var endX = startX + 拖动距离;
  1435.     var endY = startY;

  1437.     print.log("✓ 滑块起点: (" + Math.round(startX) + "," + Math.round(startY) + "), 拖动距离: " + 拖动距离);
  1438.     agent.swip(startX, startY, endX, endY, 2000);
  1439.     print.log("✓ 已拖动滑块，起点(" + Math.round(startX) + "," + Math.round(startY) + ")，终点(" + Math.round(endX) + "," + Math.round(endY) + ")");
  1440. }

  1442. 主流程();

  1444. print.log("\n===== KIMI识别验证码拖动B站流程结束 =====");
复制代码


quot var 数字 if amp
相关帖子

上一篇: 自动截图并发送给DEEPSEEK识别示例过程

下一篇: AIWROK软件自动找图利用agent代理模式删除应用版示例

发表于 5 天前

举报 回复

返回列表 发新帖

网站地图|手机版|AIWORK |网站地图

Copyright © 2001-2020, Tencent Cloud.　Powered by 留下备用