豆包识别验证码加拖动验证码示例

QQ896757558

豆包识别验证码加拖动验证码示例

1. // AIWROK 自动化流程：全屏截图 → 启动豆包 → 发送截图 → 等待AI回答 → 采集回答内容 → 保存到文件
   
2. // 全程使用 agent.getXml() 获取界面源码
   
3. // 包名：com.larus.nova（豆包）
   
4. //
   
5. // 使用说明：
   
6. //   1. 在需要截图的页面运行脚本
   
7. //   2. 脚本会自动截图并发送给豆包分析
   
8. //   3. 采集结果保存到 /sdcard/豆包截图分析.json
   
9. 
   
10. print.log("===== 豆包截图发送流程启动 =====");
    
11. print.time();
    
12. 
    
13. // ========== 配置区 ==========
    
14. var 豆包包名 = "com.larus.nova";
    
15. var 截图保存路径 = "/sdcard/screenshot.png";
    
16. 
    
17. // 发送后等待AI回答的最大秒数（整体超时）
    
18. var 等待回答超时秒 = 8;
    
19. 
    
20. // 检测到新回答出现后，再等待多少秒让回答输出完整
    
21. var 回答输出等待秒 = 10;
    
22. 
    
23. // 验证码滑块拖动校准系数（根据实际效果调整，默认1.0）
    
24. // 如果拖动距离偏大，调小此值（如0.95）；如果偏小，调大此值（如1.05）
    
25. var 滑块校准系数 = 1.0;
    
26. 
    
27. // ========== 获取设备信息 ==========
    
28. var 屏幕宽 = screen.getScreenWidth();
    
29. var 屏幕高 = screen.getScreenHeight();
    
30. var 验证码滑块距离 = null;
    
31. print.log("屏幕尺寸：" + 屏幕宽 + " x " + 屏幕高);
    
32. print.log("代理状态：" + (agent.isOpen() ? "已开启" : "未开启"));
    
33. 
    
34. // ========== 工具函数 ==========
    
35. 
    
36. function 获取UI() {
    
37.     var xml = agent.getXml();
    
38.     return "" + xml;
    
39. }
    
40. 
    
41. function 字符串长度(s) {
    
42.     var str = "" + s;
    
43.     return str.length;
    
44. }
    
45. 
    
46. function 解码HTML实体(s) {
    
47.     var str = "" + s;
    
48.     str = str.replace(/
/g, "\n");
    
49.     str = str.replace(/
/g, "\r");
    
50.     str = str.replace(/	/g, "\t");
    
51.     str = str.replace(/'/g, "'");
    
52.     str = str.replace(/"/g, '"');
    
53.     str = str.replace(/"/g, '"');
    
54.     str = str.replace(/'/g, "'");
    
55.     str = str.replace(/&/g, "&");
    
56.     str = str.replace(/&lt;/g, "<");
    
57.     str = str.replace(/&gt;/g, ">");
    
58.     return str;
    
59. }
    
60. 
    
61. function 采集AI回答列表(xml, 严格过滤) {
    
62.     if (严格过滤 === undefined) 严格过滤 = true;
    
63.     var xmlStr = "" + xml;
    
64.     var 回答列表 = [];
    
65. 
    
66.     var listIdx = xmlStr.indexOf('id/message_list"');
    
67.     if (listIdx === -1) {
    
68.         print.log("⚠ 未找到消息列表节点");
    
69.         return 回答列表;
    
70.     }
    
71. 
    
72.     var 后面 = xmlStr.substring(listIdx);
    
73.     var 位置 = 0;
    
74.     while (true) {
    
75.         var cvIdx = 后面.indexOf('id/content_view"', 位置);
    
76.         if (cvIdx === -1) break;
    
77. 
    
78.         var 段 = 后面.substring(cvIdx);
    
79.         
    
80.         var cvBounds = 段.match(/bounds="\[(\d+),(\d+)\]\[(\d+),(\d+)\]"/);
    
81.         var isAI = false;
    
82.         if (cvBounds) {
    
83.             var cvX1 = parseInt(cvBounds[1]);
    
84.             if (cvX1 < 屏幕宽 / 2) {
    
85.                 isAI = true;
    
86.             }
    
87.         }
    
88. 
    
89.         var 标签结束 = 段.indexOf(">");
    
90.         if (标签结束 === -1) break;
    
91.         var 子段 = 段.substring(标签结束 + 1);
    
92. 
    
93.         var 文本匹配 = 子段.match(/<node[^>]*?text="([^"]+)"[^>]*?class="android\.widget\.TextView"[^>]*?\/?>/);
    
94.         if (!文本匹配) {
    
95.             文本匹配 = 子段.match(/<node[^>]*?class="android\.widget\.TextView"[^>]*?text="([^"]+)"[^>]*?\/?>/);
    
96.         }
    
97. 
    
98.         if (文本匹配 && 文本匹配[1]) {
    
99.             var 原始文本 = 文本匹配[1];
    
100.             var 解码文本 = 解码HTML实体(原始文本);
     
101.             if (严格过滤) {
     
102.                 if (isAI && 字符串长度(解码文本) > 0) {
     
103.                     回答列表.push(解码文本);
     
104.                 }
     
105.             } else {
     
106.                 if (字符串长度(解码文本) > 0) {
     
107.                     回答列表.push(解码文本);
     
108.                 }
     
109.             }
     
110.         }
     
111. 
     
112.         位置 = cvIdx + 30;
     
113.     }
     
114. 
     
115.     return 回答列表;
     
116. }
     
117. 
     
118. function 获取当前最后AI回答(xml) {
     
119.     var 回答列表 = 采集AI回答列表(xml);
     
120.     if (回答列表.length === 0) return "";
     
121.     return 回答列表[回答列表.length - 1];
     
122. }
     
123. 
     
124. // 全屏截图（使用shell命令）
     
125. function 全屏截图(保存路径) {
     
126.     try {
     
127.         var result = agent.shell("screencap -p " + 保存路径);
     
128.         print.log("✓ 截图命令执行：" + result);
     
129.         
     
130.         var lsResult = agent.shell("ls -la " + 保存路径);
     
131.         print.log("✓ 截图文件检查：" + lsResult);
     
132.         
     
133.         return true;
     
134.     } catch (e) {
     
135.         print.log("⚠ 截图失败：" + e.message);
     
136.         return false;
     
137.     }
     
138. }
     
139. 
     
140. // 查找豆包的加号按钮（优先右下角 action_menu_entrance）
     
141. function 查找加号按钮(xml) {
     
142.     var xmlStr = "" + xml;
     
143.    
     
144.     var menuEntranceIdx = xmlStr.indexOf('id/action_menu_entrance"');
     
145.     if (menuEntranceIdx !== -1) {
     
146.         var 段 = xmlStr.substring(menuEntranceIdx);
     
147.         var m = 段.match(/bounds="\[(\d+),(\d+)\]\[(\d+),(\d+)\]"/);
     
148.         if (m) {
     
149.             return {
     
150.                 x: (parseInt(m[1]) + parseInt(m[3])) / 2,
     
151.                 y: (parseInt(m[2]) + parseInt(m[4])) / 2
     
152.             };
     
153.         }
     
154.     }
     
155. 
     
156.     var entranceIdx = xmlStr.indexOf('id/action_entrance"');
     
157.     if (entranceIdx !== -1) {
     
158.         var 段2 = xmlStr.substring(entranceIdx);
     
159.         var m2 = 段2.match(/bounds="\[(\d+),(\d+)\]\[(\d+),(\d+)\]"/);
     
160.         if (m2) {
     
161.             return {
     
162.                 x: (parseInt(m2[1]) + parseInt(m2[3])) / 2,
     
163.                 y: (parseInt(m2[2]) + parseInt(m2[4])) / 2
     
164.             };
     
165.         }
     
166.     }
     
167. 
     
168.     var plusIdx = xmlStr.indexOf('text="+"');
     
169.     if (plusIdx !== -1) {
     
170.         var 段3 = xmlStr.substring(plusIdx);
     
171.         var m3 = 段3.match(/bounds="\[(\d+),(\d+)\]\[(\d+),(\d+)\]"/);
     
172.         if (m3) {
     
173.             return {
     
174.                 x: (parseInt(m3[1]) + parseInt(m3[3])) / 2,
     
175.                 y: (parseInt(m3[2]) + parseInt(m3[4])) / 2
     
176.             };
     
177.         }
     
178.     }
     
179. 
     
180.     var attachIdx = xmlStr.indexOf('content-desc="附件"');
     
181.     if (attachIdx === -1) {
     
182.         attachIdx = xmlStr.indexOf('content-desc="添加"');
     
183.     }
     
184.     if (attachIdx !== -1) {
     
185.         var 段4 = xmlStr.substring(attachIdx);
     
186.         var m4 = 段4.match(/bounds="\[(\d+),(\d+)\]\[(\d+),(\d+)\]"/);
     
187.         if (m4) {
     
188.             return {
     
189.                 x: (parseInt(m4[1]) + parseInt(m4[3])) / 2,
     
190.                 y: (parseInt(m4[2]) + parseInt(m4[4])) / 2
     
191.             };
     
192.         }
     
193.     }
     
194. 
     
195.     return null;
     
196. }
     
197. 
     
198. function 查找输入框中心(xml) {
     
199.     var xmlStr = "" + xml;
     
200.     var idx = xmlStr.indexOf('id/input_text"');
     
201.     if (idx === -1) return null;
     
202. 
     
203.     var 段 = xmlStr.substring(idx);
     
204.     var m = 段.match(/bounds="\[(\d+),(\d+)\]\[(\d+),(\d+)\]"/);
     
205.     if (!m) return null;
     
206. 
     
207.     var x1 = parseInt(m[1]);
     
208.     var y1 = parseInt(m[2]);
     
209.     var x2 = parseInt(m[3]);
     
210.     var y2 = parseInt(m[4]);
     
211.     return {
     
212.         x: (x1 + x2) / 2,
     
213.         y: (y1 + y2) / 2
     
214.     };
     
215. }
     
216. 
     
217. function 粘贴文本(文本) {
     
218.     try {
     
219.         Clipboard.copy("" + 文本);
     
220.     } catch (e) {
     
221.         print.log("⚠ Clipboard.copy 失败：" + e.message);
     
222.     }
     
223.     sleep.millisecond(毫秒 = 300);
     
224. 
     
225.     try {
     
226.         agent.shell("service call clipboard 3 i32 1 s16 '" + 文本 + "' i32 0");
     
227.     } catch (e2) {
     
228.         // 忽略错误
     
229.     }
     
230.     sleep.millisecond(毫秒 = 300);
     
231. 
     
232.     agent.shell("input keyevent 279");
     
233.     sleep.second(秒 = 1);
     
234.     print.log("✓ 已粘贴文本：" + 文本);
     
235. }
     
236. 
     
237. function 是否已进入相机页面(xml) {
     
238.     var xmlStr = "" + xml;
     
239.     return xmlStr.indexOf('id/focus_container"') !== -1 && xmlStr.indexOf('id/suggest_action_bar"') === -1;
     
240. }
     
241. 
     
242. function 是否已进入图片预览页面(xml) {
     
243.     var xmlStr = "" + xml;
     
244.     return xmlStr.indexOf('id/focus_container"') !== -1 && xmlStr.indexOf('id/suggest_action_bar"') !== -1;
     
245. }
     
246. 
     
247. function 是否已进入图片选择列表页面(xml) {
     
248.     var xmlStr = "" + xml;
     
249.     return xmlStr.indexOf('id/media_viewpager"') !== -1 || xmlStr.indexOf('id/media_list"') !== -1;
     
250. }
     
251. 
     
252. function 查找相册选项(xml) {
     
253.     var xmlStr = "" + xml;
     
254.    
     
255.     if (是否已进入图片预览页面(xml)) {
     
256.         return { x: -1, y: -1, 已进入预览页: true };
     
257.     }
     
258.    
     
259.     if (是否已进入图片选择列表页面(xml)) {
     
260.         return { x: -1, y: -1, 已进入选择页: true };
     
261.     }
     
262.    
     
263.     var albumIdx = xmlStr.indexOf('text="相册"');
     
264.     if (albumIdx === -1) {
     
265.         albumIdx = xmlStr.indexOf('text="图片"');
     
266.     }
     
267.     if (albumIdx === -1) {
     
268.         albumIdx = xmlStr.indexOf('text="照片"');
     
269.     }
     
270.     if (albumIdx === -1) {
     
271.         albumIdx = xmlStr.indexOf('text="所有照片"');
     
272.     }
     
273.     if (albumIdx === -1) {
     
274.         albumIdx = xmlStr.indexOf('text="从相册选择"');
     
275.     }
     
276.     if (albumIdx === -1) {
     
277.         albumIdx = xmlStr.indexOf('text="选择图片"');
     
278.     }
     
279.     if (albumIdx !== -1) {
     
280.         var 段 = xmlStr.substring(albumIdx);
     
281.         var m = 段.match(/bounds="\[(\d+),(\d+)\]\[(\d+),(\d+)\]"/);
     
282.         if (m) {
     
283.             return {
     
284.                 x: (parseInt(m[1]) + parseInt(m[3])) / 2,
     
285.                 y: (parseInt(m[2]) + parseInt(m[4])) / 2
     
286.             };
     
287.         }
     
288.     }
     
289. 
     
290.     var albumIconIdx = xmlStr.indexOf('content-desc="相册"');
     
291.     if (albumIconIdx === -1) {
     
292.         albumIconIdx = xmlStr.indexOf('content-desc="图片"');
     
293.     }
     
294.     if (albumIconIdx !== -1) {
     
295.         var 段2 = xmlStr.substring(albumIconIdx);
     
296.         var m2 = 段2.match(/bounds="\[(\d+),(\d+)\]\[(\d+),(\d+)\]"/);
     
297.         if (m2) {
     
298.             return {
     
299.                 x: (parseInt(m2[1]) + parseInt(m2[3])) / 2,
     
300.                 y: (parseInt(m2[2]) + parseInt(m2[4])) / 2
     
301.             };
     
302.         }
     
303.     }
     
304. 
     
305.     return null;
     
306. }
     
307. 
     
308. // 查找图片选择器中的第一张图片（刚截的图）
     
309. function 查找第一张图片(xml) {
     
310.     var xmlStr = "" + xml;
     
311.    
     
312.     var thumbnailIdx = xmlStr.indexOf('id/iv_thumbnail"');
     
313.     if (thumbnailIdx !== -1) {
     
314.         var 段 = xmlStr.substring(thumbnailIdx);
     
315.         var m = 段.match(/bounds="\[(\d+),(\d+)\]\[(\d+),(\d+)\]"/);
     
316.         if (m) {
     
317.             return {
     
318.                 x: (parseInt(m[1]) + parseInt(m[3])) / 2,
     
319.                 y: (parseInt(m[2]) + parseInt(m[4])) / 2
     
320.             };
     
321.         }
     
322.     }
     
323. 
     
324.     var imageIdx = xmlStr.indexOf('class="android.widget.ImageView"');
     
325.     if (imageIdx !== -1) {
     
326.         var 段2 = xmlStr.substring(imageIdx);
     
327.         var m2 = 段2.match(/bounds="\[(\d+),(\d+)\]\[(\d+),(\d+)\]"/);
     
328.         if (m2) {
     
329.             var x = (parseInt(m2[1]) + parseInt(m2[3])) / 2;
     
330.             var y = (parseInt(m2[2]) + parseInt(m2[4])) / 2;
     
331.             if (y > 400) {
     
332.                 return { x: x, y: y };
     
333.             }
     
334.         }
     
335.     }
     
336. 
     
337.     return null;
     
338. }
     
339. 
     
340. // 查找发送按钮
     
341. function 查找发送按钮中心(xml) {
     
342.     var xmlStr = "" + xml;
     
343. 
     
344.     var sendTextIdx = xmlStr.indexOf('text="发送"');
     
345.     if (sendTextIdx !== -1) {
     
346.         var 段 = xmlStr.substring(sendTextIdx);
     
347.         var m = 段.match(/bounds="\[(\d+),(\d+)\]\[(\d+),(\d+)\]"/);
     
348.         if (m) {
     
349.             return {
     
350.                 x: (parseInt(m[1]) + parseInt(m[3])) / 2,
     
351.                 y: (parseInt(m[2]) + parseInt(m[4])) / 2
     
352.             };
     
353.         }
     
354.     }
     
355. 
     
356.     var sendIdIdx = xmlStr.indexOf('id/action_send"');
     
357.     if (sendIdIdx !== -1) {
     
358.         var 段2 = xmlStr.substring(sendIdIdx);
     
359.         var m2 = 段2.match(/bounds="\[(\d+),(\d+)\]\[(\d+),(\d+)\]"/);
     
360.         if (m2) {
     
361.             return {
     
362.                 x: (parseInt(m2[1]) + parseInt(m2[3])) / 2,
     
363.                 y: (parseInt(m2[2]) + parseInt(m2[4])) / 2
     
364.             };
     
365.         }
     
366.     }
     
367. 
     
368.     var rightIconIdx = xmlStr.indexOf('id/right_icon"');
     
369.     if (rightIconIdx !== -1) {
     
370.         var 段3 = xmlStr.substring(rightIconIdx);
     
371.         var m3 = 段3.match(/bounds="\[(\d+),(\d+)\]\[(\d+),(\d+)\]"/);
     
372.         if (m3) {
     
373.             var y = (parseInt(m3[2]) + parseInt(m3[4])) / 2;
     
374.             if (y > 3000) {
     
375.                 return {
     
376.                     x: (parseInt(m3[1]) + parseInt(m3[3])) / 2,
     
377.                     y: y
     
378.                 };
     
379.             }
     
380.         }
     
381.     }
     
382. 
     
383.     return null;
     
384. }
     
385. 
     
386. function 查找并点击展开按钮(xml) {
     
387.     var xmlStr = "" + xml;
     
388.    
     
389.     var expandIdx = xmlStr.indexOf('content-desc="展开"');
     
390.     if (expandIdx === -1) {
     
391.         expandIdx = xmlStr.indexOf('content-desc="更多"');
     
392.     }
     
393.     if (expandIdx === -1) {
     
394.         expandIdx = xmlStr.indexOf('content-desc="收起"');
     
395.     }
     
396.    
     
397.     if (expandIdx !== -1) {
     
398.         var 段 = xmlStr.substring(expandIdx);
     
399.         var m = 段.match(/bounds="\[(\d+),(\d+)\]\[(\d+),(\d+)\]"/);
     
400.         if (m) {
     
401.             var x = (parseInt(m[1]) + parseInt(m[3])) / 2;
     
402.             var y = (parseInt(m[2]) + parseInt(m[4])) / 2;
     
403.             agent.click(x, y);
     
404.             print.log("✓ 已点击展开按钮（content-desc），坐标(" + Math.round(x) + "," + Math.round(y) + ")");
     
405.             sleep.second(秒 = 1);
     
406.             return true;
     
407.         }
     
408.     }
     
409. 
     
410.     var textExpandIdx = xmlStr.indexOf('text="展开"');
     
411.     if (textExpandIdx === -1) {
     
412.         textExpandIdx = xmlStr.indexOf('text="更多"');
     
413.     }
     
414.     if (textExpandIdx !== -1) {
     
415.         var 段2 = xmlStr.substring(textExpandIdx);
     
416.         var m2 = 段2.match(/bounds="\[(\d+),(\d+)\]\[(\d+),(\d+)\]"/);
     
417.         if (m2) {
     
418.             var x2 = (parseInt(m2[1]) + parseInt(m2[3])) / 2;
     
419.             var y2 = (parseInt(m2[2]) + parseInt(m2[4])) / 2;
     
420.             agent.click(x2, y2);
     
421.             print.log("✓ 已点击展开按钮（文本匹配），坐标(" + Math.round(x2) + "," + Math.round(y2) + ")");
     
422.             sleep.second(秒 = 1);
     
423.             return true;
     
424.         }
     
425.     }
     
426. 
     
427.     return false;
     
428. }
     
429. 
     
430. function 等待AI回答完成(发送前的最后文本) {
     
431.     var 已耗时 = 0;
     
432.     var 检查间隔秒 = 1;
     
433.     var 发送前回答数量 = 0;
     
434. 
     
435.     var xml = 获取UI();
     
436.     var 初始列表 = 采集AI回答列表(xml, false);
     
437.     发送前回答数量 = 初始列表.length;
     
438.     print.log("发送前AI回答数量：" + 发送前回答数量);
     
439. 
     
440.     while (已耗时 < 等待回答超时秒) {
     
441.         sleep.second(秒 = 检查间隔秒);
     
442.         已耗时 += 检查间隔秒;
     
443. 
     
444.         xml = 获取UI();
     
445. 
     
446.         var 回答列表 = 采集AI回答列表(xml, false);
     
447.         
     
448.         if (回答列表.length > 发送前回答数量) {
     
449.             print.log("✓ 检测到新回答（" + 已耗时 + "秒），数量从" + 发送前回答数量 + "增加到" + 回答列表.length);
     
450.             sleep.second(秒 = 3);
     
451.             
     
452.             xml = 获取UI();
     
453.             var 最终列表 = 采集AI回答列表(xml, false);
     
454.             if (最终列表.length > 0) {
     
455.                 var 最终文本 = 最终列表[最终列表.length - 1];
     
456.                 print.log("✓ 采集成功，返回结果：" + 最终文本);
     
457.                 return 最终文本;
     
458.             }
     
459.         }
     
460.     }
     
461. 
     
462.     print.log("⚠ 等待AI回答超时（" + 等待回答超时秒 + "秒），尝试返回当前内容");
     
463.     xml = 获取UI();
     
464.     var 兜底列表 = 采集AI回答列表(xml, false);
     
465.     if (兜底列表.length > 0) {
     
466.         var 兜底文本 = 兜底列表[兜底列表.length - 1];
     
467.         print.log("✓ 超时兜底：返回当前采集到的回答：" + 兜底文本);
     
468.         return 兜底文本;
     
469.     }
     
470.     return null;
     
471. }
     
472. 
     
473. function 格式化对话(对话列表) {
     
474.     var 数据 = {
     
475.         "采集时间": new Date().toString(),
     
476.         "对话轮数": 对话列表.length,
     
477.         "对话记录": []
     
478.     };
     
479.    
     
480.     for (var i = 0; i < 对话列表.length; i++) {
     
481.         数据.对话记录.push({
     
482.             "序号": i + 1,
     
483.             "角色": 对话列表[i].角色,
     
484.             "内容": 对话列表[i].内容
     
485.         });
     
486.     }
     
487.    
     
488.     return JSON.stringify(数据, null, 2);
     
489. }
     
490. 
     
491. function 写入文件(文件路径, 内容) {
     
492.     try {
     
493.         var str = "" + 内容;
     
494.         var fos = new java.io.FileOutputStream(文件路径);
     
495.         fos.write(str.getBytes("UTF-8"));
     
496.         fos.close();
     
497.         print.log("✓ 已写入文件（JSON格式）：" + 文件路径);
     
498.         
     
499.         var catResult = agent.shell("cat " + 文件路径 + " | head -2");
     
500.         print.log("✓ cat验证结果：" + catResult);
     
501.         
     
502.         return true;
     
503.     } catch (e) {
     
504.         print.log("⚠ JSON写入异常：" + e.message);
     
505.     }
     
506. 
     
507.     print.log("✗ 写入文件失败：" + 文件路径);
     
508.     return false;
     
509. }
     
510. 
     
511. function 主流程() {
     
512.     // 步骤1：全屏截图
     
513.     print.log("\n========== 步骤1：全屏截图 ==========");
     
514.     var 截图成功 = 全屏截图(截图保存路径);
     
515.     if (!截图成功) {
     
516.         print.log("✗ 截图失败，退出流程");
     
517.         print.log("===== 豆包截图发送流程结束 =====");
     
518.         return;
     
519.     }
     
520. 
     
521.     // 步骤2：启动豆包APP
     
522.     print.log("\n========== 步骤2：启动豆包APP ==========");
     
523.     try {
     
524.         app.openApp(豆包包名);
     
525.         print.log("✓ 已启动豆包");
     
526.     } catch (e) {
     
527.         print.log("⚠ 启动失败：" + e.message);
     
528.     }
     
529.     sleep.second(秒 = 5);
     
530. 
     
531.     // 步骤3：确认进入对话页面
     
532.     print.log("\n========== 步骤3：确认进入对话页面 ==========");
     
533.     var xml = 获取UI();
     
534.     if (xml.indexOf("message_list") === -1) {
     
535.         print.log("⚠ 当前页面可能不是豆包对话页，再次等待");
     
536.         sleep.second(秒 = 3);
     
537.         xml = 获取UI();
     
538.     }
     
539. 
     
540.     if (xml.indexOf("message_list") !== -1) {
     
541.         print.log("✓ 已进入豆包对话页面");
     
542.     } else {
     
543.         print.log("⚠ 未检测到消息列表");
     
544.     }
     
545. 
     
546.     // 步骤4：记录发送前的最后一条AI回答（作为检测基线）
     
547.     var 发送前最后文本 = 获取当前最后AI回答(xml);
     
548. 
     
549.     // 步骤5：点击加号按钮打开附件菜单
     
550.     print.log("\n========== 步骤5：打开附件菜单 ==========");
     
551.     var 加号按钮 = 查找加号按钮(xml);
     
552.     if (加号按钮) {
     
553.         agent.click(加号按钮.x, 加号按钮.y);
     
554.         print.log("✓ 已点击action_entrance按钮，坐标(" + Math.round(加号按钮.x) + "," + Math.round(加号按钮.y) + ")");
     
555.     } else {
     
556.         print.log("⚠ 未找到加号按钮，尝试点击输入框左侧区域");
     
557.         var inputIdx = xml.indexOf('id/speak_area"');
     
558.         if (inputIdx !== -1) {
     
559.             var 段 = xml.substring(inputIdx);
     
560.             var m = 段.match(/bounds="\[(\d+),(\d+)\]\[(\d+),(\d+)\]"/);
     
561.             if (m) {
     
562.                 var speakLeft = parseInt(m[1]);
     
563.                 var speakY = (parseInt(m[2]) + parseInt(m[4])) / 2;
     
564.                 agent.click(speakLeft - 50, speakY);
     
565.                 print.log("✓ 已点击输入框左侧区域");
     
566.             }
     
567.         }
     
568.     }
     
569.     sleep.second(秒 = 2);
     
570. 
     
571.     // 步骤6：等待页面跳转并处理图片选择
     
572.     print.log("\n========== 步骤6：处理图片选择页面 ==========");
     
573.     var 当前页面状态 = "未知";
     
574.     var 尝试次数 = 0;
     
575.     while (当前页面状态 === "未知" && 尝试次数 < 5) {
     
576.         sleep.second(秒 = 2);
     
577.         xml = 获取UI();
     
578.         
     
579.         if (是否已进入图片预览页面(xml)) {
     
580.             当前页面状态 = "预览页";
     
581.             print.log("✓ 已进入图片预览页面");
     
582.         } else if (是否已进入图片选择列表页面(xml)) {
     
583.             当前页面状态 = "选择列表";
     
584.             print.log("✓ 已进入图片选择列表页面");
     
585.         } else if (是否已进入相机页面(xml)) {
     
586.             print.log("✓ 已进入相机页面，点击左下角图片缩略图进入相册");
     
587.             agent.click(屏幕宽 * 0.15, 屏幕高 * 0.95);
     
588.             print.log("✓ 已点击左下角图片缩略图");
     
589.             continue;
     
590.         } else {
     
591.             var 相册选项 = 查找相册选项(xml);
     
592.             if (相册选项 && !相册选项.已进入预览页 && !相册选项.已进入选择页) {
     
593.                 print.log("✓ 找到相册选项，准备点击");
     
594.                 agent.click(相册选项.x, 相册选项.y);
     
595.                 print.log("✓ 已点击相册选项，坐标(" + Math.round(相册选项.x) + "," + Math.round(相册选项.y) + ")");
     
596.                 continue;
     
597.             }
     
598.         }
     
599.         尝试次数++;
     
600.     }
     
601.    
     
602.     if (当前页面状态 === "选择列表") {
     
603.         var 第一张图片 = 查找第一张图片(xml);
     
604.         if (第一张图片) {
     
605.             agent.click(第一张图片.x, 第一张图片.y);
     
606.             print.log("✓ 已选择第一张图片，坐标(" + Math.round(第一张图片.x) + "," + Math.round(第一张图片.y) + ")");
     
607.             sleep.second(秒 = 2);
     
608.             
     
609.             xml = 获取UI();
     
610.             if (是否已进入图片预览页面(xml)) {
     
611.                 当前页面状态 = "预览页";
     
612.                 print.log("✓ 已进入图片预览页面");
     
613.             }
     
614.         }
     
615.     }
     
616. 
     
617.     // 步骤7：粘贴文字到输入框（选择图片后马上粘贴）
     
618.     print.log("\n========== 步骤7：粘贴文字询问拖动距离坐标 ==========");
     
619.     xml = 获取UI();
     
620.     var 输入框 = 查找输入框中心(xml);
     
621.     if (输入框) {
     
622.         agent.click(输入框.x, 输入框.y);
     
623.         sleep.second(秒 = 1);
     
624.         粘贴文本("请告诉我验证码滑块需要拖动的距离坐标，只输出坐标数字，不要其他文字");
     
625.     } else {
     
626.         print.log("⚠ 未找到输入框");
     
627.     }
     
628.     sleep.second(秒 = 2);
     
629. 
     
630.     // 步骤8：发送图片和文字
     
631.     print.log("\n========== 步骤8：发送图片和文字 ==========");
     
632.     if (当前页面状态 === "预览页") {
     
633.         var confirmX = 屏幕宽 * 0.5;
     
634.         var confirmY = 屏幕高 * 0.92;
     
635.         agent.click(confirmX, confirmY);
     
636.         print.log("✓ 已点击预览页底部中间白色对勾确认按钮，坐标(" + Math.round(confirmX) + "," + Math.round(confirmY) + ")");
     
637.         sleep.second(秒 = 3);
     
638.         xml = 获取UI();
     
639.     }
     
640.    
     
641.     var sendBtn = 查找发送按钮中心(xml);
     
642.     if (sendBtn) {
     
643.         agent.click(sendBtn.x, sendBtn.y);
     
644.         print.log("✓ 已点击对话页面发送按钮，坐标(" + Math.round(sendBtn.x) + "," + Math.round(sendBtn.y) + ")");
     
645.     } else {
     
646.         var actionSendIdx = xml.indexOf('id/action_send"');
     
647.         if (actionSendIdx !== -1) {
     
648.             var 段 = xml.substring(actionSendIdx);
     
649.             var m = 段.match(/bounds="\[(\d+),(\d+)\]\[(\d+),(\d+)\]"/);
     
650.             if (m) {
     
651.                 var sendX = (parseInt(m[1]) + parseInt(m[3])) / 2;
     
652.                 var sendY = (parseInt(m[2]) + parseInt(m[4])) / 2;
     
653.                 agent.click(sendX, sendY);
     
654.                 print.log("✓ 已点击action_send按钮，坐标(" + Math.round(sendX) + "," + Math.round(sendY) + ")");
     
655.             }
     
656.         }
     
657.     }
     
658.     sleep.second(秒 = 5);
     
659. 
     
660.     // 步骤9：记录发送后的基线文本
     
661.     print.log("\n========== 步骤9：记录基线文本 ==========");
     
662.     xml = 获取UI();
     
663.     发送前最后文本 = 获取当前最后AI回答(xml);
     
664.     print.log("发送前最后文本长度：" + 字符串长度(发送前最后文本));
     
665. 
     
666.     // 步骤10：等待AI回答
     
667.     print.log("\n========== 步骤10：等待AI回答 ==========");
     
668. 
     
669.     var 新回答文本 = 等待AI回答完成(发送前最后文本);
     
670. 
     
671.     // 步骤11：解析坐标并保存为全局变量
     
672.     print.log("\n========== 步骤11：解析坐标 ==========");
     
673.    
     
674.     if (新回答文本 && 字符串长度(新回答文本) > 0) {
     
675.         print.log("✓ 采集到AI回答");
     
676.         print.log("--- 采集内容开始 ---");
     
677.         print.log(新回答文本);
     
678.         print.log("--- 采集内容结束 ---");
     
679.         
     
680.         var 坐标匹配 = 新回答文本.match(/(\d+)\s*[,，]\s*(\d+)/);
     
681.         if (坐标匹配) {
     
682.             验证码滑块距离 = {
     
683.                 x: parseInt(坐标匹配[1]),
     
684.                 y: parseInt(坐标匹配[2])
     
685.             };
     
686.             print.log("✓ 提取到坐标：(" + 验证码滑块距离.x + ", " + 验证码滑块距离.y + ")");
     
687.         } else {
     
688.             var 单个数字匹配 = 新回答文本.match(/(\d+)/);
     
689.             if (单个数字匹配) {
     
690.                 验证码滑块距离 = {
     
691.                     x: parseInt(单个数字匹配[1]),
     
692.                     y: 0
     
693.                 };
     
694.                 print.log("✓ 提取到单个数字：" + 验证码滑块距离.x);
     
695.             } else {
     
696.                 验证码滑块距离 = null;
     
697.                 print.log("⚠ 未提取到坐标");
     
698.             }
     
699.         }
     
700.     } else {
     
701.         验证码滑块距离 = null;
     
702.         print.log("⚠ 未能采集到新回答");
     
703.     }
     
704. 
     
705.     // 步骤12：切换回B站并拖动验证码滑块
     
706.     if (验证码滑块距离 && 验证码滑块距离.x > 0) {
     
707.         print.log("\n========== 步骤12：切换回B站并拖动滑块 ==========");
     
708.         
     
709.         agent.shell("input keyevent 187");
     
710.         print.log("✓ 已按后台键打开任务列表");
     
711.         sleep.second(秒 = 2);
     
712. 
     
713.         xml = 获取UI();
     
714.         var biliIdx = xml.indexOf('哔哩哔哩');
     
715.         if (biliIdx === -1) {
     
716.             biliIdx = xml.indexOf('bilibili');
     
717.         }
     
718.         
     
719.         if (biliIdx !== -1) {
     
720.             var 段 = xml.substring(biliIdx);
     
721.             var m = 段.match(/bounds="\[(\d+),(\d+)\]\[(\d+),(\d+)\]"/);
     
722.             if (m) {
     
723.                 var clickX = (parseInt(m[1]) + parseInt(m[3])) / 2;
     
724.                 var clickY = (parseInt(m[2]) + parseInt(m[4])) / 2;
     
725.                 agent.click(clickX, clickY);
     
726.                 print.log("✓ 已点击B站任务卡片，坐标(" + Math.round(clickX) + "," + Math.round(clickY) + ")");
     
727.             }
     
728.         } else {
     
729.             print.log("⚠ 未找到B站任务卡片，尝试直接打开");
     
730.             try {
     
731.                 app.openApp("tv.danmaku.bili");
     
732.                 print.log("✓ 已打开B站");
     
733.             } catch (e) {
     
734.                 print.log("⚠ 打开B站失败：" + e.message);
     
735.             }
     
736.         }
     
737.         sleep.second(秒 = 3);
     
738. 
     
739.         var xml = 获取UI();
     
740.         var 验证码区域左边界 = 屏幕宽 * 0.15;
     
741.         
     
742.         var 滑块轨道匹配 = xml.match(/<node[^>]*?text="拖动滑块完成拼图"[^>]*?bounds="\[(\d+),(\d+)\]\[(\d+),(\d+)\]"/);
     
743.         if (滑块轨道匹配) {
     
744.             验证码区域左边界 = parseInt(滑块轨道匹配[1]);
     
745.         }
     
746. 
     
747.         var 拖动距离 = 验证码滑块距离.x * 滑块校准系数;
     
748. 
     
749.         var startX = 验证码区域左边界 + 50;
     
750.         var startY = 屏幕高 * 0.42;
     
751.         var endX = startX + 拖动距离;
     
752.         var endY = startY;
     
753. 
     
754.         print.log("✓ 验证码区域左边界: " + 验证码区域左边界 + ", 拖动距离: " + 拖动距离);
     
755.         agent.swip(startX, startY, endX, endY, 2000);
     
756.         print.log("✓ 已拖动滑块，起点(" + Math.round(startX) + "," + Math.round(startY) + ")，终点(" + Math.round(endX) + "," + Math.round(endY) + ")");
     
757.     }
     
758. 
     
759.     print.log("\n===== 豆包截图发送流程结束 =====");
     
760. }
     
761. 
     
762. 主流程();
     

复制代码