苹果系统里如何使用OCR进行文本识别并执行点击操作

QQ896757558

432 主题	-245 回帖	2259 积分

管理员

积分: 2259

发消息

显示全部楼层

苹果系统里如何使用OCR进行文本识别并执行点击操作

/**
* 苹果OCR点击示例
* 这个示例展示了如何使用OCR进行文本识别并执行点击操作
* 🍎交流QQ群711841924群一，苹果内测群，528816639
*/
/**
* 示例1: 基本OCR识别与精确文本点击
* 使用findText方法查找精确文本并点击
*/
function ocrClickExample() {
printl("==== 示例1: 基本OCR识别与精确文本点击 ====");
try {
// 执行全屏幕OCR识别
var ocrResult = screen.ocr(0, 0, 1, 1);
// 查找精确文本"确定"
var target = ocrResult.findText("确定", [0, 0, 1, 1]);
if (target != null) {
printl("找到文本 '确定'，准备点击");
// 获取文本的中心点坐标
var x = target.x + target.width / 2;
var y = target.y + target.height / 2;
printl("点击坐标: x=" + x + ", y=" + y);
// 执行点击操作
hid.click(x * device.width, y * device.height);
printl("点击成功");
} else {
printl("未找到文本 '确定'");
}
} catch (e) {
printl("OCR操作发生错误: " + e);
}
}
/**
* 示例2: 使用内置的clickRandom方法进行随机位置点击
* 这是更简单的点击方式
*/
function ocrClickRandomExample() {
printl("\n==== 示例2: 使用clickRandom方法进行随机位置点击 ====");
try {
// 执行OCR识别
var ocrResult = screen.ocr(0, 0, 1, 1);
// 查找包含"设置"的文本
var target = ocrResult.findIncludeText("设置", [0, 0, 1, 1]);
if (target != null) {
printl("找到包含 '设置' 的文本，准备在其区域内随机点击");
// 使用内置的clickRandom方法在文本区域内随机位置点击
target.clickRandom();
printl("随机位置点击成功");
} else {
printl("未找到包含 '设置' 的文本");
}
} catch (e) {
printl("OCR操作发生错误: " + e);
}
}
/**
* 示例3: 使用正则表达式查找多个匹配项并点击第一个
*/
function ocrRegexClickExample() {
printl("\n==== 示例3: 使用正则表达式查找多个匹配项并点击第一个 ====");
try {
// 执行OCR识别
var ocrResult = screen.ocr(0, 0, 1, 1);
// 使用正则表达式查找包含数字的文本
var targets = ocrResult.findTextWithRegex("\\d+", [0, 0, 1, 1]);
if (targets != null && targets.length > 0) {
printl("找到 " + targets.length + " 个包含数字的文本");
printl("第一个匹配的文本是: " + targets[0].text);
// 点击第一个匹配项
targets[0].clickRandom();
printl("点击第一个匹配项成功");
} else {
printl("未找到包含数字的文本");
}
} catch (e) {
printl("OCR操作发生错误: " + e);
}
}
/**
* 示例4: OCR识别后遍历所有文本并点击特定条件的文本
*/
function ocrIterateAndClickExample() {
printl("\n==== 示例4: OCR识别后遍历所有文本并点击特定条件的文本 ====");
try {
// 执行OCR识别
var ocrResult = screen.ocr(0, 0, 1, 1);
// 获取所有识别到的文本
var allDetects = ocrResult.getAllDetect();
printl("总共识别到 " + allDetects.length + " 个文本元素");
// 遍历所有文本
for (var i = 0; i < allDetects.length; i++) {
var detect = allDetects[i];
printl("文本 " + i + ": " + detect.text + ", 位置: [" + detect.x + ", " + detect.y + ", " +
detect.width + ", " + detect.height + "]");
// 如果文本包含"取消"，点击它
if (detect.text.includes("取消")) {
printl("找到包含 '取消' 的文本，准备点击");
detect.clickRandom();
printl("点击成功");
break; // 点击后退出循环
}
}
} catch (e) {
printl("OCR操作发生错误: " + e);
}
}
/**
* 示例5: 区域OCR识别并点击
* 只在屏幕的某个特定区域进行OCR识别
*/
function regionOcrClickExample() {
printl("\n==== 示例5: 区域OCR识别并点击 ====");
try {
// 定义一个区域: 屏幕的中间部分 (宽度: 60%, 高度: 40%, 居中)
var region = [0.2, 0.3, 0.8, 0.7];
printl("在区域 [" + region[0] + ", " + region[1] + ", " + region[2] + ", " + region[3] + "] 内进行OCR识别");
// 在指定区域执行OCR识别
var ocrResult = screen.ocr(region[0], region[1], region[2], region[3]);
// 查找文本
var target = ocrResult.findText("下一步", region);
if (target != null) {
printl("在指定区域找到文本 '下一步'，准备点击");
target.clickRandom();
printl("点击成功");
} else {
printl("在指定区域未找到文本 '下一步'");
}
} catch (e) {
printl("OCR操作发生错误: " + e);
}
}
/**
* 示例6: 综合示例 - 连续OCR识别和点击操作
* 模拟一个简单的自动化流程
*/
function comprehensiveOcrExample() {
printl("\n==== 示例6: 综合示例 - 连续OCR识别和点击操作 ====");
try {
// 步骤1: 查找并点击"设置"
printl("步骤1: 查找并点击'设置'");
var ocrResult1 = screen.ocr(0, 0, 1, 1);
var settingTarget = ocrResult1.findIncludeText("设置", [0, 0, 1, 1]);
if (settingTarget != null) {
settingTarget.clickRandom();
printl("点击设置成功");
sleep(2000); // 等待2秒，让页面加载
// 步骤2: 在新页面查找并点击"通用"
printl("步骤2: 查找并点击'通用'");
var ocrResult2 = screen.ocr(0, 0, 1, 1);
var generalTarget = ocrResult2.findText("通用", [0, 0, 1, 1]);
if (generalTarget != null) {
generalTarget.clickRandom();
printl("点击通用成功");
} else {
printl("未找到文本 '通用'");
}
} else {
printl("未找到包含 '设置' 的文本");
}
} catch (e) {
printl("综合示例发生错误: " + e);
}
}
/**
* 示例7: 使用OCR锁定提高效率
*/
function lockedOcrExample() {
printl("\n==== 示例7: 使用OCR锁定提高效率 ====");
try {
// 锁定OCR识别结果
OCR.lockOCR();
printl("OCR结果已锁定");
// 执行截图
var image = screen.screenShotFull();
// 在锁定状态下进行多次识别操作
printl("执行第一次OCR识别");
var result1 = image.ocr(0, 0, 1, 1);
var text1 = result1.getAllString();
printl("第一次识别到的文本数量: " + text1.length);
printl("执行第二次OCR识别");
var result2 = image.ocr(0, 0, 1, 1);
var settingTarget = result2.findIncludeText("设置", [0, 0, 1, 1]);
if (settingTarget != null) {
printl("找到包含 '设置' 的文本");
}
// 关闭图片
image.close();
// 释放OCR锁
OCR.unLock();
printl("OCR结果已解锁");
} catch (e) {
printl("锁定OCR示例发生错误: " + e);
// 确保在错误情况下也能释放锁
try {
OCR.unLock();
} catch (unlockError) {
printl("释放锁时发生错误: " + unlockError);
}
}
}
/**
* 主函数 - 运行所有示例
*/
function main() {
printl("苹果OCR点击示例集合\n");
// 运行各个示例
ocrClickExample();
ocrClickRandomExample();
ocrRegexClickExample();
ocrIterateAndClickExample();
regionOcrClickExample();
comprehensiveOcrExample();
lockedOcrExample();
printl("\n所有示例执行完毕！");
}
// 调用主函数运行示例
main();
/**
* 使用说明：
* 1. 这个示例文件包含了7种不同的OCR识别和点击方式
* 2. 你可以根据实际需求选择适合的方法
* 3. 在实际使用时，可能需要根据具体应用的界面调整代码
* 4. 对于连续操作，适当添加sleep等待时间以确保操作的稳定性
* 5. 错误处理是必要的，可以根据需要扩展异常处理逻辑
*/

复制代码

quot printl 点击文本示例