Python +adb元素定位

### Python 中使用 ADB 进行元素定位 在 Python 中，可以通过 `subprocess` 模块调用 ADB 命令来完成 Android 设备上的操作。虽然 ADB 并不像 Appium 那样提供高级的 API 来直接定位 UI 元素，但它仍然能够通过一些间接方式实现这一目标。 以下是基于 ADB 的一种常见方法： 1. 使用 `uiautomator dump` 获取当前界面的 XML 文件。 2. 解析该 XML 文件以找到特定的 UI 元素位置。 3. 使用坐标点击的方式模拟触摸事件。 #### 示例代码 以下是一个完整的示例代码： ```python import subprocess import xml.etree.ElementTree as ET def get_ui_xml(device_id=None): """ 获取设备当前界面的UI布局XML数据并保存到本地文件中。 """ command = ["adb"] if device_id: command.extend(["-s", device_id]) command.append("shell uiautomator dump /sdcard/ui.xml") result = subprocess.run(command, stdout=subprocess.PIPE, stderr=subprocess.PIPE) if result.returncode != 0: raise Exception(f"Error dumping UI: {result.stderr.decode()}") pull_command = ["adb"] if device_id: pull_command.extend(["-s", device_id]) pull_command.extend(["pull", "/sdcard/ui.xml", "./ui.xml"]) subprocess.run(pull_command) def parse_ui_xml(file_path="ui.xml"): """ 解析UI布局XML文件，返回指定资源ID或类名对应的元素边界信息。 """ tree = ET.parse(file_path) root = tree.getroot() elements = [] for node in root.iter(): bounds = node.attrib.get("bounds") resource_id = node.attrib.get("resource-id") class_name = node.attrib.get("class") if bounds and (resource_id or class_name): # 如果有边界信息，则记录下来 coordinates = [int(i) for i in bounds.replace("[", "").replace("]", ",").split(",")[:4]] element_info = { "resource-id": resource_id, "class": class_name, "coordinates": tuple(coordinates), } elements.append(element_info) return elements def click_element(x, y, device_id=None): """ 根据给定的屏幕坐标发送点击指令。 """ command = ["adb"] if device_id: command.extend(["-s", device_id]) command.extend(["shell", "input", "tap", str(x), str(y)]) subprocess.run(command) # 主流程演示 try: # Step 1: Dump 当前界面的UI结构 get_ui_xml() # Step 2: 解析XML文件查找目标元素 ui_elements = parse_ui_xml() target_element = None for elem in ui_elements: if elem["resource-id"] == "example.target.resource.id": target_element = elem break if not target_element: raise Exception("Target element not found!") # 提取目标元素的位置信息 x1, y1, x2, y2 = target_element["coordinates"] # 计算中心点作为点击位置 center_x = (x1 + x2) // 2 center_y = (y1 + y2) // 2 # Step 3: 执行点击动作 click_element(center_x, center_y) except Exception as e: print(f"Operation failed: {e}") ``` 此脚本实现了以下几个功能： 1. **获取 UI 结构**：通过 `adb shell uiautomator dump` 将当前活动窗口的 UI 层次导出为 XML 文件[^1]。 2. **解析 XML 数据**：读取 XML 文件中的节点信息，提取每个控件的边界矩形以及其属性（如 `resource-id`, `class` 等）[^1]。 3. **计算点击位置**：根据目标控件的边界矩形，计算其中心点，并将其转换成实际触屏坐标的输入命令[^1]。 --- ### 注意事项 - 上述代码假设只有一个符合条件的目标元素存在；如果可能有多处匹配项，则需进一步筛选逻辑。 - 对于某些特殊场景下的复杂交互（比如滑动列表寻找动态加载的内容），还需要额外处理滚动行为[^4]。