### **零代码入门:如何用AutoML快速构建测试模型**

---

**——基于Google AutoML与Teachable Machine的实战指南**

---

#### **引言：AutoML如何赋能黑盒测试？**

作为黑盒测试工程师，我们的核心任务是验证软件功能是否符合需求，而无需关注内部代码逻辑。然而，随着AI技术的普及，测试场景逐渐复杂化——例如，**UI元素识别**、**异常界面检测**、**图像验证**等场景需要更高效的解决方案。

**AutoML（自动机器学习）**的出现，让非算法背景的测试人员也能快速构建AI模型，解决传统测试中依赖人工验证的痛点。本文以Google AutoML和Teachable Machine为例，结合Web端与App端测试场景，演示如何零代码训练图像分类模型，并分析其适用性与局限性。

---

### **一、AutoML工具简介与适用场景**

#### **1. 工具对比**

| **工具** | **Google AutoML Vision** | **Teachable Machine** |

|---------------------|--------------------------------|--------------------------------|

| **适用场景** | 复杂图像分类（如多标签识别） | 快速原型验证（如简单二分类） |

| **数据量要求** | 需数百至数千张标注图片 | 几十张图片即可训练 |

| **部署方式** | 支持API调用、本地部署 | 生成模型链接或嵌入网页 |

| **测试场景适配** | Web端大规模界面元素检测 | App端快速验证图标/按钮识别 |

#### **2. 黑盒测试中的典型应用**

- **Web端测试**：验证页面元素渲染正确性（如广告图、按钮样式）。

- **App端测试**：检测UI异常（如文字重叠、图标缺失）。

- **跨平台兼容性测试**：识别不同设备上的显示差异。

---

### **二、实战：图像分类模型构建与测试集成**

#### **案例背景**

假设需测试某电商App的商品详情页，要求自动检测“加入购物车”按钮是否正常显示。传统方法需人工逐条验证，而通过AutoML可训练模型自动识别按钮状态。

---

#### **1. 使用Teachable Machine快速验证原型**

**适用场景**：App端测试中快速验证按钮/图标识别。

**步骤**：

1. **数据准备**：

- 收集“正常按钮”和“异常按钮”（如遮挡、颜色错误）截图各50张。

- 按类别上传至Teachable Machine的“Class 1”和“Class 2”。

2. **模型训练**：

- 点击“Train Model”，选择“Standard Image Model”（默认参数）。

- 训练完成后，导出为TensorFlow.js格式或生成API接口。

3. **测试集成**：

- 在App自动化脚本中调用模型API，实时截屏并传入模型预测：

```python

# 示例代码（使用Python + Appium）

from teachable_machine import TeachableMachine

model = TeachableMachine(model_url="YOUR_MODEL_LINK")

def check_button_status():

screenshot = driver.get_screenshot_as_base64()

prediction = model.predict(screenshot)

assert prediction["class"] == "正常按钮", "按钮显示异常！"

```

---

#### **2. 使用Google AutoML构建高精度模型**

**适用场景**：Web端复杂界面元素的批量检测。

**步骤**：

1. **数据准备与标注**：

- 在Google Cloud控制台创建AutoML Vision数据集，上传包含多类元素的Web页面截图（如按钮、广告图、商品卡片）。

- 使用矩形框标注每个元素的类别（支持多人协作标注）。

2. **模型训练与评估**：

- 选择“分类模型”类型，启动训练（耗时约1-3小时）。

- 查看混淆矩阵和精确率/召回率，优化数据质量。

3. **部署与测试脚本调用**：

- 部署模型至云端，生成REST API接口。

- 集成到Selenium脚本中，实现全自动页面元素校验：

```python

# 示例代码（Web端）

from google.cloud import automl_v1

def detect_ui_elements(url):

driver.get(url)

screenshot = driver.save_screenshot("page.png")

with open("page.png", "rb") as image_file:

content = image_file.read()

payload = {"image": {"image_bytes": content}}

response = prediction_client.predict(model_path, payload)

for annotation in response.payload:

if annotation.display_name == "广告图" and annotation.score < 0.9:

raise AssertionError("广告图未正确加载！")

```

---

### **三、适用场景与局限性分析**

#### **1. AutoML的优势场景**

- **快速响应需求**：无需编码，1天内完成从数据到模型部署。

- **小样本学习**：Teachable Machine仅需几十张图片即可生成可用模型。

- **跨平台兼容性测试**：通过图像识别统一验证Web/App/H5页面。

#### **2. 局限性及应对策略**

| **局限性** | **对测试的影响** | **解决方案** |

|--------------------------|--------------------------------|----------------------------------|

| 依赖高质量标注数据 | 数据噪声导致误判 | 人工复核+数据增强（旋转/裁剪） |

| 无法处理动态内容（如视频）| 仅支持静态图像分析 | 结合OCR工具提取文本辅助判断 |

| 模型解释性差 | 难以定位失败原因 | 记录预测置信度并关联日志分析 |

---

### **四、结论：何时选择AutoML？**

- **推荐使用**：

- 测试场景固定且需高频重复验证（如每日构建的UI回归测试）。

- 非算法团队需快速验证AI可行性。

- **不推荐使用**：

- 需要定制复杂逻辑（如多模态交互验证）。

- 测试数据极度不均衡或变化频繁。

---

**未来展望**：随着AutoML工具的迭代，测试工程师可进一步将其应用于**异常流量检测**、**用户行为模式分析**等领域，推动测试智能化转型。

**附录**：

- [Google AutoML Vision官方文档](
https://cloud.google.com/vision/automl/docs)

- [Teachable Machine实战案例](
https://teachablemachine.withgoogle.com/train)

- [测试数据集标注工具推荐](https://www.cvat.org/)

---

通过本文的实操指南，黑盒测试工程师可快速掌握AutoML工具，将AI能力融入日常测试流程，显著提升验证效率与覆盖率。