C0726P04-图像识别模块测试结果分析
1. 概述
我们根据图像识别模块的测试方案进行了测试，并且获得了测试数据。
测试数据集如下：
https://c0726.oss-cn-beijing.aliyuncs.com/image-resource/ImageAssets.zip
点击链接下载
需要注意的是，本文档给出的数据是严格按照测试方案进行测试的，是可复现的，但是可能测试人员在数据预处理、清洗或者其他步骤出错导致了准确率的下降，这种情况是存在的，例如A6(2)和A5(1)过于相似，但还是把它分成了两个不同的工件测试的，因此该文档的数据仅用于参考，可根据实际情况调节。
2. 数据集构建
2.1 数据集组成
实验数据集包含9类不同的穿舱件（A1-A9），每类包含2-3张图像样本。数据集按照训练集和测试集进行划分：
- 训练集：10张图像，用于特征提取和模型训练
- 测试集：8张图像，用于系统性能评估
2.2 数据标注
每张图像按照以下规则进行标注：
- 工件ID（A1-A9）：表示穿舱件类别
- 图像序号：同一工件内的图像编号
- 系统标识符：格式为"工件ID-图像序号"
3. 实验设计与方法
3.1 测试流程
- 使用训练集图像建立特征数据库
- 对每张测试图像进行相似度检索
- 系统返回相似度降序排列的候选列表
- 记录队首元素（最高相似度匹配）及其评分
- 统计不同阈值下的检索结果数量
3.2 评估指标
- 队首准确率：最相似图像是否为正确匹配
- 相似度阈值分析：
- 可用阈值（大于0.4）：候选结果数量
- 及格阈值（大于0.6）：高质量匹配数量
4. 实验结果
4.1 整体性能统计
| 性能指标 | 数值 | 百分比 |
|---|---|---|
| 测试样本总数 | 8 | 100% |
| 队首正确匹配 | 6 | 75.0% |
| 队首错误匹配 | 2 | 25.0% |
| 平均队首相似度 | 0.6138 | - |
| 平均可用结果数(大于0.4) | 3.25 | - |
| 平均高质量结果数(大于0.6) | 0.625 | - |
4.2 详细测试结果
表1：穿舱件图像识别系统测试结果详表
| 测试样本 | 目标工件 | 队首匹配结果 | 相似度评分 | 匹配正确性 | 候选数量(大于0.4) | 高质量数量(大于0.6) |
|---|---|---|---|---|---|---|
| A1-2 | A1 | A1-1 | 0.8099 | ✓ | 4 | 2 |
| A2-2 | A2 | A2-1 | 0.7060 | ✓ | 4 | 1 |
| A3-2 | A3 | A4-1 | 0.5177 | ✗ | 5 | 0 |
| A4-2 | A4 | A4-1 | 0.6618 | ✓ | 5 | 1 |
| A5-2 | A5 | A5-1 | 0.5676 | ✓ | 2 | 0 |
| A6-2 | A6 | A5-1 | 0.6222 | ✗ | 3 | 1 |
| A7-3 | A7 | A7-2 | 0.5838 | ✓ | 3 | 0 |
| A8-2 | A8 | A8-1 | 0.4176 | ✓ | 1 | 0 |
| A9-2 | A9 | A9-1 | 0.5545 | ✓ | 3 | 0 |
注：粗体标记表示错误匹配结果，可能由于人为失误或其他失误导致的的错误匹配，可视情况修改。
4.3 性能分析
4.3.1 队首准确率分析
系统在8个测试样本中实现了6次正确匹配，队首准确率为75.0%。具体表现如下：
正确匹配案例（6/8）：
- A1-2 → A1-1（相似度：0.8099）
- A2-2 → A2-1（相似度：0.7060）
- A4-2 → A4-1（相似度：0.6618）
- A5-2 → A5-1（相似度：0.5676）
- A7-3 → A7-2（相似度：0.5838）
- A8-2 → A8-1（相似度：0.4176）
错误匹配案例（2/8）：
- A3-2 误匹配为 A4-1（相似度：0.5177）
- A6-2 误匹配为 A5-1（相似度：0.6222）
4.3.2 相似度分布分析
队首相似度统计：
其中，表示第个测试样本的队首相似度，为测试样本总数。
相似度区间分布：
- 高相似度区间（大于0.7）：2个样本（25.0%）
- 中等相似度区间（0.5-0.7）：5个样本（62.5%）
- 低相似度区间（小于0.5）：1个样本（12.5%）
4.3.3 检索深度分析
阈值性能对比：
| 阈值设置 | 平均检索数量 | 标准差 | 最小值 | 最大值 |
|---|---|---|---|---|
| 大于0.4（可用） | 3.25 | 1.39 | 1 | 5 |
| 大于0.6（高质量） | 0.625 | 0.74 | 0 | 2 |
从统计结果可以看出：
- 可用阈值（大于0.4）：平均每次检索返回3.25个候选结果，表明系统具有良好的召回能力
- 高质量阈值（大于0.6）：平均仅返回0.625个高质量匹配，说明系统在精确匹配方面仍有提升空间
5. 结果讨论
在系统优势方面，该系统展现出三方面核心性能特征：其一，整体识别能力较强，75% 的队首准确率实证了系统在图像特征提取与匹配环节具备有效的执行能力，能够实现对目标对象的初步精准定位；其二，相似度评分体系设计合理，数据显示正确匹配结果的平均相似度（0.643）显著高于错误匹配结果（0.570），表明该评分机制可有效区分匹配结果的有效性；其三，检索覆盖度表现良好，在可用阈值条件下，系统平均输出 3.25 个候选结果，为用户后续决策提供了充分的选择空间，保障了检索过程的灵活性。
与此同时，系统仍存在三方面明显局限性有待突破：第一，精确匹配率偏低，在 0.6 的相似度阈值设定下，仅 62.5% 的测试样本能够获得高质量匹配结果，反映出系统在高精准度匹配任务中的执行能力不足；第二，类间相似性干扰问题突出，具体表现为 A3 与 A4、A5 与 A6 类别间存在特征混淆现象，导致系统在相近类别区分任务中易产生误判；第三，受限于小样本数据条件，部分工件类别仅包含单一训练样本，该数据规模难以支撑系统对类别特征的充分学习，进而影响了特征模型的泛化能力与识别稳定性。