图案对象的生成与编辑

Pattern对象需要先通过模型管理器中创建,通过在屏幕上拾取,将屏幕上的截屏区域生成为图案对象。

添加图案对象

添加图案对象有两种模式,一种是直接在屏幕上选取,另一种是在模型管理器中的截屏图像上创建。

为使图案自动化的识别效果达到最优,建议采用与最终运行环境相一致的屏幕缩放倍率来截取图片素材。这是因为不同的屏幕缩放倍率可能会影响到图案的识别效果。因此,在录制或截取图片素材时,最好确保环境的一致性,以确保在实际运行环境中能达到最佳的图案识别效果。

1. 从屏幕上创建

这种方式直接在屏幕上选取,创建的是独立的图案对象。

打开模型管理器,点击工具栏的识别图案对象进入截图状态,这时候在屏幕上拖拽鼠标选中的区域会被截屏,同时,截图框选目标区域作为一个图案对象Pattern添加到模型中。

识别图案对象

你可以将缺省命名的图案对象改名成目标的名称。

2. 创建子图案对象

在模型管理器中,图案对象可以作为其他对象的子对象存在。创建子图案可以从对象截屏上创建,这样可以通过对象级联的方式用多种识别技术去识别控件,精准的操作需要的界面。

我们用Windows自带的绘图板(mspaint)举例:

如图所示,我们如果使用Windows自动化技术识别绘图板中的调色板控件,只能是整体识别,无法识别到某个颜料的控件:

然后我们可以在调色板对象下创建图案控件,进一步识别其中的颜色按钮:

  1. 点击“控件截屏”标签上的“创建子图案”按钮,进入创建子图案模式。
  2. 在某个色块上拖拽区域,如褐色,为该区域的图像生成图案控件,并为这个子图案对象命名,如"brown"。
  3. 点击确定按钮后,会在调色板对象下生成子图案对象:

子图案对象的匹配也会如同其他的级联对象类似的方式进行。对于上述的场景,会先用Windows自动化定位到调色板控件,然后再在调色板控件的区域中,使用图像自动化定位到合适的区域后执行操作。

这种方式同时利用了对象识别技术缩小了定位区域,减少了干扰,提高了图像匹配的准确性和速度。

操作图案对象

高亮

使用工具栏上的高亮按钮可以高亮图案对象匹配到的结果(默认高亮相似度最高的一个结果)。
高亮匹配结果

高亮以及针对图案对象的操作都不会以模型管理器里面对象的预览截图为目标。
匹配禁区

调整匹配参数

由于图像识别的特性,偶尔需要修改识别的精度,或是提高相似度的需求来减少误识别;或是降低相似度的需求来提高容错。
调整图案参数
点击上图中Pattern对象属性栏中的调整图案参数按钮进入调整界面,下图是界面上的调整面板,可以在上面通过拖拽设置similarity和scaleFactor的值,也可以通过文本框输入设置。关于这些参数的更详细设置,参考图案对象的识别属性
调整面板

在顶部的调节面板中修改相似度的阈值,在这里会匹配和高亮所有满足条件的结果,相比与工具栏的高亮只高亮最相似的一个匹配结果来说,这里可以看到更全面的匹配结果。

选取图案的技巧

图案对象选择和设置时了解一些技巧有助于图案自动化的高效开发和健壮运行。

  1. 选取包含有效内容的尽量小的区域。如果要匹配一块空白区域中的某个图标,应该只选这个图标区域,而不要包含其他的空白区域。
  2. 添加图案到模型后,可通过高亮或调整图案参数的界面确认能够且仅能够匹配目标的图案,而不会包含其他不需要的界面。
  3. 在有其他对象识别技术能够缩小定位范围的时候使用级联方式,让图案控件成为其他控件对象的子对象。更多的详情,请参考[对象的级联]。

调试方法

Pattern对象的属性栏的操作方法标签页看到CukeTest提供的图案对象操作方法,点击调试即可运行选中的方法。
调试Pattern对象

results matching ""

    No results matching ""