halcon标定

机器人视觉控制^[1-2]是机器人领域的重要研究方向, 也是当前的研究热点之一。其系统按照摄像机与机器人的相对位置分为Eye-to-Hand系统和Eye-in-Hand系统。Eye-to-Hand系统将摄像机固定安装于机器人本体之外。随着工业化水平与科技的不断发展, 劳动力成本增加, 对定位装配的精度和自动化要求也越来越高。基于机器视觉技术的工业机器人定位^[3-4]具有定位精度高、自动化和智能化水平高、劳动力成本低等优点, 因此在定位装配领域有着广泛的应用。

本文建立了机器人Eye-to-Hand系统, 主要论述了一种基于HALCON的摄像机内外部参数和手眼关系标定方法与其实验过程。该标定方法具有操作简单, 定位精度高等特点, 适用于产品抓取定位。

机器人视觉系统的标定其实是获取摄像机图像坐标系(ICS)与机器人坐标系(RCS)之间转换关系的过程, 在标定机器人视觉系统(Eye-to-Hand)之前, 首先要对摄像机进行标定。通常摄像机镜头会存在径向、切向和偏心等畸变, 因此需要选择合适的畸变模型对摄像机进行标定。工业镜头的畸变主要为径向畸变, 为线性畸变模型; 非线性模型畸变包括径向、切向和偏心等畸变。对于工业镜头, 使用非线性畸变模型往往不能提高其标定精度, 而且还会造成求解的不稳定^[5-6]; 采用线性畸变模型, 可以使标定精度提高一个数量级, 与非线性畸变模型相比标定精度差别不大。因此本文在论述中采用线性畸变模型来标定机器人视觉系统, 其标定模型如图 1所示。

图 1

Figure 1

图 1 机器人视觉标定模型Figure 1 Model of robot vision calibration

图 1中, (O_c,X_c, Y_c, Z_c)为摄像机坐标系(CCS),O_c即为摄像机的投影中心, z轴与摄像机的主光轴重合; (O_w,X_w, Y_w, Z_w)为机器人坐标系(世界坐标系WCS); (O_i,X_i, Y_i)为成像平面坐标系(IPCS); (O_u,X_u, Y_u)为图像坐标系(ICS)。空间一点P在CCS下的坐标为P(x_c,y_c, z_c); 在WCS下的坐标为P(x_w,y_w, z_w)。若不考虑畸变, 则点P以透视投影在成像平面投影, 投影点为P_n(x_n,y_n); 若考虑径向畸变, 镜头的畸变将导致P发生偏移, 投影点为(x_i,y_i)。

建立WCS和ICS的转换关系需要以下3个步骤:

(1) 点P(x_w, y_w,z_w)变换到点P(x_c, y_c,z_c), 其关系如式(1)所示, R和t共同构成摄像机的外参数, 决定了CCS和WCS之间的相对位置。

(1)

式中:R为旋转矩阵; t为一个平移向量。

(2) 点P(x_c, y_c,z_c)变换到点(x_i, y_i), 其关系式为

(2)

式中:f为摄像机的主距; 考虑畸变, 设为畸变后的成像平面内的坐标, 则径向畸变关系式为

(3)

(3) 点变换到ICS内的点, 其关系式为

(4)

式中:s_x和s_y为缩放比例因子; 点(c_x,c_y)为图像的主点, 对于针孔摄像机模型而言, 这个点是投影中心O_c在成像平面上的投影。

综上所述, 摄像机标定实际上是确定内参c_x、c_y、s_x、s_y、f、k和外参R、t的过程, 标定摄像机是标定机器人视觉系统的必要条件。

手眼标定之前, 必须通过固定在机器人末端的工具来建立机器人坐标系和图像坐标系之间的关系。与传统的使用固定针尖人工寻找图像点的方式相比, HALCON软件自带标定板具有标定点容易提取、标定精度高、方向唯一等特点, 因此本文标定摄像机内外参数和机器人视觉的标定均采用HALCON标定板来完成。标定板如图 2所示。通常, 标定板的尺寸为摄像机摄影的1/2~1/3;背光源选择玻璃标定板, 正面光源选择陶瓷标定板, 视野范围大的, 标定精度不高的可以选择打印的标定板。

图 2

Figure 2

图 2 标定板Figure 2 Calibration plate

典型的四轴工业机器人如图 3所示, 机器人坐标点通常是末端z轴的旋转中心, 如何找到其对应的图像坐标点, 建立机器人坐标系和图像坐标系的关系, 是标定成功与否的关键。一般可以通过在末端固定特制的针尖来寻找机器人坐标的对应图像点。该方法虽然简单易行, 但是受针尖加工误差、安装误差和针尖对焦困难等影响, 不能获得良好的标定效果。将标定板固定于机器人末端, 取标定板中心点为Mark点, 在摄像机视野内, 旋转机器人z轴, 获取多张图像, 计算末端中心在图像坐标上的对应点。

图 3

Figure 3

图 3 四轴工业机器人Figure 3 4-orientation industrial robot

设(u_c, v_c)为末端中心点, 则点标定板中心圆点坐标与末端中心的距离为

(5)

利用最小二乘法解式(5), 因为式(5)中有3个未知变量, 所以至少需要3个点(即需要3个旋转位置)来计算末端中心。

在标定完摄像机内外参数之后, 可以指定任意一个坐标系作为摄像机的世界坐标系。考虑到Eye-to-Hand系统中摄像机和机器人的相对位置固定, 所以采用机器人的本体坐标系作为摄像机的外参数(世界坐标系), 通过上述标定过程, 即可完成Eye-to-Hand系统的标定。应该注意的是, 在2.2中获得末端中心位置的图像坐标后, 每次在摄像机视野内移动机器臂, 需要保持机器人R轴和z轴的值不变, 获取的图像点增加一个偏移量, 换算成机器人末端中心的图像坐标, 即

(6)

其中, (u₀, v₀)为计算旋转中心时的一个Mark点, (Δu, Δv)为偏移量。

本实验是在日本ESPON公司的LS3-401S型号机器人上完成的。摄像机采用BASLER型号ACA1300-30GM的工业相机, 固定于第2机械臂下方, 并于镜头正上方固定一环形光源。视野大小为200 mm×150 mm, 选取标定板尺寸为100 mm×100 mm的自制打印标定板, 其中两张拍摄图如图 4~5所示。

图 4

Figure 4

图 4 标定板Figure 4 Calibration plate

图 5

Figure 5

图 5 标定板坐标Figure 5 Coordinate in calibration plate

整个机器人系统标定包括摄像机内参标定、计算末端中心和手眼标定, 三个模块均需要通过标定板来寻找图像Mark点。其算法流程如图 6~8所示。

图 6

Figure 6

图 6 寻找Mark点Figure 6 Find Marks

图 7

Figure 7

图 7 摄像机标定与末端中心计算Figure 7 Camera calibration and terminal center calculation

图 8

Figure 8

图 8 手眼标定Figure 8 Hand-to-Eye calibration

本文根据上述算法流程进行实验, 采集15张图像来标定摄像机内参数; 采集8张图像来计算机器人末端中心; 采集12张图像来手眼标定。标定得摄像机内参数:f=10.4 mm,k=-3 124.1, s_x=3.75×10^-6 mm, s_y=3.75×10^-6 mm,c_x=693.2, c_y=404.2, 标定误差error=0.15。末端轴心偏移量:Δu=2.16 pixel, Δv=-2.34 pixel。机器人坐标系如表 1所示。

表 1 (Table 1)

表 1 手眼标定结果Table 1 The result of Eye-to-Hand 标定变量 X/m Y/m Z/m X轴旋转角/(°) Y轴旋转角/(°) Z轴旋转角/(°) 标定结果 -0.72 0.61 1.43 359.926 0.014 0.430

表 1 手眼标定结果Table 1 The result of Eye-to-Hand

为验证标定的准确性, 在标定机器人视觉系统后, 采用校验点真实的世界坐标即机器人坐标和利用标定后参数所求得的坐标之差的平均值作为标定精度的度量参数, 如式(7)所示。

(7)

分别计算横坐标X_n=0.148 mm, 纵坐标Y_n=0.084 mm。又因为ESPON机器人的XY轴坐标精度为0.01 mm, 本文采用的摄像机像素精度为0.154 mm, 所以可得标定精度在一个像素范围内, 精度较高。

另外计算得横坐标最大差值为0.361 mm, 横坐标最大差值为0.143 mm, 横坐标差值的标准差为0.128 mm, 纵坐标标准差为0.049 mm。文献[7]指出, 标准差可以表征测量系统的不确定度, 因此横纵坐标的不确定度都在一个像素范围内, 精度较好。

采用本文所述方法进行Eye-to-Hand手眼标定, 充分发挥了HALCON视觉软件强大的计算分析能力, 其标定结果具有精度高、操作简单、开发周期短、跨平台性好等特点^[8], 适用于工业上需要抓取定位及装配的机器人视觉系统。