根据颜色检查图片中的产品是否合格
受朋友之托,做了一个小软件。只是一个练手,现将思路重现。
需求
模拟一工厂在生产瓶盖,机器是自动为盖子上色。在上色后,要检查瓶盖是否上色正常。
把9个瓶盖成宫形排列,并依次编号。
要求软件,给定一个其准的瓶盖图片,再给一张9个瓶盖的排列图片,判断在图片是有哪几个编号的瓶盖是没有正常上色的。
基准图片
生产图片
在软件中输入这两张图片后能显示第2和5号瓶盖有错误。
最终效果
OK,好,开始解决。
分析
- 判断标准
从所给的图片分析,虽然我们人眼能一眼就看出瓶盖的大小形状和颜色,但机器并不知道。我们要确定一个判断的标准。因为从所给的图片来看,如果判断形状那太麻烦,而且我们可以看出,不同瓶盖之间的颜色差距是非常大的,那么通过颜色来判断就会容易的多。但对于颜色,我们又要再深入考虑。我们的第一反应,如果使用颜色来比较的话那就使用RGB来判断(后面会以另一种方案来实现),但颜色的组成中的值非常的敏感,同种颜色在不同光线中,甚至于同一张照片在不同的时间其RGB颜色都会有很大的差距。不过,这是一个方向,先定下,以颜色来判断,颜色不以一个点,而是以一个区域中的GRB不同颜色的范围值。
- 操作步骤
选择基准图片
缩放图片到固定尺寸(并显示在界面中)
从基准图片中分析出颜色范围
选择检查图片
缩放图片到固定尺寸(并显示在界面中)
把检查图片分割成9份
循环判断9份的小图片的颜色是否与基准颜色相同
输出不合格的编号(在界面中显示)
- 分析基准图片
从图片中可以看出,并不是一张纯色的图片,根据实际情况,我们将选择图片中的内切矩形中的点来综合判断,为快速测试,先用取色器取出RGB颜色,大约B在170以上,R在60以下,G在120左右(后面会发现这种判断真是惨不忍睹)。
- 分析判断切割后的小图片
切割后的图片中的瓶盖位置应该和基准图中的位置差不多,除非是图片拍歪了。要判断是否相同,也是只取圆中的内切矩形的一切颜色来判断。要考虑容错,就像图片中的第4和7号中间被曝光的太严重,在这两个瓶盖中肯定会有大量的白色。把容错值考虑为0.8,也就是在这个矩形中只要有80%的颜色在合格范围内就算合格。(我想当然了,后面的测试证明容错即使是0.4都很吃力)
修正错误
如果按以上的判断方法也可判断出来,但结果就是准确率很低,要求所拍的照片不能有曝光,颜色要正等等。在网上搜索了些信息,得到了另一个有用的信息。那就是HSB,对于RGB来说,颜色变一点点其值就变化的很大,但对于HSB来说,同一颜色的色相度非常的稳定,误差也不会超过0.1,在换成HSB判断后,准确率非常的高,判断时不必再用内切矩形,而是整个小图片,这时的容错值可达到70%以上,就是说在包含了小图片中后面的桌子背景的错误颜色后,它都还能有70%的点是判断正确,实在是很不错。下面就以HSB的判断为准来显示代码。
开始编程
先不用界面,基准图的颜色用取色器取出RGB,再换算成HSB,对应的色相度在0.5到0.6。
先创建一个类起名为Pic,把main方法中的结构做出来,测试两张不同的3*3瓶盖图片
public static void main(String[] args) throws Exception {
String path1 = Pic.class.getClassLoader().getResource("resource/1.jpg").getFile();
String path2 = Pic.class.getClassLoader().getResource("resource/2.jpg").getFile();
System.out.println(new File(path1).getParent());
System.out.println("测试" + path1);
new Pic().testPic(path1);
System.out.println();
System.out.println("测试" + path2);
new Pic().testPic(path2);
}
再来实现testPIc方法,这个方法里我们来分成几步,读取图片,缩放图片,切割图片,判断不合格图片,显示结果
public void testPic(String imgPath) throws IOException {
BufferedImage read = ImageIO.read(new File(imgPath));
BufferedImage fixPic = fixPic(read, 350, 350);
List<BufferedImage> list = getPicList(fixPic);
List<Integer> indexList = getErrorPicIndex(list, 0.5f, 0.6f);
if (indexList.isEmpty()) {
System.out.println("测试结果:没有错误");
} else {
System.out.print("测试结果:编号");
String index = "";
for (int i = 0; i < indexList.size(); i++) {
index += indexList.get(i) + ",";
}
index.substring(0, index.length() - 1);
System.out.println(index + "错误");
}
}
实现缩放图片代码,这里在调用的方法里传过来宽度和高度,定的是350*350,
public BufferedImage fixPic(BufferedImage img, int height, int width) {
Image scaledInstance = img.getScaledInstance(width, height, Image.SCALE_DEFAULT);
BufferedImage newimg = new BufferedImage(width, height, BufferedImage.TYPE_INT_RGB);
Graphics graphics = newimg.getGraphics();
graphics.drawImage(scaledInstance, 0, 0, null);
graphics.dispose();
return newimg;
}
实现切割图片方法,把图片切成3*3的9个图片集合
public List<BufferedImage> getPicList(BufferedImage img) {
int row = 3, col = 3;
List<BufferedImage> list = new ArrayList();
int height = img.getHeight();
int width = img.getWidth();
int drow = height / row;
int dcol = width / col;
for (int i = 0; i < row; i++) {
int y = i * drow;
for (int j = 0; j < col; j++) {
int x = j * dcol;
BufferedImage newimg = new BufferedImage(width / 3, height / 3, BufferedImage.TYPE_INT_RGB);
Graphics graphics = newimg.getGraphics();
graphics.drawImage(img, 0, 0, newimg.getWidth(), newimg.getHeight(), x, y, x + dcol, y + drow, null);
graphics.dispose();
list.add(newimg);
}
}
return list;
}
实现取出不合格图片方法,注意,这里要传两个HSB的H值,也就是我们在上面判断的0.5到0.6在方法体中循环对每个图片进行合格判断
public List<Integer> getErrorPicIndex(List<BufferedImage> list, float min, float max) {
ArrayList indexlist = new ArrayList();
for (int i = 0; i < list.size(); i++) {
if (!isPass(list.get(i), min, max)) {
indexlist.add(i + 1);
}
}
return indexlist;
}
实现对图片合格的判断方法,注意,这里的判断是对图片中的每一个点颜色都进行判断,包含了桌面的背景颜色,所有不可能是100%合格,所以这里fex取的是50%合格率,但在测试时发现,合格率可以高达70%以上,所以也可以设置到0.7。
private boolean isPass(BufferedImage img, float min, float max) {
int width = img.getWidth();
int height = img.getHeight();
int xbegin = 0;
int xend = width;
int ybginx = 0;
int yend = height;
int totleNo = 0, errorNo = 0;
for (int i = xbegin; i < xend; i++) {
for (int j = ybginx; j < yend; j++) {
Color color = new Color(img.getRGB(i, j));
float[] hsb = Color.RGBtoHSB(color.getRed(), color.getGreen(), color.getBlue(), null);
if (hsb[0] >= min && hsb[0] <= max) {
} else {
errorNo++;
}
totleNo++;
}
}
double fex = ((totleNo - errorNo + 0.0) / totleNo);
if (fex > 0.5) {
return true;
} else {
return false;
}
}
好,核心的代码已经完成了。但如果对于界面来说还要一个取基准图片的色相范围的方法。
实现取基准图色相值范围,这里有个思路,怎么来取值。我这么来判断,色相都有一个很小的区间,且变化值不大,值为float类型,基本上都是在小数点后1到2位跳到。那么我把基准图上的所有点的色相值取小数点后1位的整数形,保存到相应下标的数组中,代表的也就是那个色相的小区间(因为是小数点后1位的值),那么再有一个点也是这个区间的,我就把这个数组下标对存的值自增加1。最后就能得到在不同区间中色相的存在分布,因为基准图中大部分都是蓝色,所以取分布值最大的那个数组下标,也就是蓝色所在的色相区间。误差不超过0.1
public float[] getHSBhmn(BufferedImage newImage) {
int width = newImage.getWidth();
int height = newImage.getHeight();
int xbegin = 0;
int xend = width;
int ybegin = 0;
int yend = height;
float max = 0, maxindex = 0;
int[] ints = new int[10];
for (int i = xbegin; i < xend; i++) {
for (int j = ybegin; j < yend; j++) {
Color color = new Color(newImage.getRGB(i, j));
float[] hsb = Color.RGBtoHSB(color.getRed(), color.getGreen(), color.getBlue(), null);
ints[(int) (hsb[0] * 10)] = ints[(int) (hsb[0] * 10)] + 1;
}
}
for (int i = 0; i < 10; i++) {
if (ints[i] > max) {
maxindex = i + 1;
max = ints[i];
}
}
return new float[]{(maxindex - 1) * 0.1f, maxindex * 0.1f};
}
好了,核心代码全部完成。测试,OK。
再就是做界面了,这没什么好写的。用netbeans拖拖画画,简单的就搞定,再加上这个Pic类中的方法代码,一个小软件成型了。