图像处理——图像及其表达与性质

---

1 若干概念

• 图像(image)：我们通常在直观上理解其意义，例如人类眼睛视网膜上的图像或者TV摄像机抓取的图像。
• 亮度(brightness)：集成了不同的光学量，将亮度作为基本量使我们得以避免对图像的成像过程进行描述。
• 亮度图像(intensity image)：我们将这种记录了明亮度信息的2D图像。
• 透视投影(perspective projection)：u=xfz$u=\frac{xf}{z}$ v=yfz$v=\frac{yf}{z}$
• 
• 灰阶(gray-level)：在单色图像中最低值对应于黑，而最高值对应于白。在他们之间的灰度值是灰阶。
• 数字图像的品质随着空间、频谱、辐射计量、时间分辨率增长而提高
  
  • 空间分辨率(spatial resolution)：由图像平面上图像采样点间的接近程度确定的。
  • 频谱分辨率(spectral resolution):由传感器的光线频率带宽决定的。
  • 辐射计量分辨率(radiometric resolution):对应于可区分的灰阶数量。
  • 时间分辨率(time resolution):取决于图像获取时间采样间隔。

2 图像数字化

• 采样(sampled)：将f(x,y)$f(x,y)$采样为一个M×N$M\times N$的矩阵。
• 图像量化(quantization)：给每一连续的样本数值一个整数数字。

2.1 采样

• 一个连续图像在采样点处被数字化，这些采样点是在平面上排列的，称它们的几何关系为栅格(grid).
• 光栅(raster):在点之间定义了相邻的栅格。
• 像素(pixel)（图像元素 image element）:栅格中一个无限小的采样点对应于数字化图像中的一个像元。

2.2 量化

• 量化（quantization）:采样图像数值fs(jΔx,kΔy)$f_s(j\mathrm{\Delta }x,k\mathrm{\Delta }y)$用一个数字表示。将图像函数的连续数值（亮度）转变为其数字等价量的过程。
• 量化方式：b位表示图像亮度的数值，那么亮度阶就是k=2b$k=2^b$。

2.3 数字图像性质

2.3.1 数字图像的度量和拓扑序列

• 距离满足的条件
  
  1. 同一性：D(p,q)≥0,当且仅当 p=q时D(p,q)=0$D(p,q)\ge 0,当且仅当p=q时D(p,q)=0$
  2. 对称性：D(p,q)=D(q,p)$D(p,q)=D(q,p)$
  3. 三角不等式：D(p,r)≤D(p,q)+D(q,r)$D(p,r)\le D(p,q)+D(q,r)$
• 常用的距离度量
  
  • 欧式距离(Euclidean distance ) : DE[(i,j),(h,k)]=(i−h)2+(j−k)2−−−−−−−−−−−−−−−√$D_E[(i,j),(h,k)]=\sqrt{(i-h{)}^2+(j-k{)}^2}$
  • 城市街区距离(city block distance):D4[(i,j),(h,k)]=|i−h|+|j−k|$D_4[(i,j),(h,k)]=|i-h|+|j-k|$
  • 棋盘距离(chessboard distance)：D8[(i,j),(h,k)]=max(|i−h|,|j=k|)$D_8[(i,j),(h,k)]=max(|i-h|,|j=k|)$
• 像素的邻接性：任意两个像素如果它们之间的距离D4=1$D_4=1$称为4-邻接(4-neighbors)的。
• 区域(regions)：彼此邻接的像素的重要集合。在集合论中，区域是一个连通集。更具体的说法：如果我们定义从像素P$P$到像素Q$Q$的路径为一个点序列A1,A2,⋯An$A_1,A_2,\cdots A_n$，其中A1=p,An=Q$A_1=p,A_n=Q$，且Ai+1是Ai$A_{i+1}是A_i$的邻接点，i=1,2,⋯,n−1$i=1,2,\cdots ,n-1$，那么区域(regions) 是指这样的集合。其中任意两个像素之间都存在着完全属于该集合的路径。
• 连通(contiguous) 如果两个像素之间存在一条路径，那么这些像素就是连通的。关系是：自反的，对称的，传递的。
• 假设Ri$R_i$是“连通”关系产生的不想交的区域，进一步假设这些区域与图像的边界不接触。设区域R是所有这些区域Ri$R_i$的并集，Rc$R^c$是区域R的相对于图像的补集合。我们称包含图像边界的RC$R^C$的连通子集合为背景(background)，而称补集合RC$R^C$的其他部分为孔(holes)。如果区域中没有孔，我们称之为简单连通(simply contigous)区域。等价地，简单连通区域的补集合是连通的。有孔的区域称为复连通(multiple contigous)。
• 距离变化（distance transform）：距离函数（distance function），斜切算法（chamfering algorithm）像素与某个图像子集的距离。所产生的的图像在该子集元素位置处的像素值为0，邻近的像素具有较小的值，而离它远的数值比较大。
• 局部掩膜(mask)遍历图像
  
  • 第一遍：从左上角开始，水平从左到右直至图像边界，然后返回到下一行开始出继续。
  • 第二遍：从右下角开始，使用一个不同的局部掩膜，从右至左，从上到下
• 距离变化算法
  
  1. 按照一种距离度量D，D是D4$D_4$或D8$D_8$，对大小为M×N$M\times N$的图像的一个子集S计算距离变化，建立一个M×N$M\times N$的数组F并作初始化：子集S中的元素置为0，其他置为无穷大。
  2. 按行遍历图像，从上到下，从左到右，对于上方和左面的邻接像素。设F(p)=min[F(p),D(p,q)+F(q)]$F(p)=min[F(p),D(p,q)+F(q)]$。
  3. 按行遍历图像，从下到上，从右到左。对于下方和右面的邻接像素。设F(p)=min[F(p),D(p,q)+F(q)]$F(p)=min[F(p),D(p,q)+F(q)]$。
  4. 数组F中得到的是子集S的斜切。
• 准欧式距离(quasi-Euclidean distance):
  DQE[(i,j),(h,k)]={|i−h|+(2–√−1)|j−k|(2–√−1)|i−h|+|j−k|当|i−h|>|j−k|其他(2)$$\begin{array}{}\text{(2)}& D_{QE}[(i,j),(h,k)]=\{\begin{array}{rl}|i-h|+(\sqrt{2}-1)|j-k|& 当|i-h|>|j-k|\\ (\sqrt{2}-1)|i-h|+|j-k|& 其他\end{array}\end{array}$$
• 边缘(edge)：它是一个像素和其直接邻域的局部性质。它是一个有大小和方向的矢量。边缘计算的对象是具有很多亮度级别的图像。计算边缘的方式是计算函数的梯度。
• 裂缝边缘(***** edge)：在像素间创建了一个结构体，与单元复合(cellular complexes)的结构类似。每个像素有四个裂缝边缘，由其4-邻接关系定义而得，裂缝边缘的方向沿着亮度增大的方向，是90∘${90}^{\circ }$ 的倍数。
• 边界(border):区域R的边界是它自身的一个像素集合，其中的每个点具有一个或多个R外的邻接点。
  
  • 内部边界
  • 外部边界
• 区域的凸性：如果区域内的任意两点连成一条直线而这条线完整地位于区域内。
• 凸包：包含输入区域的一个最小凸区域，其输入区域本身可以是非凸的。
• 拓扑性质(topological properties)：基于距离的概念。橡皮面变换(rubber sheet transformation。

3.2 直方图

• 亮度直方图(beightness histogram)：hf(z)$h_f(z)$给出图像中亮度值z出现的频率，一幅有L个灰阶的图像的直方图具有L个元素的一位数组表示。
• 计算亮度直方图
  
  1. 数组hf$h_f$的所有元素赋值为0
  2. 对于图像f的所有像素，做hf[f(x,y)]+1$h_f[f(x,y)]+1$
• 数字图像的直方图一般都有很多的极大值和极小值，这会使进一步处理变的负载。可以通过对直方图进行局部平滑来避免。可以利用相邻直方图元素的局部平均来做。
  
  • 新的直方图公式为h′f(z)=12K+1∑i=−kkhf(z+i)$h_f^{{}^{\prime }}(z)=\frac{1}{2K+1}\sum _{i=-k}^k{h}_f(z+i)$
  • 是一个常量，代表平滑所使用的邻域的大小。
• 高斯模糊(Gaussian blurring)

3.3 熵

• 熵H(Entroyp)就可以估计出图像的信息量
• 信息熵(information entropy):直觉理解与关联于给定概率分布的事件的不确定性大小有关。熵可以作为”失调”的度量，当失调水平上升时，熵就增加而事件就越来越难于预测。
• 假设离散随机变量X的可能结果是x1,x2,⋯,xn$x_1,x_2,\cdots ,x_n$，设P(xk)$P(x_k)$是出现xk，(k=1,2,⋯,n)$x_k，(k=1,2,\cdots ,n)$的概率，熵定义为H(X)=∑k=1np(xk)log2(1(p(xK))=−∑k=1np(xk)log2p(xk)$H(X)=\sum _{k=1}^{n}p(x_k)lo{g}_2(\frac{1}{(p(x_K)})=-\sum _{k=1}^{n}p(x_k)lo{g}_{2}p(x_k)$.

3.4 图像的视觉感知

• 对比度(contract)：对比度是亮度的局部变化，定义为物体亮度的平均值与背景亮度的比值。表观上的亮度很大程度上取决于局部背景的亮度，这种现象被称为条件对比度(condition contract)。
• 敏锐度(acuity)：敏锐度是觉察图像细节的能力。人 的眼睛对于图像平面中的亮度的缓慢和快速变化敏感度差一些，而对于其间的中等变化较为敏感。敏锐度也随着光轴的距离增加而降低。

3.5 图像的品质

3.6 图像中的噪声

• 噪声(noise)：实际的图像常受一些随机误差的影响而退化，我们称这种退化为噪声。
  
  • 白噪声(white noise)：理想的噪声，白噪声具有是常量的功率谱，就是噪声在所有的频率上出现且强度相同。
  • 高斯噪声(Gaussion noise)：服从高斯(正态)分布的随机 变量具有高斯曲线型的概率密度p(x)=1σ2π√e−(x−μ)22σ2$p(x)=\frac{1}{\sigma \sqrt{2\pi }}{e}^{\frac{-(x-\mu {)}^2}{2{\sigma }^2}}$
  • 加性噪声(additive noise)：当图像通过信道传输时，噪声一般与出现的图像信号无关。
  • f(x,y)=g(x,y)+v(x,y)$f(x,y)=g(x,y)+v(x,y)$，噪声v和输入图像g是相互独立的变量
  • 算法：产生加性零均值高斯噪声
    
    1. 假设图像的灰阶范围是[0,G−1]$[0,G-1]$。它的值最小时，相应的噪声也小。
    2. 针对每对水平相邻的像素(x,y),(x,y+1)$(x,y),(x,y+1)$产生一对位于[0,1]$[0,1]$范围的独立的随机数r,ϕ$r,\varphi$。
    3. 计算 z1=σcos(2πϕ)−2lnr−−−−−√z2=σsinn(2πϕ)−2lnr−−−−−√$z_1=\sigma cos(2\pi \varphi )\sqrt{-2lnr}{z}_2=\sigma sinn(2\pi \varphi )\sqrt{-2lnr}$ (Box-Muller变换，假设z1,z2$z_1,z_2$是独立的具有0均值和σ$\sigma$方差的正态分布)。
    4. 置f′(x,y)=g(x,y)+z1$f^{{}^{\prime }}(x,y)=g(x,y)+z_1$和f′(x,y+1)=g(x,y+1)+z2$f^{{}^{\prime }}(x,y+1)=g(x,y+1)+z_2$，其中g是输入图像。
    5. 置f(x)=⎧⎩⎨⎪⎪0G−1f′(x,y)当f′(x,y)<0当f′(x,y)>G−1其他$f(x)=\{\begin{array}{ll}0& 当f^{{}^{\prime }}(x,y)<0\\ G-1& 当f^{{}^{\prime }}(x,y)>G-1\\ f^{{}^{\prime }}(x,y)& 其他\end{array}$ f(x,y+1)=⎧⎩⎨⎪⎪0G−1f′(x,y+1)当f′(x,y+1)<0当f′(x,y+1)>G−1其他$f(x,y+1)=\{\begin{array}{ll}0& 当f^{{}^{\prime }}(x,y+1)<0\\ G-1& 当f^{{}^{\prime }}(x,y+1)>G-1\\ f^{{}^{\prime }}(x,y+1)& 其他& \end{array}$
    6. 跳转到步骤3，直至扫描完所有的像素。
  • 信噪比(SNR):图像品质的一个度量，值大的就是’好’
  • 计算噪声贡献的所有平方和E=∑(x,y)v2(x,y)$E=\sum _{(x,y)}{v}^2(x,y)$
  • 观察的信号的所有平方和F=∑(x,y)f2(x,y)$F=\sum _{(x,y)}{f}^2(x,y)$
  • SNR=FE$SNR=\frac{F}{E}$ SNRdb=10log10SNR$SN{R}_{db}=10lo{g}_{10}SNR$
  • 乘性噪声(multiplicative noise):f=gv$f=gv$ 例子：电视光栅退化，胶片材料退化。
  • 量化噪声(quantization noise): 会在量化级别不足时出现
  • 冲击噪声(inpulsive noise):是指一幅图像被个别噪声像素破坏，这些像素的亮度与其邻域的显著不同
  • 胡椒盐噪声(salt-and pepper noise):是指饱和的冲击噪声，这时图像被一些白的或者黑的像素所破坏。

4 彩色图像

4.1 色彩物理学

• 表面反射：类似镜子的方式弹回进来的能量。
• 体反射(baby reflaction)：能量扩散进入材料内并随机地从其内部的颜料反射。
• 分光光度计(spectrophotometer)
• 多谱图像(multispectral images)

4.2 人所感知的色彩

• 新的2D坐标x,y$x,y$按如下方式获得:x=XX+Y+Z,y=YX+Y+Z,z=1−x−y$x=\frac{X}{X+Y+Z},y=\frac{Y}{X+Y+Z},z=1-x-y$

  

4.3 彩色空间

• RGB色彩空间：(i,j,k),0≤i,j,k≤255$(i,j,k),0\le i,j,k\le 255$
• RGB与XYZ色彩空间之间的变换 ⎡⎣⎢RGB⎤⎦⎥=⎡⎣⎢3.24−0.980.06−1.541.88−0.20−0.500.041.06⎤⎦⎥⎡⎣⎢XYZ⎤⎦⎥⎡⎣⎢XYZ⎤⎦⎥=⎡⎣⎢0.410.210.020.360.720.120.180.070.95⎤⎦⎥⎡⎣⎢RGB⎤⎦⎥$\left[\begin{array}{c}R\\ G\\ B\end{array}\right]=\left[\begin{array}{ccc}3.24& -1.54& -0.50\\ -0.98& 1.88& 0.04\\ 0.06& -0.20& 1.06\end{array}\right]\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]=\left[\begin{array}{ccc}0.41& 0.36& 0.18\\ 0.21& 0.72& 0.07\\ 0.02& 0.12& 0.95\end{array}\right]\left[\begin{array}{c}R\\ G\\ B\end{array}\right]$

未完待续。。。。。。