阶段性记录-压缩感知及单像素摄影机

压缩感知

-压缩感知相关知识

压缩感知(Compress Sensing)简单的理解就是将含有冗余信息(稀疏信号)的信号进行压缩(比如将含有多个零的矩阵进行去零操作;或者对于频域成分很少的通信信号摘除或者过滤掉此频率成分)。

压缩感知的由来:转变获得信号后再进一步压缩处理的传统压缩方式,直接在获得信号之初就将信号进行压缩变换,由此衍生压缩感知技术。

-压缩感知应用之一

—— 单像素摄像机(Single-pixel camera)

单像素摄像机是由Rice大学于2006年于[链接A New Compressive Imaging Camera Architecture using Optical-Domain Compressive]论文中首次发表的,利用压缩感知技术的成像设备。其主要特点是打破传统多像素感知器(CCD或CMOS)获取图像的方式,以单像素感知器结合DMD(Digital micro-mirror device, 数字微镜设备)达到数字成像的目的。

单像素相机成像原理

RICE大学发表的论文中讲解的原理图如下图所示:
阶段性记录-压缩感知及单像素摄影机

试验设备主要由LED光源、识别物体、两个棱镜、光敏电路及DMD设备组成。
阶段性记录-压缩感知及单像素摄影机
简单描述其原理:光源发出光线,经由识别物体的接收域反射通过棱镜1,光束变小投至DMD设备中,经过DMD中感知变换后(这部分在下面详解),再由棱镜2聚集,投至光敏二极管/光敏电路上,获得电压值。

不妨设 x 为原始图像信号(图像大小为 n x n),y 为接收的向量信号,设备中的信号处理过程统设为Φ,称之为“测量矩阵”:

y=Φx
其中,yM x 1 列向量,ΦM x N 矩阵(M<<N),xN x 1 列向量。

原始信号恢复问题

压缩后的图像恢复可通过多种算法,根本问题就是解决:

x=Φy
也就是通常说的反演问题/逆问题(inverse problem).由相关线性代数的知识容易理解,将问题看线性方程求解,方程的个数小于未知数个数,则最终解不唯一或无穷个,也就是病态问题(ill-posed).

DMD设备

阶段性记录-压缩感知及单像素摄影机

DMD由一系列静电制动的微小镜片阵列组组成,每片镜片由单独的SRAM单元控制,可水平方向翻转正负12°,对应镜片的on(1)和off(0)状态,根据镜片角度的不同,到达棱镜1的光束与光强亦不同;这些微镜片阵列尺寸为1024 X 768(所测图像最大尺寸即为1024 X 768,但当下图形较多为等长宽,故实验中活动镜片数量一般达不到上限。)

*举个例子
假设团队需要对768 X 768 的图像进行测量,则DMD仅需要用到1024 X 768 阵列中的 768 X 768 个微电镜片; 接下来需要测量64 X 64 的图片,则可以以12 X 12块阵列以单位进行处理(768/64=12),也可以重新进行设置。

—-DMD图像处理原理—-

  • 设定数据变量:
    1. x: 原始图像对应的信号,大小为Nx1的列向量。原始图像尺寸为n x n, 且由N=n x n.
    2. y: 单像素相机测得的信号,大小为M x 1的列向量。其中M为单像素相机测试模式次数。
    3. Φ: 测量矩阵,映射xy 的关系。(y=Φx

Φ=[φ1φ2φ3..φM]

其中,φi为第i次测量的模式基向量(由0、1或者1,-1构成的向量),大小为1 x N.(镜片阵列大小变换一下为行向量


  • 设置DMD的镜片模式基(basis),考虑到实际中应用及方便性与本文以Hadamar矩阵为例。

Hadamar矩阵即为行列均正交的方阵,具有HH’=NI的良好性质(其中N’为H的逆矩阵,N为常数,I为单位方阵);对H进一步元素进一步优化,会使得H在行列正交的基础上对称,则有H’=H,此时性质更新为HH=NI
最简单的H矩阵为:

H=[1111]


以Hadamar矩阵为基对图像进行变换(编码)并进行恢复(解码)的过程称为Hadamar变换

举个例子
H为Hadamar矩阵,X为图像信号矩阵,F为变换后的信号矩阵:
F=HXH
HFH=HHXHH
HFH=NIXNI
HFH=NNX
解码方式即为:(N为常数)

X=HFH/N2

M=333次测量大小为 64X64 = 4096个像素的图片为例,每次测量基底变换一次(Hadamar基底):
第一次:图片经光反射通过棱镜1到达DMD,x.size=(n,n).reshape=(N,1) , 则对y=Φx进行元素计算分析为:
y(MN)=[y(1)y(2)..y(M)]=[φ1φ2φ3..φM][x1x2x3..xN]

y(i)=<x,φi>.

同理,经过M次测量,可得到M x 1大小的y列向量.

具体内容待完善和整理。

参考文献:

  1. Kitajima H, Shimono T, Kurobe T. Hadamard Transform Image Coding[J]. Bulletin of the Faculty of Engineering Hokkaido University, 1980, 101:39-50.
  2. Laska J N, Wakin M B, Duarte M F, et al. A new compressive imaging camera architecture using optical-domain compression[J]. Proceedings of SPIE - The International Society for Optical Engineering, 2006, 6065:43–52.
  3. Duarte M F, Davenport M A, Takhar D, et al. Single-Pixel Imaging via Compressive Sampling[C]// IEEE Signal Processing Mag. 2008:83-91.