机织物图像自动纠偏方法的研究
祝双武, 吕珍     
西安工程大学 纺织与材料学院, 陕西 西安 710048
摘要:图像纠偏在织物组织结构参数自动识别过程中直接影响识别结果。本文通过对织物图像去噪、直方图均衡化等预处理操作后,对图像进行水平和垂直边缘检测;同时为提高倾斜角度识别的准确度和算法运行效率加入细化处理,然后对细化后的图像进行Hough变换,检测倾斜角度,最后对图像进行旋转实现旋转纠偏。通过对不同机织物图像进行纠偏处理实验,证明了该方法的有效性和可靠性。
关键词边缘提取     机织物图像     自动纠偏     Hough变换    
Research on the automatic skew rectification of woven fabric image
ZHU Shuangwu, LYU Zhen     
School of Textile and Materials, Xi'an Polytechnic University, Xi'an 710048, China
Abstract: The skew of woven fabric is very important to the identification of fabric weave pattern, especially effecting the change of result. The level and vertical edge of fabric images are detected by the preprocessing operation, such as image denoising and histogram equalization. The accuracy and the efficiency of the algorithm are added to the refinement process, then the Hough transform is used to detect the skew angle.Finally, the image is rotated. The validity and reliability of the method are proved by experiments of different fabric images.
Key words: edge detection     woven fabric image     skew rectification     Hough transform    
0 引言

机织物产品在服装、产业、装饰等方面用量日益增加, 且其产品逐渐呈现多品种、小批量格局, 对纺织产品结构参数分析仅依赖于传统手工照布镜、分析针等工具远远不够.将计算机图像处理等技术应用于纺织品参数识别迫在眉睫, 可显著提高新产品的设计及生产速度.对织物参数进行智能化分析时首先需要得到纬纱平行经纱垂直的织物图像, 但由于设备误差以及采集图像时的人工操作, 很难获得满意的织物图像, 因此对织物图像进行纠偏是一项重要的工作.目前在文档纠偏[1-3]、车牌纠偏[4-6]方面研究众多, 而对于机织物纠偏研究较少, 常用的边缘检测[7-9]算法如Canny, Soble, Gauss-Laplace等用于织物图像均不能得到很好的边缘效果.文献[10]在织物图像的倾斜检测与纬纱密度识别中提取织物图像梯度作为纱线走向信息, 再利用HT检测偏斜角度, 但检测误差较大, 不能满足实际使用需要; 文献[11]提出的高紧度机织物图像倾斜的自动纠正要求织物纹理足够清晰, 而通常获取的织物由于纱线过细或组织原因纹理不清则不能运用此法, 同时此法仅适合素色织物, 应用范围受限; 文献[12]在机织物图像自动纠偏及组织分析的研究中提出基于经纬纱的分割算法, 可处理部分规则性较强的变化组织, 而其余情况下无法获得纱线的精确定位.本文基于机织物特点提出一种新的织物图像自动纠偏方法, 采集的织物图像首先进行预处理, 然后利用水平及垂直边缘检测算子进行边界提取, 通过边缘检测后的图像进行细化来提高Hough变换对角度检测的效率, 最后进行图像旋转实现对图像的纠偏目的.

1 图像采集及预处理 1.1 图像采集

数字图像采集为织物参数识别的第一个步骤, 采集图像的分辨率、图像大小对后续纠偏采用何种边缘检测算子尤为重要.本文利用工业相机BASLER acA1300-30gc, 相机水平/垂直分辨率分别为1294像素、964像素, 水平/垂直像素尺寸均为3.75 μm, 不仅可以满足识别、分析要求, 而且图像质量、计算量、处理效率可以得到兼顾.镜头PENTEX 843544对织物图像进行采集, LED光源及配套的图像采集软件, 可实现移动织物、调节曝光强度.同时配备水平、垂直, 即xy两方向移动平台, 可对织物各部分进行采集, 且获取的图像效果较好.采集装置如图 1所示.

图 1 图像采集装置 Fig.1 Equipment of image acquisition
1.2 去噪

图像采集时, 图像在数字化及其传输过程中会受到成像设备和外部环境噪声干扰的影响, 产生含噪图像.常用的去噪方法有均值滤波、中值滤波、自适应维纳滤波、形态学噪声滤波、小波去噪等[13-14].机织物由经纬纱线垂直交织而成, 经纬纱均存在自身宽度, 通常鉴于美观及纱线排列等因素影响, 过渡比较平缓, 采用均值滤波即可得到符合条件的织物图像.均值滤波指每个像素值用其局部邻域内所有值的均值替换, f[k, l]为原图像第k行第l列像素点灰度值, h[i, j]为处理后图像第i行第j列像素点灰度值, 其中M为邻域N内像素点数,在像素点[i, j]处取3×3邻域,可得式(1), 滤波程度是由邻域N的大小控制的, 对于织物图像处理时N取9即可获得较好的滤波效果, 因此采用均值滤波进行图像的去噪.

$ h[i, j] = \frac{1}{M}\sum\limits_{k, l \in N} {f\left[{k, l} \right] = \frac{1}{9}\sum\limits_{k = i - 1}^{i + 1} {\sum\limits_{l = j - 1}^{j + 1} {f\left[{k, l} \right].} } } $ (1)
1.3 直方图均衡化

直方图均衡化使用累积分布函数对灰度进行调整, 是对图像中像素个数多的灰度级进行展宽, 对像素个数少的灰度进行压缩, 从而扩展原取值动态范围, 提高对比度和灰度色调变化, 进而得到更加清晰的图像[14].累积分布函数为单调分布, 值域从0到1(控制越界问题, 像素映射函数的值域为0~255), 不会颠倒原图的明暗关系, 仅增强图像的对比度.直方图均衡化算法首先统计直方图每个灰度级出现的次数, 再依据累积分布函数得到归一化的直方图, 最后计算新的像素值.

$ P\left( k \right) = \frac{{{n_k}}}{N}. $ (2)

其中:N表示图像中像素的总和;nk表示灰度级为k的像素个数;P(k)表示该灰度级出现的频数;根据该函数可以由原图像的各像素灰度值得到直方图均衡化后各像素的灰度值.图 2为采用直方图均衡化与普通的灰度化操作后效果对比图, 经过处理的织物图像画面层次感增强, 画面细节突出方便后续处理.

图 2 直方图均衡化处理效果 Fig.2 Effect of histogram equalization
2 织物图像边缘检测 2.1 边缘检测方法

为了获得织物图像的偏转角度, 需对织物图像进行边缘检测.边缘指图像局部亮度变化最显著的部分, 是不同属性的区域交界处和突变处, 是图像内部信息最为集中的地方[15].边缘检测利用边缘增强算子与图像中的像素灰度进行卷积运算, 运算公式如式(3) 所示.边缘检测算子通常有canny算子、sobel算子、prewitt算子等, 根据不图像物体的特性选择不同的算子.

$ h\left( {i, j} \right) = \sum {\sum {\mathit{\boldsymbol{A}} \times f\left( {k, l} \right).} } $ (3)

由于织物图像本身具有的特性, 常规的边缘检测算子检测的效果并不理想, 因此本文根据一个系统中各纱线之间存在水平排列的特性进行边界提取, 在最终纠偏后, 利用同样的方法获取另一系统的纱线偏斜角度.

2.2 算子的选取

通过观察织物图像及对纱线、织物进行分析得到, 织物内一根纱线所占像素通常为9~20个, 纱线间隙及细小毛羽通常为2~4个像素点, 而经纬纱交界处间隙通常是不明显的, 且有时会干扰观察纱线走势.鉴于上述先决条件,提出针对不同的织物可采用不同维度的算子, 但算子维度需满足大于纱线间隙而小于纱线像素点数的一半, 此种方法可更好地反映纱线走势, 提取织物边界.本文将针对不同纱线细度以5×5、9×9水平(垂直)算子为例进行说明.

G5×1=[-1 0 0 0 1]T, B1×5=[1 1 1 1 1], 则5×5水平算子可表示为G×B=$\left[{\begin{array}{*{20}{c}} {-1}&{-1}&{-1}&{ - 1}&{ - 1}\\ 0&0&0&0&0\\ 0&0&0&0&0\\ 0&0&0&0&0\\ 1&1&1&1&1 \end{array}} \right]$, 其中×符号表示矩阵与矩阵相乘; 9×9水平算子可表示为C×D, 其中C9×1=[-1 0 0 0 0 0 0 0 1]T, D1×9=[1 1 1 1 1 1 1 1 1];5×5垂直算子可表示为E×F, 其中E5×1=[1 1 1 1 1]T, F1×5=[-1 0 0 0 1].对于纱线细度较小的织物获取纬向边缘可选取5×5的水平算子, 即令式(3) 中算子A=G×B, 对于纱线直径较大的织物可选取9×9的水平算子, 边缘检测结果如图 3~5所示.如需检测经向边缘, 则选择对应维度的垂直算子即可.

图 3 5×5算子处理效果 Fig.3 Effect of 5×5 operator processing
图 4 9×9算子处理效果 Fig.4 Effect of 9×9 operator processing
图 5 5×5算子处理素色织物图像效果 Fig.5 Effect of 5×5 operator processing for plain fabric image

实验发现,对于纱线较细、织纹细腻的织物以及在分辨率较低时采集的织物图像宜采用矩阵维度较小的算子, 如图 3(a)一根纱线占11个像素点,选用5×5水平算子对其进行处理; 而对于纱线较粗、织纹粗犷的织物以及在分辨率较高时采集的织物图像宜采用矩阵维度较大的算子, 如图 4(a)一根纱线占19个像素点,选用9×9水平算子对其进行处理; 本方法也同样适用于素色织物, 如图 5(a)一根纱线占13个像素点,选用5×5水平算子对其进行处理可获得理想的边缘检测效果.

2.3 织物边缘轮廓细化

采用上述算子处理织物图像后每根纱线仍然存在大量的边缘信息, 如图 2(b)~图 4(b)中的白色点.为了提高后续Hough变换效率以及对角度检查的准确性, 需先对边缘检测后的图像进行细化处理.图像细化的目的是提取图像的骨架(将图像中线条像素点数大于1的部分细化为只有1个像素), 图像细化会大大压缩原始图像的数据量, 并保持其形状的基本拓扑结构不变, 形成骨架后能快速提取图像特征.细化处理的基本思想是“层层剥离”, 即从线条边缘起一层一层向内剥离, 到线条只剩下一个像素为止.

细化操作指在保留纱线走势信息的基础上, 为便于描述和抽取织物图像纱线信息对其进行处理, 得到与原来织物图像区域形状相近的由简单的弧或曲线组成的图形, 即从原来的图像中去掉一些点但仍保留目标区域原来的形状, 通过细化操作可将物体细化为一条单像素线, 最后只剩余整个图像的骨架.运用Hough变换在检测纱线倾斜角度时, 计算速度大大加快.

对边缘检测后的图像进行细化的具体操作如下:B(i, j)为边缘提取后的图像第i行第j列元素的值, 将当前行记为i, 当前列记为j.当前行与上一行i-1进行比较, 如果当前值为255即为白点, 前一行i-1为0即为黑点, 则认为此处为一个梯度过度, 则将此值255保留; 若当前行与前一行值相等, 同为0或255, 则认为此处不具有梯度, 则将此处赋值为0.算法如式(4) 所示.

$ B(i, j) = \left\{ \begin{array}{l} 255, \;\;B(i, j) = 0\;{\rm{and}}\;B\left( {i-1, j} \right) = 255, \\ 0, \;\;\;B(i, j) = B\left( {i-1, j} \right) = 0\;{\rm{or}}\;B(i, j) = B\left( {i-1, j} \right) = 255. \end{array} \right. $ (4)
3 织物纠偏原理及实现

织物经细化操作后, 纹理走势比较明显, 此时采用Hough变换对图像进行角度检测. Hough变换[16-17]是实现从图像空间到参数空间的一种映射关系, 如图 6所示, 可从图像中自动检测出所在的直线.在极坐标中, 目标直线表示如式(5) 所示.

图 6 Hough变换参数空间示意图 Fig.6 Spatial diagram of Hough transform parameters
$ \rho = x\cos \theta + y\sin \theta = \sqrt {{x^2} + {y^2}} \sin \left( {\theta \arctan \frac{x}{y}} \right). $ (5)

一幅图经过细化操作后, 图像中的白色像素点大幅减少, 此时采用Hough变换会大幅度加快检测效率.点(x, y)为坐标系任意一点坐标, 此点到原点的距离为ρ, 过此点有n个方向的直线, 此处取n=360, 则检测直线的角度精确度为0.5°(细化图中的每一个点均有通过其本身的n条直线, 假设细化图中有N个点), θ为目标点与原点所在直线与x轴的正向夹角.分别计算过目标点的n条直线的(ρ, θ)坐标, 得到n个坐标点, 则最终得到的(ρ, θ)坐标值共有N×n个.若有多个点在一条直线上, 则这多个点的θ=θ0值相同, 且其ρ值近似等于ρ0, 则可认为这多个点在直线(ρ0, θ0)上.根据式(5), 图像空间X-Y的直线对应于极坐标空间ρ-θ的点.同理, 图像空间的一点与极坐标空间的一条正弦曲线对应.当图像坐标空间转换到极坐标空间后, 对于任意给定(ρ, θ)则可得对应直线, 此法即可将像素点从图像空间转换到参数空间.Hough变换依据局部量来计算全面描述参数, 其对区域边界被噪声干扰或由于被阻挡而引起的间断具有很好的容错性和鲁棒性.

4 实验 4.1 实验步骤

织物图像自动纠偏方法为:采集织物图像→图像预处理→水平或垂直边缘检测→细化→Hough变换→旋转纠偏.图 7给出了算法各步骤的处理效果.Hough后可得到检测线与检测角, 检测角为检测线与y轴正方向的夹角, 检测线与纬纱所在方向平行.纠偏角定义为检测线与x轴正方向的夹角, 检测线在x轴上方, 则纠偏角为负, 反之则为正.图 7(e)中检测出的角度为73°, 则纠偏角为-17°.对织物进行纠偏时, 若纠偏角为负则将图像沿顺时针旋转, 反之沿逆时针.图 7(f)是将织物原图像图 7(a)沿顺时针旋转17°得到的纠偏图.

图 7 织物图像自动纠偏算法的步骤及效果 Fig.7 Step and effect of automatic skew rectification algorithm of woven fabric image
4.2 结果分析

为进一步验证织物图像自动纠偏算法的有效性, 又选取不同大小、分辨率、花色、素色的多幅织物图像进行倾斜检测实验, 效果对比如图 8所示.从图 8可以看出, 本文所提出的算法对不同的织物图像均可以相对准确地刻画织物图像的纱线轮廓, 真实地根据织物走势检测织物的倾斜角, 最终完成纠偏效果.

图 8 常见织物倾斜检测效果图 Fig.8 Effect images of common woven fabrics skew detection
5 结束语

通过对采集的织物图像进行水平垂直边缘检测, 然后对边缘检测图像依据梯度变化进行细化处理, 最后对细化后的图像进行Hough变换, 检测机织物图像的倾斜角度.通过不同大小、分辨率、花色、素色的织物图像进行倾斜检测实验发现,文中提出的方法对于机织物图像纠偏是可行的, 而且算法具有效率高、鲁棒性强的特点; 对边缘检测后的图像进行细化处理能大大提高Hough变换,提高效率和角度检测的准确性; 检测误差在±0.5°之间, 能较好地用于机织物图像纠偏工作.

参考文献
[1] 荆雷, 张欣, 郭金鑫. 基于版面的拍照文档图像倾斜校正[J]. 激光与红外, 2010, 40(10): 1116-1120
JIN Lei, ZHANG Xin, GUO Jinxin. Layout based photographs of document image skew adjusting[J]. Laser & Infrared, 2010, 40(10): 1116-1120 DOI:10.3969/j.issn.1001-5078.2010.10.019
[2] 夏波涌, 童悍操. 基于纹理梯度的文档图像的倾斜校正方法[J]. 计算机仿真, 2009, 26(3): 240-243
XIA Boyong, TONG Hancao. A document image skew detection method based on texture gradation[J]. Computer Simulation, 2009, 26(3): 240-243
[3] 潘武模, 焦扬, 王庆人. Hough变换在中文名片图像倾斜校正中的应用[J]. 中文信息学报, 2001, 15(3): 50-56
PAN Wumo, JIAO Yang, WANG Qingren. Hough transform and its application in Chinese business card skew detection[J]. Journal of Chinese Information processing, 2001, 15(3): 50-56
[4] 贡丽霞, 白艳萍. 基于Radon变换和坎尼边缘检测的倾斜车牌校正方法研究[J]. 太原师范学院学报(自然科学版), 2010, 9(1): 61-63
GONG Lixia, BAO Yanping. License plate slant correction method based on radon transformation and edge detection arithmetic operator[J]. Journal of Taiyuan Normal University(Natural Science Edition), 2010, 9(1): 61-63
[5] 孙万录. 倾斜车牌定位与识别算法的研究[D]. 哈尔滨: 哈尔滨理工大学, 2013.
SUN Wanlu.Research on location and recognition algorithms of title vehicle license plate[D].Harbin:Harbin University of Science and Technology, 2013.
[6] 付小莉. 运动模糊车牌图像的恢复、定位、校正及分割方法研究[D]. 南京: 南京航空航天大学, 2008.
FU Xiaoli.Research on the restoration, location, tilt-correction and segmentation of motion-blurred vehicle license plate[D].Nanjing:Nanjing University of Aeronautics and Astronautics, 2008.
[7] 鲍学亮. 纺织品织物组织结构图像识别系统研究[D]. 西安: 西安工程大学, 2012.
BAO Xueliang.Textile fabric structure identification system research[D].Xi'an:Xi'an Polytechnic University, 2012.
[8] 凃望明, 魏友国, 施少敏. MATLAB在数字图像处理中的应用[J]. 微计算机信息, 2007, 23(2/3): 299-300
TU Wangming, WEI Youguo, SHI Shaomin. Application of MATLAB to digital image processing[J]. Microcomputer Information, 2007, 23(2/3): 299-300
[9] 何新英, 王家忠, 孙晨霞, 等. 基于数学形态学和Canny算子的边缘提取方法[J]. 计算机应用, 2008, 28(2): 477-478
HE Xinying, WANG Jiazhong, SUN Chenxia, et al. Edge detection method based on mathematical morphology and canny algorithm[J]. Computer Applications, 2008, 28(2): 477-478
[10] 吴海红, 张明敏, 潘志庆. 织物图像的倾斜检测与纬纱密度识别[J]. 中国图像图形学报, 2006, 11(5): 640-645
WU Haihong, ZHANG Mingmin, PAN Zhiqing. Skew detection and weft density identification for fabric images[J]. Journal of Image and Graphics, 2006, 11(5): 640-645
[11] 潘如如, 高卫东. 高紧度机织物图像倾斜的自动纠正[J]. 纺织学报, 2009, 30(10): 58-61
PAN Ruru, GAO Weidong. Automatic skew rectification of image of high density woven fabric[J]. Journal of Textile Research, 2009, 30(10): 58-61 DOI:10.3321/j.issn:0253-9721.2009.10.013
[12] 胡艳. 机织物图像自动纠偏及组织分析的研究[D]. 浙江: 浙江理工大学, 2010.
HU Yan.A study regarding to auto-correction and organizational analysis for woven fabric images[D].Zhejiang:Zhejiang Sci-Tech University, 2010.
[13] 贾云得. 机器视觉[M]. 北京: 科学出版社, 2000: 65-81.
JIA Yunde. Machine vision[M]. Beijing: Science Press, 2000: 65-81.
[14] 张江丰. 基于图像处理的机织物组织自动识别的研究[D]. 杭州: 浙江大学, 2013.
ZHANG Jiangfeng.Research on automatic identification of fabric weave patterns based on image processing[D].Hangzhou:Zhejiang University, 2013.
[15] 季虎, 孙即祥, 邵晓芳, 等. 图像边缘提取方法及展望[J]. 计算机工程与应用, 2004, 14: 70-73
JI Hu, SUN Jixiang, SHAO Xiaofang, et al. The algorithm for image edge detection and prospect[J]. Computer Engineering and Applications, 2004, 14: 70-73 DOI:10.3321/j.issn:1002-8331.2004.07.022
[16] 潘如如. 基于数字图像处理的机织物结构参数识别[D]. 无锡: 江南大学, 2010.
PAN Ruru.Automatic recognition of woven fabric parameters based on digital analysis[D].Wuxi:Jiangnan University, 2010.
[17] 刘骏. Delphi数字图像处理及高级应用[M]. 北京: 科学出版社, 2003: 207-212.
LIU Jun. Digital image processing and advanced application based on delphi[M]. Beijing: Science Press, 2003: 207-212.
西安工程大学、中国纺织服装教育学会主办
0

文章信息

祝双武, 吕珍.
ZHU Shuangwu, LYU Zhen.
机织物图像自动纠偏方法的研究
Research on the automatic skew rectification of woven fabric image
纺织高校基础科学学报, 2017, 30(1): 127-133
Basic Sciences Journal of Textile Universities, 2017, 30(1): 127-133.

文章历史

收稿日期: 2016-09-18

相关文章

工作空间