视觉传感及图像处理技术在焊接中的应用实践
视觉传感及图像处理技术在焊接中的应用
ApplicationofVisionSensingandImageProcessingTechnologyinWeldingEngineering
华南理工大学(广州・510641) 石永华 钟继光 刘 桑 王国荣
SouthChinaUniversityofTechnology SHIYong2huaetal
〔摘要〕 简述了视觉传感及计算机图像处理技术的基本原理, 并对其在焊接工程中的应用现状和发展前景
进行了论述。
关键词:视觉传感器; 图像处理; 焊缝成形; 焊缝跟踪; 焊接机器人中图分类号:TP751 文献标识码:A
[Abstract]Thebasicprinciplesofvisionsensingandimageprocessingaresummarized,andthentheirapplicationandfuturedevelopmentinweldingengineerngarediscussedinthispaper.
Keywords:visionsensor;imageprocessing;beamforming;beamtracking;weldrobot
焊接传感器是一种对影响焊接过程的内部和外部条件进行检测, 从而监测和控制焊接操作的探测器件或装置[1,2]。现代焊接技术向自动化、智能化方向的发展离不开传感系统对焊接过程参数和焊接质量参数的实时检测, 传感技术因而已成为实现焊接自动化、智能化的关键技术。
据统计, 焊工在焊接时判断过程是否正常和作必要的调整, 所依据的信息来源,80%以上来自于直接观察(即视觉)
[3]
, 而视觉传感及计算机图像处理技术的
引入, 赋予焊接系统“看”的功能, 大大促进了焊接系统的智能化, 是近二十年来焊接研究领域最重大的进展之一。
同其它焊接传感器相比, 视觉传感器与焊接回路无关, 具有提供的信息丰富, 灵敏度和测量精度高, 动态响应特性好, 抗强电场和强磁场的干扰能力强, 与工件无接触等优点, 它适用于各种坡口形状, 可以同时进行焊缝的跟踪和对焊接条件的实时控制, 因此是最有发展前途的焊接传感技术。目前, 视觉传感器及图像处理技术已经在焊缝跟踪、焊接熔透、熔宽、保护效果、熔池行为、弧长、焊速、焊丝的干伸长及熔滴的过渡形态、频率的控制, 温度场监控、电弧诊断等领域得到应用。
1 视觉传感器及计算机图像处理
视觉传感器的功能是把光学图像转换为电信号, 即把入射到传感器光敏面上按空间分布的光强信息
(可见光、激光、X 射线、红外线、紫外线或电子轰击等),
转换为按时序串行输出的电信号———视频信号, 而该视频信号能再现入射的光辐射图像。固体视觉传感器主要有三大类型[4],一种是电荷耦合器件(CCD),第二种是MOS 图像传感器, 又称自扫描光电二极管列阵
(SSPA),第三种是电荷注入器件(CID)。目前在焊接工
程中应用较广的是CCD 摄像机, 它又可分为线阵和面阵两种, 线阵CCD 摄取的是一维图像, 而面阵CCD 可摄取二维平面图像。
视觉传感器摄取的图像经空间采样和模数转换后变成一个灰度矩阵, 送入计算机存储器中, 称为数字图像。为了从图像中获得期望的信息, 需要利用计算机图像处理系统对数字图像进行各种处理, 将得到的控制信号送给各执行机构, 从而再现焊接过程的控制。
由视觉传感器摄取的原始图像由于摄像过程中各种条件的限制和随机因素的干扰, 往往要对其先进行图像变换、增强或恢复等预处理, 从而过滤噪声、校正灰度和畸变等[15]。经过预处理的数字图像, 可借助快速傅立叶变换(FFT)、小波变换、概率统计等数学工具进行图像的分析及理解、特征提取和模式识别。
2 视觉传感及图像处理技术在焊缝成形控制
中的应用
211 熔宽和熔深的实时检测与控制
为防止烧穿或未熔透, 对单面焊双面成形或薄板焊接的焊缝成形进行实时检测是焊接研究的重要领域之一。随着视觉传感和计算机图像处理技术的不断发展, 直接从焊接熔池图像中提取熔池宽度和深度信息已经成为可能。根据视觉传感器位置的不同, 可分为背面和正面检测法、直接同轴检测法、滞后或超前检测法等[6,7,8]。
本领域的一个应用实例是在GTAW 焊的条件下用CCD 摄像机在焊缝正面对熔池的形状进行监测[7]。图1为熔池CCD 监测及控制系统图, 通过周期性地减少焊接电流, 排除弧光干扰, 可摄取清晰的熔池图像(图2) 。通过计算机进行图象处理, 采用人工神经网络
和模糊
图1 熔池CCD 监测及控制系统
[7]
图2 熔池表面图像 (a未处理,b 处理后)[7]
控制理论模拟焊工对实际焊接时一旦情况发生变化所作的反应, 计算并给出所需的焊接电流,
实时地控制焊道的宽度, 从而控制焊接熔深。该系统具有良好的控制特性和很高的控制精度, 可用于实现GTAW 焊的实时控制。
国内清华大学和哈工大等单位也在这方面进行了较深入的研究。然而, 由于被焊材料成分的微小变化将导致熔深、熔宽关系的极大改变[5],因此也有采用
CCD 在焊缝背面直接监视焊接熔深的研究, 这种方法
具有较大的通用性。
212 熔滴过渡的实时监测与控制
在气体保护焊(GMAW)中, 熔滴过渡形态对焊接熔池的行为有很大影响, 而熔池行为又会影响焊接熔透、熔池的凝固、热量流动、以及焊接位置和焊接参数的有效范围, 因而对用于反馈控制的传感系统的一个要求是能够检测熔滴的过渡形态。美国爱达荷国家工程实验室(INEL)的学者使用激光作为背景光, 经过光谱过滤后, 借助高速摄像机成功地实时拍摄GMAW 中熔滴的形成和分离过程[9]。通过在摄像机上固定一个以设定频率的脉冲触发的发光二极管(LED)可标识摄影相片并同步地记录焊接电流、电压的波形和声发射数据。通过这种方法可确定与熔滴分离和电弧短路相对应的滴状过渡、喷射过渡和射流过渡过程。
3 视觉传感及图像处理技术对焊接电弧弧长
的控制
在等速送丝脉冲MAG 焊接中, 弧长是影响焊接质量的重要因素。通常采用电弧电压信号来控制, 由于电弧电压受电弧动特性的影响较大, 而且易受电源品质的干扰, 调节精度很难达到精确调节的要求。而采用CCD 摄像机作为视觉传感器对焊接电弧取像, 然后通过计算机图像处理系统根据电弧图像的灰度和象素
地址来计算弧长, 进而可实现对弧长的控制[17]。这种控制方法与通常的弧长控制系统相比, 反应灵敏度高, 机械及电磁惯性小, 因而弧长稳定, 焊接质量好。
4 视觉传感及图像处理技术在焊缝跟踪中的
应用
焊缝的自动跟踪是焊接过程质量实时控制的一个重要内容。近几年来, 由于激光、光纤、CCD 传感、计算机图像处理、模糊控制和人工神经网络等新技术的应用, 焊缝自动跟踪研究已取得了相当大的进展。采用
CCD 摄像机及微型计算机, 配合模糊控制及模式识别
等先进的控制方法和运算方法, 不仅能实现焊缝自动跟踪, 计算缝隙大小, 识别接头等多种功能, 而且可以在自动跟踪焊缝的过程中同时对焊接质量进行实时控制, 实现智能化焊接。 电弧焊过程中强烈的弧光会对传感器接收信号产生很大干扰, 研究表明[10],在接收光路中采用峰值波长为6000～7000! 的干涉滤光片, 加上防热玻璃, 可以有效地排除弧光的干扰。采用面阵CCD 的焊缝跟踪系统工作框图如图2所示。CCD 摄像机固定在焊炬前方来检测焊缝及熔池, 所摄取的图像经处理后可清晰显示出接头缝隙, 由计算机算出缝隙的宽度并求出焊缝中心线位置。
图3 焊缝跟踪系统工作框图[10]
5 视觉传感器实时检测焊接温度场
焊接过程和焊缝质量与其温度场分布有着密切的联系。传统测量焊接温度场的方法是用热电耦在焊缝的不同位置进行测量, 这种测量方法误差较大, 准备工作复杂, 更重要的是它无法实时检测。而利用CCD 传感和图像处理技术, 可进行实时检测, 从而可实现焊接质量及成形的实时控制。
哈工大早在80年代就成功地利用红外摄像技术、
热场模数转换技术、和计算机图像处理技术进行焊接动态温度场的测量[3]。
清华大学使用具有256个光敏单元的线阵CCD, 对焊缝背面的横向温度场进行检测[11]。横向温度T
(y)可由下式算出:
T(y)=Kt・exp(2ξy2)
其中,Kt, ξ为温度场的特征参数, 由CCD 的物理参数决定;y 为测量点距焊缝中心线的横向距离。
该温度场识别系统能不用定标而算出温度分布的绝对数值, 整个图像传感和数据处理在100ms 内完成。从理论上来说, 只要CCD 线阵的分辨率和计算机的字长足够, 可做到温度场的检测不受距离的影响, 并能达到任意精度。
清华大学还利用双色热图像传感器从焊接区域背面获得两个波段的热辐射场的图像, 计算机双色热图像处理系统对双色热图像进行必要的滤波处理之后, 将相同位置的灰度进行比值处理得到灰度比值的分布, 依据灰度比值与温度的关系, 便可以得到焊接温度场的分布[12]。 6 焊接机器人中视觉传感及图像处理技术的
应用
在国外, 焊接机器人已广泛应用于焊接生产, 其中汽车工业领域用得最多。机器人需要有很强的适应能力, 传统的无适应能力的焊接机器人只能在工件位置和几何尺寸都确定的时候正常工作, 而借助三维视觉传感系统和计算机图像处理技术, 焊接机器人可对焊接环境进行实时感知。
焊接机器人视觉系统除对焊接过程进行实时传感与进行焊缝跟踪外, 配合人工神经网络的应用可离线
确定被焊工件的位置、自动识别被焊接头的型式、实时进行路径规划以补偿装配误差和焊接变形等因素的影响以及根据焊接接头形状的变化实时调节焊接参数, 从而实时控制焊接质量, 显著提高焊接生产率[14,18]。
7 视觉传感及图像处理技术在焊接检验中的
应用
对焊缝进行X 射线检验是无损检测的重要手段。
人工判读X 光片由于受个人经验和主观因素的影响, 漏判率和误判率较大, 判别标准也难于统一, 而且花费的时间很长。而采用CCD 摄像机摄取X 光胶片图像并经A/D转换后输入计算机, 由图像处理系统进行图像识别后自动判读检验结果, 不仅可大大降低漏判率和误判率, 而且能显著提高读片速度以及检验灵敏
度。
[3,16]甘肃工业大学还成功地研制了一种无需X 光片的“X 射线焊缝探伤实时成像自动评片系统”, 图像传感器直接接受X 射线图像后, 由计算机系统直接判读, 取代了传统的胶片成像和人工评片的方法。
视觉传感和图像处理技术还在焊接现场的远距离监视、钎焊钎着面积和填缝速度的计算等方面得到应用。
8 存在的问题
同其它焊接传感器相比, 视觉传感器成本相对较高且脆弱。使用视觉传感器必须去除焊接弧
光的干扰。为实现这个目的一般使用滤光片, 但同时也降低了传感信号的一些特征, 也有利用短路或基值期间弧光消失或很弱时进行取像的研究。另外, 计算机图像处理的速度还有待提高。
9 结束语
视觉传感器是焊接传感器中发展最快的一种高精度传感器, 配合计算机图像处理技术在焊接中的应用, 将焊接质量的控制由宏观过程控制深入到微观质量控制的水平。
参考文献
1
I.Masumoto,T.Araya,A.IochiandH.Normura.De2velopmentandapplicationofsensorsandsensorsys2t emsforarcwelding[J],JornalofJapanWeldingSoci2ety.1983,Vol.52(4)
2
M.UshioandW.Mao.SensorsforArcWelding:Ad2vantagesandLimitations[M],TransactionsofJWRI.1994,Vol.23(2)
3 吴林, 徐庆鸿1焊接过程的微计算机测试和控制
[M]1北京:新时代出版社11986
4 袁详辉1固体图像传感器及其应用[M]1重庆:重
庆大学出版社119961
5 W.ChenandB.A.Chin.MonitoringJointPenetration
UsingInfraredSensingTechniques[J].WeldingJour2nal,April1990
6 王克争, 大山鸟健司1MIG 焊接熔池的图像处理和数
字控制系统[J]1清华大学学报,1990(2)
7 Y.M.Zhang,L.Li,andA.T.Male.Weldjointpenetration
controlbasedonvisionfeedbackofweldpoolgeometricalappearance[J]1NSFDesignandManufacturingGranteeConference1Monterrey,Mexico,January5-8,1998.8 陈善本等1脉冲TIG 焊熔宽动态过程的自学习模
糊神经网络控制[J]1机械工程学报,1997(8)
9 J.A.Johnsonetal.ProcessControlofGMAW:Sensingof
MetalTransferMode[J].WeldingJournal.April199110 何方殿等1视觉传感器焊接跟踪系统的研究和发
展[J]1电焊机,1993(4)
11 陈强等1CCD 图像传感器对焊缝背面横向温度场
的实时检测[J]1清华大学学报,1990(2)
12 ZhangHua,LiaoBaojian,PanJiluan.Real-time
measurementoftemperaturefieldbycolorimetricmethod.SPIE[J].1996,2894
13 Y.M.Zhangetal.ActiveMetalTransferControlby
MonitoringExcitedDropletOscillation[J].WeldingJournal.Sep.1998
14 JohnE.Agapakisetal.Vision-AidedRoboticWeld2
ing:AnApproachandaFlexibleImplementation[J].
TheInternationalJournalofRoboticsResearch.Oct.1990
15 徐建华1图像处理与分析[M]1北京:科学出版社
11992
16 许志祥等1X 射线焊缝图象计算机质量检测[J]1
焊接学报,1992(1):1
17 李鹤歧, 大山鸟健司1用TV 摄像机对脉冲焊接电弧
长度的采样控制[J]1焊接学报,1989(4)
18 陈善本等1我国机器人焊接技术研究与应用概况
[J]1焊接,1997(11)