数据跳跃法剔除粗差
第32卷第7期2011年7月
东北大学学报(自然科学版)Vol畅32,No.7剔除变形监测粗差数据的新方法数据跳跃法
毛亚纯,王恩德,修春华
(东北大学资源与土木工程学院,辽宁沈阳 110819)
摘 要:当观测值中有多个粗差时拉依达法则一次只能剔除一个粗差,并且多个粗差之间互差不满足一定条件时拉依达法则失效・针对此问题在拉依达法则基础上提出了一种剔除变形监测粗差数据的新方法数据跳跃法・数据跳跃法克服了拉依达法则的部分局限性,可将含有粗差的变形监测值批量剔除,为一次剔除多个粗差提供了解决方法・采用该方法对实际监测数据进行了处理,取得了较好的效果・数据跳跃法为利用程序进行粗差判定与剔除提供了理论依据和算法・
关 键 词:变形监测;粗差剔除;数据跳跃法;拉依达法则;粗差互差
中图分类号:TU196 文献标志码:A 文章编号:1005-3026(2011)07-1020-04
DataJumpMethod:aNewApproachtoEliminatingthe
DeformationMonitoringDatawithGrossErrors
MAOYa-chun,WANGEn-de,XIUChun-hua
(SchoolofResources&CivilEngineering,NortheasternUniversity,Shenyang110819,China.Correspondingauthor:MAOYa-chun,E-mail:dbdxmyc@163.com)
Abstract:Whenthereareseveralgrosserrorsintheobservations,thePauTa’scriterioncanonlyeliminateoneatatime.Ifthemutualdeviationsamongthegrosserrorsdonotsatisfycertainconditions,thePauTa’scriterionwillbeinvalid.Tosolvethisproblem,anewapproachnamedasdatajumpmethodbasedonthePauTa’scriterionwasproposed.ItovercomesthelimitationofthePauTa’scriterion.Thedeformationmonitoringdatawithgrosserrorscanbeeliminatedinbatches.Themethodisusedtoprocesssomeactualmonitoringdata,andagoodresultisobtained,whichprovidesatheoreticalbasisandalgorithmforthegrosserrordeterminationandeliminationusingcomputerprogram.
Keywords:deformationmonitoring;eliminationofgrosserrors;datajumpmethod;PauTa’scriterion;mutualdeviationamonggrosserrors目前变形监测已普遍采用较为先进的监测设备,但由于各种因素的影响,监测数据中总存在一些含有粗差的观测值・粗差剔除常用的方法有拉依达法则、格拉布斯准则和狄克逊准则[1-4]・一般认为格拉布斯准则和狄克逊准则适用于小样本
[3]
样本粗差剔除时仍然存在着一定的局限性,有时
无法剔除含有粗差的监测值,即便在较好的数据分布条件下,其剔除粗差的效率也很低・目前文献较多讨论其适用情况[6-7],较少讨论如何弥补其局限性・本文在拉依达法则的基础上通过严密的理论推导,提出一种新的粗差剔除方法数据跳跃法,该方法不但扩展拉依达法则的实用范围,克服了拉依达法则局限性,而且提高了粗差剔除的效率・
,格拉布斯准则适用于剔除一个异常值,狄
克逊准则适用剔除多个异常值[5-6]・拉依达法则
适用于大样本,利用拉依达法则剔除含有粗差监测值是处理数据的常用方法・但拉依达法则在大
收稿日期:2010-07-19
基金项目:国家高技术研究发展计划项目(2007AA06Z108)・作者简介:毛亚纯(1966-),男,辽宁沈阳人,东北大学博士研究生;王恩德(1957-),男,辽宁营口人,东北大学教授,博士生导师・
第7期 毛亚纯等:剔除变形监测粗差数据的新方法数据跳跃法1021
1 拉依达法则对异常值互差的要求
拉依达法则是剔除变形监测粗差数据的常用方法,然而当观测值中有多个粗差时拉依达法则一次只能剔除一个粗差,并且多个粗差之间互差不满足一定条件时拉依达法则失效・
设有一组观测值将其由小到大排列为L1,L2,…,Ln-1,Ln,Ln+1・假设Ln,Ln+1为含有粗差的观测值,如果先取前n项作为一组观测值,各观测值的改正数为v′i,v′i=Li-x1,x1为前才可以剔除Ln+1,否则Ln+1不能被剔除,拉依达
法则失效・
2 “数据跳跃法”剔除粗差
大量实践表明,一组不含有粗差的观测值,其特点是各观测值都围绕其均值上下波动,波动幅度较小且较为均匀・相反如果存在粗差的观测值,若将观测值由小到大排列,含有粗差的观测值一定分布在两侧,而且含有粗差的观测值与其邻近的正常值相差很大,本文把该点称为“数据跳跃n项观测值的算术均值,δ1为标准差,则有|v′n|>3δ1・
如果取所有项,x2为其算术平均值・v″i=Li-x2,δ2为标准差,剔除Ln+1的条件推导如下:
假设v″n+1>3δ2,则(v″n+1)2
>9δ22
・
n+1
″i)29δ22
钞
=9
(v=
n-1钞
(v″i)2+(v″n)2+(v″n+1)2
9
,
n(v″n-1n+1)2
-9(v″n+1)2
-9(v″n)2
>9
i钞
=1
(v″i)2
,
(n-9)(v″n+1)2
-(n-9)(v″n)2
+(n-18)×n-1(v″n)2
>9
i钞
=1
(v″i)2,
[(v″n+1)2
-(v″n)2
]>
n+1
9
钞
(v″i)2-(n-18)(v″n)2
(n-9)
,
(v″n+1
-v″n)×(v″n+1+v″n)>
n-1
9
钞
2
n)2
(v″i)-(n-18)(v″(n-9)
,
v″n+1
-v″n>
n-1
9
2
钞
(v″i)-(n-18)(v″n)
2
(n-9)×(v″n+1n,(1)v″n+1=Ln+1-x2,v″n=Ln-x2,
(2)
将式(2)代入式(1),有
n-1
L9
钞
(v″i)2-(n-18)(v″n)2
n+1-Ln>
(n-9)×(Ln+1n2)・
(3)
因此,只有当式(3)成立时,利用拉依达法则
点”・在跳跃点处将数据分为两段,含有粗差的观测值一定在改正数较大的一侧,取跳跃点改正数较大一侧的第一个观测值及改正数较小一侧的所有观测值作为一组观测值,利用拉依达法判断跳跃点改正数较大一侧的第一个观测值是否为含有粗差的观测值,如果它不是,可取跳跃点改正数较大一侧的第一个观测值和第二个观测值及改正数较小一侧的所有观测值作为新的一组观测值・并利用拉依达法判断跳跃点改正数较大一侧的第二个观测值是否为含有粗差的观测值,如果不是同法继续向下判断直至这一侧拥有最大残差的观测值・相反如果跳跃点改正数较大一侧的第一个观测值就是含有粗差的观测值,这一侧的其他各观测值均为含有粗差的观测值,都应被剔除・证明如下:
设有一组观测值,将其由小到大排列为L1,L2,…,Ln-1,Ln,Ln+1,Δ1=L2-L1,Δ2=L3-L2,…,Δn-1=Ln-Ln-1,Δn=Ln+1-Ln,取前n项作为一组观测值・如果Δn-1取得最大值・
n
xn钞
Li
1=
i钞
=1
Li=
,v′i=Li-x1,δ1=
钞
(v′i)2
±
・如果—v′n—>3δ1(即Ln为含
有粗差的观测值),那么由L1,L2,…,Ln-1,Ln+1组成一组观测值・n-1
x=1…L钞
2=
Li+Ln+1
,
v″i=Li-x2,
应有下式成立δ:
—v″n+1—>32(即Ln+1也为含有粗差的观测值),对前n-1项有下式成立:
v′i-v″i=Li-x1-Li+x2=x2-x1=-=
1022
,令=k,有
v′i=v″i+k,v″i=v′i-k,
东北大学学报(自然科学版)
2
22
21
2
第32卷
2
(v″(v′δ=δ+k+,-
因为(v′n)>9δ1,所以
2
2
δ21=
1v′1…v′=
n-1δ<δ+k+δ2,-
1
2
2
2
21
2
(v″n+1)>(n-1)δ2-(n-10)×
2
2
n-1钞
(v′i)+(v′n)
2
2
,
(4)
n-1i=1
钞
(v′i)+(v′n)
2
2
2
-(n-1)k・(6)
n-1i=1
n-1
i=1
钞
2
(v′i)2=(n-1)δ21-(v′n)・2
2
2
(v′i)2=(v″i+k)2=(v″i)2+2v″ik+k2,
(v″1)…(v″(v″δ2,2=因为v″i=v′i-k,所以(v″i)=(v′i-k)=(v′i)-2v′ik+k,
2
2
2
2
钞
(v′i)=
2
钞
(v″i)+2k
2
2
n-1i=1
钞
v″i+
(7)
δ22=
222
=
n-1 (n-1)k・将式(7)代入式(6),有
2
(v″n+1)>(n-1)δ22-(n-10)×
n-1钞
(v″i)+2k
2
n-1钞
v″i
钞
(v′i)-2k
2
n-1n-1钞
v′i+(n-1)k2+(v″n+1)2,
n-1-(n-10)×
222
-(n-1)k・
=0,v′n=v″n+1-(n-1)k,
(8)
因为
钞
v′i
所以=0,
2
钞
v″i
(9)
n-1δ22=
・将式(4)代入式(5),有
2
+k+
2
22
2
钞
(v′i)2(v′n)2=(v″n+1)2-2(n-1)kv″n+1+
(5)
n-1
[(n-1)k]2,将式(9),式(10)代入式(8),有
(v″i)+(v″n+1)-2(n-1)kv″n+1+(n-1)k
2
2
22
(10)
(v″n+1)>(n-1)δ-(n-1)k-(n-钞
,2
+k
2
(v″n+1)2>(n-1)δ22-(n-1)k-(n-10)×(Ln+1>Ln>Ln-1>…>L1)还是产生在较小的一侧(Ln+1<Ln<Ln-1<…<L1),当n≥12时都有下式成立:
(n2-13n+21)Ln+1+2
(n-9n-1)Ln-2(n-10)钞Li>0,
2
i=1n-1
[δ2-2kv″n+1+(n-1)k+k],
2
2
2
(v″n+1)>(n-1)δ2-(n-1)k-(n-10)×
2
2
2
(δ2-2kv″n+1+nk),
2
2
2
(v″n+1)2>(n-1)δ22-(n-10)δ2+
2(n-10)kv″n+1-n(n-10)k-(n-1)k・其中,k=(Ln+1-Ln)/n,有
2
2
(v″n+1)>9δ2+2(n-10)kv″n+1-
2
2
因此有(v″n+1)>9δ2,—v″n+1—>3δ2・
从上面的证明可以看出,如果跳跃点改正数
2
2
(n2-9n-1)k2,
2(n-10)kv″n+1-(n2-9n-1)k2=(n2-13n+21)Ln+1+2
n(n2-9n-1)Ln-2(n-10)钞Li・
i=1
可以验证无论粗差产生在观测值较大一侧
n-1
较大一侧的第一个观测值或者后面某一个观测值是含有粗差的观测值,那么从这一观测值后的其他各观测值均为含有粗差的观测值,都应被剔除・
3 实例应用
表1为某露天矿边坡监测的一组实测数据,取所有观测项有:δ=3mm,3δ=9mm,L13=25
第7期 毛亚纯等:剔除变形监测粗差数据的新方法mm,x=17mm,v13=8mm,v13不大于3δ,因此可以认为此组观测值中不含有粗差・但δ=3
数据跳跃法1023
mm,最大观测值与平均值相差8mm,这种精度很显然并不理想・如果利用“数据跳跃”的方法进行重新计算,首先将观测值由小到大排序:L1,L8,L2,L3,L7,L16,L19,L4,L5,L9,L17,L18,L20,0,…,Δ19=L13-L15=2・Δmax=Δ17=L11-L14=5,L11为数据跳跃点改正数较大一侧的第一个数据,去掉L15和L13后,组成的一组数据有:值时,只有具有较大残差的观测值满足一定要求时,利用拉依达法则才可剔除粗差・2)利用“数据跳跃法”进行粗差剔除是拉依达法则的合理应用,它克服了拉依达法则的部分局限性,同时可以将含有粗差的变形监测数据批量剔除,从而大大提高剔除粗差的效率・
3)“数据跳跃法”为利用程序进行粗差剔除提供了理论依据和算法・参考文献:
L6,L10,L12,L14,L11,L15,L13・Δ1=L8-L1=
δ=1畅8mm,3δ=5畅4mm,x=16mm,vmm,v11=611>3δ,因此依据“数据跳跃法”可将L11,L15,L13全部剔除・剔除L11,L15,L13后δ=0畅99mmmm,精度提高了2倍,平均值中误差,利用“数据跳跃mx=0畅24・从以上分析可以看出”的方法可以高效、合理地剔除变形监测值中含有粗差的观测值・
表1 边坡监测观测数据样本
L/nmm1411521531641651761571481691017L/mm
22
17
25
17
23
15
16
16
15
16
4 结 论
1)利用拉依达法则进行粗差剔除具有一定
的局限性,当观测数据中有多个含有粗差的观测
(上接第999页)
[3]
HiroseS,AoyagiM.Highpowercharacteristicatanti-resonanceUltrasonicsfrequency,1996,34:213of
pieozoelectric-217.
transducers[J].
[4]
LiuJ,SunGF,TangBX.Applicationofanti-resonanttheorytheNinthinvibrationWorldMilanutilizationengineeringthe[CTheory]∥ProceedingofMachine
of[5]
and刘劲涛Mechanism,刘杰,李小号.Milan,等,1995Congress:1093on-1097.
・反共振点位于两共振点正中间
的反共振振动机参数选择[J]・东北大学学报:自然科学版,2009,30(3):405-408・
(LiuJin-tao,LiuJie,LiXiao-hao,etal.SelectionofjpustarametersatthemidpointofanantiUniversitybetw-resonanteen:twovibratorNaturalresonantwithSciencepointsanti-resonant,2009[J].,30Journalpoint
ofNortheastern(3):
405-408.)
[6]
张义民,李鹤,闻邦椿・基于灵敏度的振动传递路径的参数贡献度分析[J]・机械工程学报,2008,44(10):168-171・(Zhang
Yi-min,Li
He,Wen
Bang-chun.Parameter
[1]
MiguelJ.Onthedefinitionofsoftwareaccuracyinredundant1201measurement-1206.systems[J].AICHEJournal,2005,51(4):[2]
PierreB,PascalW,JacquesD,etal,PotentialvolcanologicalapplicationsSocorroGeophysicalIslandoftheDORISsystem:ageodeticstudyoftheJournal(MInternationalexico)coordinate
,2009,178time-series(1):581[J]-
.
590.[3]
ShiY,ZhangW,ShiB.Newsolutionforimprovingprecisionof(4)GPS:426levelling-430.[J].JournalofTongjiUniversity,2000,28[4]
FelicisimoAM.ParametricstatisticalmethodforerrordetectionPhotograminmetrydigitalandRemoteelevationSensingmodels,1994[J],49(4).Journal:29-33of.[5]YangY.Robustestimationofgeodeticdatumtransformation[J].JournalofGeodesy,1999,73(3):268-274.
[6]
WilsonJP,GallantJC.Terrainanalysis:principlesand[7]
VeseckyapplicationsQ,[ZebkerM].NewJ.NewYorkapproaches:WileyPressininterferometric,1997.
SARdataRemote-processingSensing[,1992J].IEEE,30(3)Transactions:560-567.onGeoscienceandcontributionsensitivity[J]analysis.Chineseofvibrationtransferpathsbasedon2008,44(10):168-171Journal.)
ofMechanicalEngineering,[7]
向建华,廖日东,张卫正・基于灵敏度分析的内燃机曲轴扭振系统结构动力学修改[J]・内燃机工程,2007(6):66-69・(XiangJian-hua,LiaoRi-dong,ZhangWei-zheng.Structuralofdynamicmodificationofcrankshafttorsionalvibrationsystem
CombustionICenginebasedEngineonEngineeringsensitivityanalysis,2007(6)[J].:66Chinese-69.)Internal[8]
贺利乐,段志善・基于灵敏度分析法的振动压路机结构动力修改[J]・筑路机械与施工机械化,2001(4):1-4・
(HeLi-le,DuanZhi-shan.DynamicparametermodificationforRoadvibratoryMachineryroller&onConstructionthebasisofMechanizsensitivenessationanalysis,2001(4)[J]:1.-4.)[9]
KimS,SinghR.VibrationtransmissionthroughanisolatormodeledandVibrationbycontinuous,2001,248(5)system:theory925-953[J]..
JournalofSound