静载试验数据审核方法初探

静载试验数据审核方法初探

查永仁,刘卫平

江苏中泰工程勘测有限公司，江苏无锡 214434

[摘  要] 静载试验数据有独特的质量属性，审核方法也有别于一般数据。“数据质量指数”（data-quality-index，缩写DQI）能够客观地描述静载试验数据的质量，进而达到控制数据质量的目的。

[关键词] 静载试验；数据审核；数据质量指数

0  引言

数据是观察或试验的结果，又是判断的依据。控制好数据质量，就从根本上控制了试验质量。数据审核则是控制数据质量的重要手段。

1  数据的质量要素

1.1数据的定义

数据是事实或观察的结果，是对客观事物的逻辑归纳，是用于表示客观事物的未经加工的原始素材。

1.2 数据的质量要素

1.2.1完整性

数据的记录和信息是否完整，是否存在缺失的情况。数据的缺失主要有记录的缺失和某个时段信息的缺失，两者都会造成统计结果的不准确，所以完整性是数据质量最基础的保障，而对完整性的评估相对比较容易。首先是记录的完整性，一般使用统计的记录数和唯一值个数。完整性的另一个方面，记录中某个字段的数据缺失，可以使用统计信息中的空值的个数进行审核。

1.2.2一致性

数据的记录是否符合规范，是否与前后及其他数据集合保持统一。数据的一致性主要包括数据记录的规范和逻辑的一致性。如果数据记录格式有统一，那么对记录数据的一致性检验比较简单，只要验证所有的记录是否使用统一格式即可。一致性中逻辑规则的验证相对比较复杂，很多时候指标的统计逻辑的一致性需要底层数据质量的保证，同时也要有非常规范和标准的统计逻辑定义，所有指标的计算规则必须保持一致。

1.2.3 准确性

数据中记录的信息和数据是否准确，是否存在异常或者错误的信息。导致一致性问题的原因可能是数据记录的规则不一，但不一定存在错误；而准确性关注的是数据记录中存在的错误，比如字符型数据的乱码；另外就是异常的数值，异常大或异常小的数值，不符合有效性要求的数值。对数据准确性的审核有时会遇到困难，因为对于没有明显异常的错误值我们很难发现。数据的准确性可能存在于个别记录，也可能存在于整个数据集。如果整个数据集的某个字段的数据存在错误，比如常见的数量级的记录错误，这种错误比较容易发现。对于数值范围既定的数据，也可以有效性的限制，超过数据有效的值域定义数据记录就是错误的。

1.2.4及时性

数据从产生到可以查看的时间间隔，也叫数据的延时时长。

1.3 数据审核

基于数据质量的要素可以对数据进行审核，以评估数据是否满足完整性、一致性、准确性和及时性这四个方面的要求，其中数据的及时性主要跟数据同步和处理过程的效率相关，更多的是通过监控ETL（Extract-Transform-Load，即抽取-转换-加载）任务的方式来保证数据的及时性，所以数据质量评价的主要任务是判定数据的完整性、一致性和准确性。

2 静载试验数据审核

2.1静载试验数据的质量特性

如前所述， 在数据的质量特性中，完整性和及时性是比较容易审核的；数据的准确性则需要多次重复检测并对多个检测数据进行统计分析。而静载试验因样品、基准系统的易变性和环境干扰，不可能对同一样品做同一条件的多次重复检测，所以除了异常大或异常小的异常值之外，绝大多数数据只能根据数据的逻辑关系，即数据的一致性，判断数据是否异常。

2.2静载试验数据的一致性

静载试验中的荷载（Q）、位移（s）和时间（t）存在以下逻辑关系，即：

2.2.1在被检样品达到破坏之前，位移随荷载增大而增大；

2.2.2同级荷载作用下，位移随时间延长而增大；

2.2.3除样品缺陷和应力到达极限状态，相邻位移值“平稳过渡”，s-lgt曲线平滑。

2.3静载试验异常数据的定义

不符合一致性的数据即为异常数据，具体包括重复、反弹和突变（异常大或异常小）等三种情况(图1、图2方框标注）。需要说明的是，短时间内（小于规定的测读时间间隔）的重复或反弹数据不视为异常数据，这是因为地基变形是一个比较缓慢的过程，维持荷载阶段尤其如此。

                        图1 异常数据（重复和反弹）

 图1 异常数据（突变）

2.4数据质量指数（DQI）

一个样品的数据质量指数是指该样品加载阶段位移异常数据个数AD(abnormal-data）除以加载阶段全部位移记录个数WD(whole-data）再乘以100%，用公式表示为：

                      （2.4-1）

式中，AD=重复数据+反弹数据；WD=记录行数×记录列数（位移表个数）。

由于卸载阶段数据的逻辑关系与加载阶段正好相反，加之卸载数据不作为检测结论的判定依据，为简化分析过程，不审核卸载数据。

3 审核记录

如前所述，数据的完整性和及时性是数据审核的基础，这需要一个比较完善的ETL系统,比如“JCQ基桩远程监管系统”（第三方评价）或“JCQ基桩远程测试系统”（自我评价）。另外需要编制若干分析记录表。

3.1静载试验数据审核记录表

用于单桩（点）数据的审核记录。考虑到有时加载级数不确定，加上表式简单，可以不必事先印制统一的记录表。另外，由于数据突变的情形比较少见，所以将其归入“反弹”一类。表1是记录样式示意。

3.2 静载试验数据审核记录汇总表

考虑到终止位移、Q-s曲线形态、s-lgt曲线形态与DQI之间有某种关联关系，综合分析这些要素有助于解释造成DQI值变化的原因，所以将上述内容列入审核记录汇总表。所谓“终止位移”，顾名思义就是“终止加载那一刻对应的位移值”，一般情况下也是该次试验的最大位移值，但也常有例外，所以特设此术语。

表1  静载试验数据审核记录

检测流水号：

记录时要同时使用两台电脑，一台电脑在ETL系统中查阅数据，另一台电脑输入汇总记录，审核记录则手写。鉴于慢速法抗压试验、快速法抗压试验和抗拔试验三者之间DQI值相差较大，为方便分类统计，三种方法的数据审核宜分开汇总，汇总的时间长度以一个月为宜。

为记录足够的信息，汇总表应采用横置页面。表2是数据审核汇总记录的式样。

           表2  xxxx年xx月静载试验数据审核记录汇总（抗压） 

                                                             第 页 共  页                                      

3 静载试验数据审核结果的处置

利用DQI值可以设定数据质量的控制标准。控制标准既要符合多数情况，也要兼顾少数例外；既要控制数据质量，也兼顾控制成本。为此，我们分析了2022年1月1日至6月30日七家检测机构在江阴地区完成的1448根桩和复合地基的静载试验数据，得出每个机构的DQI平均值，去掉一个最大值和最小值后，取其余值的平均值作为该检测方法的代表值（表3，字母代表检测机构名称）。

表3 2022年上半年江阴地区静载试验数据审核结果汇总

如把DQI平均值不大于本地区DQI代表值作为某机构下一阶段的静载试验数据质量控制目标，则其数据质量平均水平可能会高于本地区平均水平。为实现这个目标或者更高的目标，必须设定DQI上限值以控制较大DQI值数据的比例。另外，少数DQI值很大的检测数据，比如抗压试验DQI超过40的数据、抗拔试验DQI值超过60数据，可以考虑作为“不合格数据”处理。所以，试验结束后及时进行数据审核是很有必要的。

3、结语

3.1 数据审核是控制静载试验最终质量的关键环节，值得检测机构和监管部门重视；

3.2 DQI值能客观地反映静载试验数据的质量，结合数据的其他特征和相关数据的逻辑关系分析，可以发现造成DQI值差异的原因，有助于事前控制；

3.3 人工识别和统计异常数据工作量较大，一定程度上会限制本方法的使用。今后应开发相关软件，由计算机自动识别和统计异常数据，然后根据需要选择性地进行人工复核，可以极大提高工作效率。

参考文献

[1]李云雁，胡传荣，"试验设计与数据处理（第三版）”，化学工业出版社，2017年8月