引用本文
陈桂山, 张秀明, 熊继红, 张汉奎, 卢健强. 未知诊断定性试验分析性能评价方法探讨[J].检验医学, 2015,25(12): 978-981
CHEN Guishan, ZHANG Xiuming, XIONG Jihong, ZHANG Hankui, LU Jianqiang. Study on evaluating the performance of unknown diagnosis qualitative test[J]. Labratory Medicine, 2015,25(12): 978-981  
Permissions
Copyright©2010, 《检验医学》编辑部
《检验医学》编辑部
未知诊断定性试验分析性能评价方法探讨
陈桂山, 张秀明, 熊继红, 张汉奎, 卢健强
中山大学医学院附属中山医院检验科,广东 中山 528403

作者简介:陈桂山,女,1971年生,学士,副主任医师,主要从事检验质量管理和免疫学检验工作。

摘要
目的 评价酶联免疫吸附试验(ELISA)检测乙型肝炎e抗原(HBeAg)的分析性能,探讨诊断不明确定性试验分析性能评价方法。方法 结合美国临床实验室标准化协会(CLSI)发布的EP12-A2文件《定性试验评价方法用户协议;提议指南》和中国合格评定国家认可委员会(CNAS)颁发的《医学实验室质量和能力认可准则在临床免疫学检验领域的指南》对实验室ALISIE和BEPⅢ 2套酶联免疫分析仪HBeAg检测系统进行性能评价,探讨临床实验室诊断不明确定性试验的性能评价方案。结果 +20%浓度临界值分析物检测结果阳性率≥95%,ALISIE检测系统变异系数( CV)为14.7%,BEPⅢ 检测系统 CV为19.2%。-20%浓度临界值分析物检测结果阴性率≥95%,ALISIE检测系统 CV 为11.7%,BEPⅢ检测系统 CV为 19.7%。2套检测系统的方法学比较,一致性百分率为97%,阳性一致率为98%,阴性一致率为96%。 Kappa检验系数 K值 为0.94,95%的一致程度评分可信区间为91.5%~98.9%。结论 ALISIE和BEPⅢ 检测系统检测HBeAg标本浓度在临界值为±20%的浓度范围之内都能得到稳定的检测结果。2套检测系统同时检测HBeAg的结果一致性强。该诊断不明确定性试验分析性能评价方法可行性强。
关键词: 定性试验; 未知诊断; 性能评价; 乙型肝炎e抗原
中图分类号:R446.61 文献标志码:A 文章编号:1673-8640(2010)12-0978-04
Study on evaluating the performance of unknown diagnosis qualitative test
CHEN Guishan, ZHANG Xiuming, XIONG Jihong, ZHANG Hankui, LU Jianqiang
Department of Clinical Laboratory,Zhongshan University School of Medicine,Guangdong Zhongshan 528403,China
Abstract
Objective To evaluate the performance of hepatitis B e antigen (HBeAg) assay by enzyme-linked immunosorbent assay (ELISA), and evaluate the qualitative test with unknown diagnosis.Methods According to the Clinical and Laboratory Standards Institute (CLSI) document EP12-A2 User Protocol for Evaluation of Qualitative Test Performance; Approved Guideline and China National Accreditation Service for Conformity Assessment (CNAS) document Guidance on the Application of Medical Laboratory Quality and Competence Accreditation Criteria in the Fields of Clinical Immunology, the performances of two HBeAg ELISA analysis systems named ALISIE and BEPⅢ were evaluated. A protocol for evaluating the performance of unknown diagnosis qualitative test was analyzed.Results The samples with +20% concentration from the cut-off point yielded positive rate ≥95%. The coefficient of variation ( CV) of ALISIE was 14.7%, and the CV of BEPⅢ was 19.2%. The samples with -20% concentration from the cut-off point yielded negative rate ≥95%. The CV of ALISIE was 11.7%, and the CV of BEPⅢ was 19.7%. The comparison of the two analysis systems showed that the concordance was 97%, the positive concordance was 98% and the negative concordance was 96%. The Kappa K value was 0.94. The 95% confidence interval was 91.5%-98.9%.Conclusions Both the ALISIE and BEPⅢ analysis systems can provide the stable results of HBeAg detection within the range of ±20% concentration at the cut-off point. The concordance of the two systems determined simultaneously is good. The evaluation for qualitative test with unknown diagnosis has a feasibility.
Keyword: Qualitative test; Unknown diagnosis; Performance evaluation; Hepatitis B e antigen

临床实验室定性检测可用于各种疾病的筛查、诊断及管理。在采用一种新的检测方法检测患者标本之前, 实验室操作人员必须评价该检测方法在临床实验室中的检测能力, 或当实验室同时使用2套以上检测系统检测同一项目时, 必须保证两者结果的一致性, 这在《医学实验室质量和能力认可准则在临床免疫学检验领域的指南》[1]里都作了明确的规定。定性试验有诊断明确和诊断不明确2种情况, 两者在美国临床实验室标准化协会(CLSI)发布的EP12-A2文件《定性试验评价方法用户协议; 提议指南》[2]中有详细指引。在临床实验室里许多定性试验都是非特异和诊断不明确的, 另外许多定性试验没有金标准方法, 有些即便有金标准但临床实验室不具备条件开展。我们以乙型肝炎e抗原(HBeAg)定性试验为研究对象, 探讨临床实验室里诊断不明确定性试验的性能评价方法。

材料和方法
一、 试剂和仪器

试验用中山生物工程公司生产的HBeAg酶联免疫吸附试验(ELISA)检测试剂盒; 检测仪器为BEPⅢ 全自动酶联免疫分析仪(简称BEPⅢ )、ALISIE全自动酶联免疫分析仪(简称ALISIE); 质控品为卫生部临床检验中心提供的质控血清, 浓度为2 IU/mL, 批号为0802; 收集临床新鲜标本作为试验标本。

二、方法

1.评价方案的熟悉和准备 首先应该评价操作人员对新检测方法的熟练程度; 其次评价质控品的特点, 保证仪器状态正常, 质控稳定。

2.重复性试验 (1)阴、阳对照检测:在性能评价过程中, 每次试验均设立阴、阳性质控对照; (2)临界值分析物的确定:收集S/CO值接近1的阳性标本作系列稀释, 重复检测各稀释物直到阴、阳性概率各占50%, 此时该稀释物浓度即是检测方法的临界值浓度; (3)接近临界值分析物的重复性试验:算出临界值标本± 20%浓度时的稀释倍数, 对临界值± 20%浓度标本分别测定20次, 记录测定结果; (4)结果判断:标本吸光度(A)值 < Cut-off值为阴性, 标本A值> Cut-off值为阳性; 以S/CO值表达:< 1为阴性, > 1为阳性。+20%浓度的标本产生阳性结果数≥ 95%, 同时-20%浓度的标本产生阴性结果数≥ 95%, 说明这一临界值± 20%浓度范围是该方法的“ 95%区间” , 此时对于被测物浓度在± 20%浓度范围以外的标本, 试验方法将给出稳定的结果。

3.方法学比较 (1)设定参加卫生部室间质评结果准确的ALISIE为靶仪器, 统计最近1年的结果, 验证其符合率; (2)收集常规检测标本100例, 其中阳性50例、阴性50例, 分别用试验方法(靶仪器)和对比方法同时检测, 比较试验分布于10 d内, 按常规检测方法进行; (3)方法学比较试验在10 d内完成, 每次试验质控品重复检测2次, 总共检测20次, 如果任一质控品失控, 应立即停止该次试验, 患者标本的试验数据视为无效, 在当天或第2天重新进行新1轮试验。10 d内不超过1次失控。

三、统计学方法

采用SPSS 13.0统计软件进行分析, 采用2× 2表格计算比较方法和评价方法测得结果的符合率, 用Kappa检验判断2套检测系统的一致性强弱。P< 0.05表示差异具有统计学意义。

结 果
一、重复性试验

检测结果阴、阳性各占50%的标本浓度确定为该试验的临界值(10次为阳性、10次为阴性), 经反复测试得临界值浓度如下:ALISIE临界值浓度为0.33 NCU/mL, BEPⅢ 为0.33 NCU/mL, +20%浓度临界值分析物检测阳性率≥ 95%(ALISIE阳性20次; BEPⅢ 阳性19次, 阴性1次); -20%浓度临界值分析物检测阴性率≥ 95%(ALISIE阳性1次, 阴性19次; BEPⅢ 阳性19次, 阴性1次)。具体结果见表1。

表1 重复性试验结果 (S/CO)
二、方法学比较

统计2007年3月至2008年5月5次卫生部室间质评活动的25个结果, 统计结果符合率为100%。以参加卫生部室间质评的检验仪器ALISIE为靶仪器, 比较BEPⅢ 和ALISIE检测HBeAg结果的一致性, 用Kappa检验判断结果的一致性[3]。2套检测系统一致性百分率为97%, 阳性一致率为98%, 阴性一致率为96%, 经统计软件对上述数据进行Kappa检验, 系数K值为0.94; 95%的一致程度评分可信区间为91.5%~98.9%。见表2。

表2 2套检测系统HBeAg比对结果
讨 论

定性试验容易产生不一致结果主要发生在位于临界值附近的标本, 低值阴性标本和高值阳性标本因被分析物浓度已大大超过医学决定值水平, 一般不会出现结果前后或不同检测系统的不一致性。CLSI EP12-A2文件介绍的重复性试验能评估检测方法对浓度在临界值附近的分析物的检测精密度, 通过重复测定临界值附近“ 95%区间” 的标本(重复测定临界值浓度上下的标本, 阴性、阳性率分别为95%的浓度范围称为该检测方法临界值“ 95%区间” [1])得到一致性结果的能力, 从而评价该试验方法的优良。但许多试验既不能给出“ 95%区间” , 也不能给出获得稳定结果的浓度范围。本研究结果显示, 2套检测系统的+20%浓度临界值分析物检测阳性率均≥ 95%(ALISIE阳性20次; BEPⅢ 阳性19次, 阴性1次); 2套检测系统的-20%浓度临界值分析物检测阴性率均≥ 95%(ALISIE阳性1次, 阴性19次; BEPⅢ 阳性19次, 阴性1次), 说明ALISIE和BEPⅢ 检测标本浓度在临界值± 20%的浓度范围之内都能得到稳定的检测结果。

已知诊断的定性试验由于患者标本不赖于生化试验的比对而被临床资料所证实或有金标准的确诊试验, 通常以敏感性和特异性评价试验的性能[4]; 临床实验室未知诊断的定性试验的典型情况是几种检测方法的结果需要比对, 但并不知道最终的诊断结果, 或属非特异性诊断指标或没有验证的金标准方法等, 只能观察两者之间的一致性。HBeAg是乙型肝炎病毒(HBV)感染血清标志物之一, 当ELISA检测HBeAg阳性时, 目前实验室没有标准方法验证其准确性, 临床也没有典型症状支持[5], 乙型肝炎e抗体(抗HBe)为非保护性抗体, 不能采取中和试验证实。HBeAg 虽与病毒Dane颗粒HBV DNA有伴随关系, 但并非任何时候都同时存在[6], 乙型肝炎表面抗原(HBsAg)和HBV DNA 表现阳性时, HBeAg可为阴性, 因此不宜用作评价方法的敏感性和特异性。当前许多实验室同时使用2套或以上检测系统检测同一项目, 不同检测系统检测结果的一致性非常重要。本实验室固定用ALISIE参加卫生部临床检验中心组织的室间质评活动, 统计2007年3月至2008年7月5次质评活动结果, 与靶结果符合率为100%, 可以认为此仪器的检测结果是准确可靠的。以该仪器为实验室的靶仪器, BEPⅢ 与之比对, 从而保证实验室ELISA检测HBeAg结果的准确性。

本研究结果显示, BEPⅢ 和ALISIE检测HBeAg的符合率为97%, 阳性符合率为98%, 阴性符合率为96%。经Kappa检验K值为0.94, 两者一致性强。概括2种检测方法的一致程度指标时一定要谨慎, 因为评估标本中疾病的患病率对一致程度的影响很大。只有当实验室分析的样本具有代表性时, 预测性能测定才具有无偏性。方法评价过程中, 估计性能的测定也受到随机取样带来的变异性因素的影响[7], 这种变异性随样本量的增加而减少, 并能通过可信限(confidence limits)来量化。通常, 多数教科书采用建立在近似二项分布(Clopper-Pearson法)基础上的简单方法计算可信区间, 该方法要求数据是标准化的。在某些情况下, Clopper-Pearson法相对保守, “ 可信区间” 范围太宽。因此, Agrestu等[8]和Altman等[9]提出一种直接计算法— — — 可信区间评分(score confidence interval)。评分计算方法见“ 结果二” 。从计算结果看, BEPⅢ 与ALISIE 95%的一致程度评分可信区间为91.5%~98.9%。

在具一定规模的医疗机构中, 2套以上检测系统同时检测同一项目的现象非常普遍。如何评价未知诊断的定性试验检测性能, 保证结果的一致性, 是实验室质量保证内容之一, 本研究探讨的未知诊断定性试验的性能评价方案科学、实用。

本研究重复性试验采用了已知浓度的分析物(卫生部质控血清), 但EP12文件同样适用于无法确定浓度的分析物项目的评价。只要确定50%结果为阳性、50%结果为阴性的分析物即可, 再取该分析物与± 20%临界值浓度分析物同时检测亦得到50%阴、阳性结果。此时要求仪器性能必须非常稳定, 评价结果符合EP12文件要求, 证明该仪器精密度可靠。如果用于评价手工检测项目, 操作员必须有熟练、稳定的技术。

The authors have declared that no competing interests exist.

参考文献
[1] 中国合格评定国家认可委员会. 医学实验室质量和能力认可准则在临床免疫学检验领域的指南[S]. CNAS-CL30, 2007. [本文引用:2]
[2] Clinical and Laboratory Stand ards Institute. User protocol for evaluation of qualitative test performance; proposed guideline[S]. EP12-A2, CLSI , 2002. [本文引用:1]
[3] 夏邦世, 吴金华. Kappa一致性检验在检验医学研究中的应用[J]. 中华检验医学杂志, 2006, 29(1): 83-84. [本文引用:1]
[4] Clinical and Laboratory Stand ards Institute. Assessment of the clinical accuracy of laboratory tests using receiyer operating characteristic (ROC)plots[S]. CLSI, 2002. [本文引用:1]
[5] Clement F, Dewint P, Leroux-Roels G. Evaluation of a new rapid test for the combined detection of Hepatitis B virus surface antigen and Hepatitis B virus e antigen[J]. J Chin Microbiol, 2002, 40(12): 4603-4606. [本文引用:1]
[6] 李金明. 临床酶免疫测定技术[M]. 北京: 人民军医出版社, 2005: 187-192. [本文引用:1]
[7] European Committee for Clinical Laboratory Stand ards. Guidelines for the evaluation of diagnostic kits[S]. ECCLS, 1990. [本文引用:1]
[8] Agrestu A, Coull BA. Approximate is better than “exact” for interval estimation of binomial proportions[J]. J Statistician USA, 1998, 52(2): 119-126. [本文引用:1]
[9] Altman DA, Machin D, Bryant TN, et al. Statistics with Confidence[J]. J British Med, 2000, 32(3): 210-215. [本文引用:1]