一致性分析
A-1, A-2, A-3, B-1, B-2, B-3, C-1, C-2, C-3 的属性一致性分析
检验员自身
评估一致性
# 检 # 相 95 % 置信区 检验员 验数 符数 百分比 间 1 50 42 84.00 (70.89, 92.83) 2 50 45 90.00 (78.19, 96.67) 3 50 40 80.00 (66.28, 89.97)
# 相符数: 检验员在多个试验之间，他/她自身标准一致。
Fleiss Kappa 统计量
检验员 响应 Kappa Kappa 标准误 Z P(与 > 0 ) 1 0 0.760000 0.0816497 9.3081 0.0000 1 0.760000 0.0816497 9.3081 0.0000 2 0 0.845073 0.0816497 10.3500 0.0000 1 0.845073 0.0816497 10.3500 0.0000 3 0 0.702911 0.0816497 8.6089 0.0000 1 0.702911 0.0816497 8.6089 0.0000
每个检验员与标准
评估一致性
# 检 # 相 95 % 置信区 检验员 验数 符数 百分比 间 1 50 46 92.00 (70.89, 92.83) 2 50 45 90.00 (78.19, 96.67) 3 50 46 92.00 (66.28, 89.97)
# 相符数: 检验员在多次试验中的评估与已知标准一致。
评估不一致
# 1 # 0
检验员 / 0 百分比 / 1 百分比 # Mixed 百分比 1 0 0.00 0 0.00 8 16.00 2 0 0.00 0 0.00 5 10.00 3 0 0.00 0 0.00 10 20.00
# 1 / 0: 多个试验中误将标准 = 0 者一致评估为 = 1 的次数 # 0 / 1: 多个试验中误将标准 = 1 者一致评估为 = 0 的次数 # Mixed: 多个试验中所有的评估与标准不相同者。
Fleiss Kappa 统计量
检验员 响应 Kappa Kappa 标准误 Z P(与 > 0 ) 1 0 0.880236 0.0816497 10.7806 0.0000 1 0.880236 0.0816497 10.7806 0.0000 2 0 0.922612 0.0816497 11.2996 0.0000 1 0.922612 0.0816497 11.2996 0.0000 3 0 0.774703 0.0816497 9.4881 0.0000 1 0.774703 0.0816497 9.4881 0.0000
检验员之间
评估一致性
# 检 # 相 95 % 置信区 验数 符数 百分比 间 50 46 92.00 (78.04, 93.47)
# 相符数: 所有检验员的评估一致。
Fleiss Kappa 统计量
响应 Kappa Kappa 标准误 Z P(与 > 0 ) 0 0.793606 0.0235702 33.6698 0.0000 1 0.793606 0.0235702 33.6698 0.0000
所有检验员与标准
评估一致性
# 检 # 相 95 % 置信区 验数 符数 百分比 间 50 46 92.00 (78.04, 93.47)
# 相符数: 所有检验员的评估与已知的标准一致。
Fleiss Kappa 统计量
响应 Kappa Kappa 标准误 Z P(与 > 0 ) 0 0.859184 0.0471405 18.2260 0.0000 1 0.859184 0.0471405 18.2260 0.0000
属性一致性分析
A-1, A-2, A-3, B-1, B-2, B-3, C-1, C-2, C-3 的属性一致性分析
检验员自身
评估一致性
# 检 # 相 95 % 置信区 检验员 验数 符数 百分比 间 1 50 46 92.00 (70.89, 94.83) 2 50 45 90.00 (78.19, 96.67) 3 50 46 92.00 (66.28, 93.97)
# 相符数: 检验员在多个试验之间，他/她自身标准一致。
Fleiss Kappa 统计量
检验员 响应 Kappa Kappa 标准误 Z P(与 > 0 ) 1 0 0.760000 0.0816497 9.3081 0.0000 1 0.760000 0.0816497 9.3081 0.0000 2 0 0.845073 0.0816497 10.3500 0.0000
1 0.845073 0.0816497 10.3500 0.0000 3 0 0.702911 0.0816497 8.6089 0.0000 1 0.702911 0.0816497 8.6089 0.0000
每个检验员与标准
评估一致性
# 检 # 相 95 % 置信区 检验员 验数 符数 百分比 间 1 50 46 92.00 (70.89, 92.83) 2 50 45 90.00 (78.19, 91.67) 3 50 46 92.00 (76.28, 92.97)
# 相符数: 检验员在多次试验中的评估与已知标准一致。
评估不一致
# 1 # 0
检验员 / 0 百分比 / 1 百分比 # Mixed 百分比 1 0 0.00 0 0.00 4 8.00 2 0 0.00 0 0.00 5 10.00 3 0 0.00 0 0.00 4 8.00
# 1 / 0: 多个试验中误将标准 = 0 者一致评估为 = 1 的次数 # 0 / 1: 多个试验中误将标准 = 1 者一致评估为 = 0 的次数 # Mixed: 多个试验中所有的评估与标准不相同者。
Fleiss Kappa 统计量
检验员 响应 Kappa Kappa 标准误 Z P(与 > 0 ) 1 0 0.880236 0.0816497 10.7806 0.0000 1 0.880236 0.0816497 10.7806 0.0000 2 0 0.922612 0.0816497 11.2996 0.0000 1 0.922612 0.0816497 11.2996 0.0000 3 0 0.774703 0.0816497 9.4881 0.0000 1 0.774703 0.0816497 9.4881 0.0000
检验员之间
评估一致性
# 检 # 相 95 % 置信区
验数 符数 百分比 间 50 46 92.00 ( 88.47，95.00)
# 相符数: 所有检验员的评估一致。
Fleiss Kappa 统计量
响应 Kappa Kappa 标准误 Z P(与 > 0 ) 0 0.793606 0.0235702 33.6698 0.0000 1 0.793606 0.0235702 33.6698 0.0000
所有检验员与标准
评估一致性
# 检 # 相 95 % 置信区 验数 符数 百分比 间 50 46 92.00 (74.04, 93.47)
# 相符数: 所有检验员的评估与已知的标准一致。
Fleiss Kappa 统计量
响应 Kappa Kappa 标准误 Z P(与 > 0 ) 0 0.859184 0.0471405 18.2260 0.0000 1 0.859184 0.0471405 18.2260 0.0000
结论：
图形显示检验2水平最好，检验1其次，最差的检验3 有效性4%，大于90%，kappa值0.859，大于0.75
该测量系统的有效性不可接受，但一致性是可以接受的。
建议：检验员1的有效性：84%，检验员2的有效性：90%，检验员3的有效性：80%，检验员1和3进行培训。