都说好 — 一致率 90%，可能等于什么都没说

十件里有九件本来就该过，那么两个审核只要都习惯性地放行，不看内容也能一致 八成以上。所以真正的问题从来不是「他们一致了多少」，而是「比瞎猜多出了多少」。

这一页把两个人的评分读进来，算出碰巧就能一致的那一截，扣掉它，再告诉你剩下的那点一致到底站不站得住 —— 以及分歧具体落在哪几件上。

每行一件，最后两列是两个人各自的评分。多于两列时第一列当作项目名 —— 下面「分歧在哪」会把它们点出来。

PR-001,通过,打回
PR-002,通过,通过
PR-003,通过,通过
PR-004,通过,通过
PR-005,通过,通过
PR-006,通过,通过
PR-007,打回,通过
PR-008,通过,通过
PR-009,通过,通过
PR-010,通过,打回
PR-011,通过,通过
PR-012,打回,打回
PR-013,通过,通过
PR-014,通过,通过
PR-015,打回,打回
PR-016,通过,通过
PR-017,通过,通过
PR-018,通过,通过
PR-019,通过,通过
PR-020,通过,通过
PR-021,通过,通过
PR-022,通过,通过
PR-023,通过,通过
PR-024,通过,通过
PR-025,通过,通过
PR-026,通过,通过
PR-027,通过,通过
PR-028,通过,通过
PR-029,通过,通过
PR-030,打回,通过
PR-031,通过,通过
PR-032,打回,通过
PR-033,通过,通过
PR-034,通过,通过
PR-035,通过,通过
PR-036,通过,通过
PR-037,通过,通过
PR-038,通过,通过
PR-039,通过,通过
PR-040,通过,通过
PR-041,通过,通过
PR-042,通过,通过
PR-043,通过,通过
PR-044,通过,通过
PR-045,通过,通过
PR-046,通过,通过
PR-047,通过,通过
PR-048,通过,通过
PR-049,打回,通过
PR-050,通过,通过
PR-051,打回,打回
PR-052,打回,通过
PR-053,通过,通过
PR-054,打回,打回
PR-055,打回,通过
PR-056,通过,通过
PR-057,通过,通过
PR-058,通过,通过
PR-059,通过,打回
PR-060,通过,通过
PR-061,通过,通过
PR-062,通过,通过
PR-063,通过,通过
PR-064,通过,通过
PR-065,通过,通过
PR-066,通过,通过
PR-067,通过,通过
PR-068,通过,通过
PR-069,通过,通过
PR-070,通过,通过
PR-071,通过,通过
PR-072,通过,通过
PR-073,通过,通过
PR-074,通过,通过
PR-075,通过,通过
PR-076,通过,通过
PR-077,通过,通过
PR-078,通过,通过
PR-079,通过,通过
PR-080,通过,通过
PR-081,通过,通过
PR-082,通过,通过
PR-083,通过,通过
PR-084,通过,通过
PR-085,通过,通过
PR-086,通过,通过
PR-087,通过,通过
PR-088,通过,通过
PR-089,通过,通过
PR-090,通过,通过
PR-091,通过,通过
PR-092,通过,通过
PR-093,通过,通过
PR-094,通过,通过
PR-095,通过,通过
PR-096,通过,通过
PR-097,通过,通过
PR-098,通过,通过
PR-099,通过,通过
PR-100,通过,通过
PR-101,通过,通过
PR-102,通过,通过
PR-103,通过,通过
PR-104,通过,通过
PR-105,通过,通过
PR-106,通过,通过
PR-107,通过,通过
PR-108,通过,通过
PR-109,通过,打回
PR-110,通过,通过
PR-111,通过,通过
PR-112,通过,通过
PR-113,通过,通过
PR-114,通过,通过
PR-115,通过,通过
PR-116,通过,通过
PR-117,通过,通过
PR-118,通过,通过
PR-119,通过,通过
PR-120,通过,通过
PR-121,通过,通过
PR-122,通过,通过
PR-123,通过,通过
PR-124,通过,通过
PR-125,通过,通过
PR-126,通过,通过
PR-127,通过,通过
PR-128,通过,通过
PR-129,通过,通过
PR-130,打回,通过
PR-131,通过,通过
PR-132,通过,通过
PR-133,通过,通过
PR-134,通过,通过
PR-135,通过,通过
PR-136,通过,通过
PR-137,通过,通过
PR-138,通过,通过
PR-139,通过,通过
PR-140,通过,通过
PR-141,通过,通过
PR-142,通过,打回
PR-143,通过,通过
PR-144,通过,通过
PR-145,通过,通过
PR-146,通过,通过
PR-147,通过,通过
PR-148,通过,通过
PR-149,通过,通过
PR-150,通过,通过
PR-151,通过,通过
PR-152,通过,通过
PR-153,通过,通过
PR-154,通过,通过
PR-155,通过,打回
PR-156,通过,通过
PR-157,通过,通过
PR-158,打回,打回
PR-159,通过,通过
PR-160,通过,通过
PR-161,通过,通过
PR-162,通过,通过
PR-163,通过,通过
PR-164,通过,打回
PR-165,通过,通过
PR-166,通过,打回
PR-167,通过,通过
PR-168,通过,通过
PR-169,通过,通过
PR-170,通过,通过
PR-171,通过,通过
PR-172,通过,通过
PR-173,打回,通过
PR-174,通过,打回
PR-175,通过,通过
PR-176,通过,通过
PR-177,通过,通过
PR-178,通过,通过
PR-179,打回,通过
PR-180,通过,通过
PR-181,通过,通过
PR-182,通过,通过
PR-183,通过,通过
PR-184,通过,通过
PR-185,通过,打回
PR-186,通过,打回
PR-187,通过,通过
PR-188,通过,通过
PR-189,通过,通过
PR-190,通过,通过
PR-191,通过,通过
PR-192,通过,通过
PR-193,通过,通过
PR-194,通过,通过
PR-195,通过,通过
PR-196,打回,打回
PR-197,通过,通过
PR-198,通过,通过
PR-199,通过,通过
PR-200,通过,通过

先看前提

✓ 200 件两个人都看过至少 30 件

✓ 两个人分别用了 2 个和 2 个类别两边都至少用两个

一致率 90.0%，但这个数字几乎不说明什么

两个人碰巧一致的概率本来就有 85.3% —— 因为要判的东西太一边倒了。扣掉这一截，κ 只有 0.32（一般）。也就是说：这 90.0% 里绝大部分是「这批东西大多长一个样」，不是「这两个人看法相同」。想知道他们真的合不合得上，得找一批分布没这么一边倒的东西再看一次。

κ 是怎么来的

碰巧就能一致 85.3% 超出碰巧的 4.7% 没一致 10.0%

κ = 4.7% ÷ (4.7% + 10.0%) = 0.32

分母不是 100%，是碰巧那一截之上还剩的空间。这就是为什么一边倒的数据算出来的 κ 会那么难看：碰巧那一截把可争取的空间挤没了，剩下的一点点里哪怕全拿到，也不够好看。

90.0% 一致率 大家都会引用的那个数

0.32 κ · 一般 95% 区间 0.08 – 0.54

0.93 κ 的上限 两人用类别的频率不变时，最好能到这儿

0.80 PABAK 就是 2×一致率−1，没有新信息

档位名（「中等」「相当一致」）用的是 Landis & Koch 1977 那一组 —— 放在这里是因为大家都在引用它，而那篇论文自己就说这组界限是随意定的。真要看的是上面那个区间有多宽，以及 κ 离它自己的上限还有多远。

谁判了什么

打回 15 17

通过 185 183

甲乙

两排长度对不上，就说明有一个人系统性地更严或更松。这种不一致跟「逐件看走眼」是两回事，也不能靠更仔细地看每一件来解决 —— 它决定了上面那个 κ 上限。

交叉表

甲＼乙	打回	通过	合计
打回	6	9	15
通过	11	174	185
合计	17	183	200

对角线是一致的，其余都是分歧。κ 看的就是对角线比「按两边各自的习惯随机配对」能落在对角线上的多出多少。

值得注意的

高一致率 + 低 κ：这是分布太偏，不是巧合

要判的东西里有一类占了绝大多数，所以两个人闭着眼睛按各自的习惯乱判，也能撞上 85.3%。κ 扣掉的正是这一截。PABAK 是 0.80，它假装两类一样多 —— 看着好看，但它就是 2×一致率−1，一点新信息都没有。

区间宽到分不出档

95% 区间是 0.08 – 0.54，跨了好几档。也就是说这批数据分不清「中等」和「相当一致」。再多的解读都是在读噪声 —— 要么加件数，要么就只说「大概在这一段」。

分歧在哪

甲说「通过」，乙说「打回」 11 件

PR-001、PR-010、PR-059、PR-109、PR-142、PR-155、PR-164、PR-166、PR-174、PR-185、PR-186

甲说「打回」，乙说「通过」 9 件

PR-007、PR-030、PR-032、PR-049、PR-052、PR-055、PR-130、PR-173、PR-179

这一段比上面任何一个系数都有用。κ 告诉你有多少分歧，这里告诉你分歧是哪几件 —— 两个人坐下来把它们过一遍，比讨论这个数该不该是 0.4 有意义得多。

它不知道的事

一致不等于对。 两个一起受训、一起养成同一套坏习惯的人，可以一致得非常好，而且一起错。κ 量的是两个人之间的一致，不是任何一个人跟事实之间的一致 —— 后者要有一份标准答案，那是另一件（而且贵得多的）事。

κ 依赖这一批东西的构成。 同样两个人，同样的标准，换一批分布没那么偏的东西去判，κ 会明显不一样。所以拿两份 κ 互相比大小，只有在两批数据的构成差不多时才说得通。

只管两个人。 三个人以上要用 Fleiss 的版本，那是另一个系数，这里没做 —— 与其给一个名字像但定义不同的数，不如不给。

贴进来的东西只用来算这一次，不写盘、不记日志、不存任何地方。