Khi hai người cùng mã hoá bản án, độ đồng thuận cho biết bảng mã của bạn có đủ rõ để người khác đọc cùng một bản án ra cùng một giá trị hay không. Cách đo phổ biến cho hai người mã với biến phân loại là hệ số kappa do Jacob Cohen đề xuất năm 1960; với nhiều người mã hoặc có dữ liệu thiếu, nhiều nhóm dùng hệ số alpha của Krippendorff.
Đo đồng thuận không phải để chấm điểm người mã. Mục đích là tìm ra biến nào có định nghĩa chưa chặt, sửa trước khi mã hàng trăm bản án, và cho người đọc kết quả một bằng chứng rằng dữ liệu không phụ thuộc vào cảm nhận của một người. Bài giải thích cách làm, có ví dụ tính bằng số giả định, và cách xử lý khi hai người lệch nhau.
Vì sao cần hai người mã, dù đề tài chỉ có một tác giả
Nhiều biến trong nghiên cứu bản án nghe rất khách quan nhưng thực ra đòi hỏi diễn giải: toà có coi bên bị đơn là bên vi phạm không, yêu cầu có được chấp nhận "một phần" hay "toàn bộ" khi số tiền giảm vì bù trừ, lập luận có dựa chủ yếu vào chứng cứ hay vào quy định. Một người mã một mình sẽ áp dụng cách hiểu của mình một cách nhất quán, nhưng không ai biết cách hiểu đó có chung với người khác không.
Với khoá luận một tác giả, bạn vẫn có thể nhờ một bạn cùng lớp hay đồng nghiệp mã độc lập một phần mẫu. Không cần họ mã toàn bộ; một nhóm bản án chọn ngẫu nhiên từ mẫu là đủ để đo. Điều kiện là họ chỉ được đọc bảng mã, không được nghe bạn giải thích thêm từng trường hợp, vì giải thích miệng là thứ người đọc kết quả sẽ không có.
Nếu không tìm được người mã thứ hai, có một cách thay thế yếu hơn: chính bạn mã lại một nhóm bản án sau một khoảng thời gian đủ dài để quên lựa chọn cũ, rồi so với lần đầu. Cách này đo độ ổn định của chính bạn, không đo được độ rõ của bảng mã với người khác, nên hãy nói rõ điều đó khi báo cáo.
Tỷ lệ trùng khớp đơn thuần dễ đánh lừa
Cách đo đơn giản nhất là đếm số bản án hai người ghi cùng giá trị rồi chia cho tổng. Vấn đề là một phần trùng khớp xảy ra do may mắn. Nếu chín phần mười bản án trong mẫu có kết quả "chấp nhận", hai người chỉ cần cùng ghi "chấp nhận" cho gần như mọi bản án là đã trùng khớp rất cao, kể cả khi họ chẳng đọc kỹ.
Kappa của Cohen điều chỉnh cho phần trùng khớp do ngẫu nhiên. Công thức là: kappa bằng hiệu của tỷ lệ trùng khớp quan sát được trừ tỷ lệ trùng khớp kỳ vọng do ngẫu nhiên, chia cho phần còn lại từ tỷ lệ kỳ vọng đến tuyệt đối. Kappa bằng 1 là đồng thuận hoàn toàn, bằng 0 là không hơn may rủi, có thể âm khi hai người lệch nhau một cách có hệ thống.
Tỷ lệ kỳ vọng do ngẫu nhiên được tính từ cách mỗi người phân bổ giá trị: lấy tỷ lệ người thứ nhất ghi giá trị A nhân với tỷ lệ người thứ hai ghi giá trị A, cộng với tích tương tự cho mọi giá trị còn lại. Phép tính này làm được bằng bảng tính, không cần phần mềm thống kê.
Ví dụ giả định: tính kappa cho biến "toà chấp nhận yêu cầu chính"
Giả định hai người mã độc lập cùng 40 bản án với biến có hai giá trị: chấp nhận (kể cả một phần) và không chấp nhận. Bảng chéo kết quả như sau.
| Người B: chấp nhận | Người B: không chấp nhận | Tổng người A | |
|---|---|---|---|
| Người A: chấp nhận | 26 | 4 | 30 |
| Người A: không chấp nhận | 2 | 8 | 10 |
| Tổng người B | 28 | 12 | 40 |
Trùng khớp quan sát: (26 + 8) / 40 = 0,85. Trùng khớp kỳ vọng do ngẫu nhiên: (30/40 × 28/40) + (10/40 × 12/40) = 0,525 + 0,075 = 0,60. Kappa = (0,85 − 0,60) / (1 − 0,60) = 0,625. Tức là dù hai người trùng nhau 85% số bản án, phần đồng thuận vượt trên may rủi chỉ ở mức vừa phải, và sáu bản án lệch nhau đáng được mở ra xem lại.
Nhìn kỹ bảng chéo còn thấy thêm một điều: bốn trong sáu chỗ lệch là người A ghi chấp nhận còn người B ghi không chấp nhận. Lệch dồn về một phía như vậy thường do hai người hiểu khác nhau về ranh giới của giá trị "chấp nhận một phần", chẳng hạn khi toà chỉ chấp nhận khoản lãi mà bác khoản gốc. Đó là gợi ý cụ thể để viết thêm một quy tắc khó trong bảng mã.
Đọc kết quả kappa thế nào
Thang tham khảo chỉ là quy ước. Nhiều tài liệu trích thang của Landis và Koch (1977), xếp các khoảng giá trị kappa thành mức yếu, vừa, khá, rất tốt. Chính các tác giả coi đây là quy ước tuỳ ý. Bạn có thể dẫn thang này, nhưng nên kèm bảng chéo để người đọc tự đánh giá.
Kappa thấp khi một giá trị quá phổ biến. Khi gần như mọi bản án có cùng một giá trị, kappa có thể thấp dù tỷ lệ trùng khớp rất cao. Đây là hiện tượng đã được bàn nhiều trong tài liệu phương pháp. Gặp tình huống này, hãy báo cáo cả hai số và giải thích.
Đo riêng từng biến. Một con số đồng thuận chung cho cả bảng mã che mất biến yếu. Hãy báo cáo theo từng biến, ít nhất cho những biến dùng trong kết luận chính.
Biến có thứ bậc hoặc số tiền cần cách đo khác. Với biến có thứ tự, kappa có trọng số phạt nặng hơn những lệch xa. Với số tiền, so sánh trực tiếp chênh lệch hoặc dùng hệ số tương quan nội lớp; nếu không chắc, nhờ người có chuyên môn thống kê chọn cách đo.
Quy trình làm việc của hai người mã
Quy trình dưới đây phù hợp với nhóm nhỏ và đề tài có thời hạn:
- Cả hai đọc bảng mã, hỏi những chỗ chưa hiểu, và người soạn bảng mã sửa câu chữ trước khi bắt đầu.
- Chọn ngẫu nhiên một nhóm bản án luyện tập, không thuộc phần dùng để đo; mỗi người mã độc lập rồi so và bàn mọi chỗ lệch.
- Sửa bảng mã theo kết quả bàn, tăng số phiên bản.
- Chọn ngẫu nhiên một nhóm bản án khác từ mẫu chính thức để đo đồng thuận; mỗi người mã độc lập, không trao đổi.
- Tính đồng thuận cho từng biến; biến nào thấp thì xem lại định nghĩa, sửa và đo lại trên một nhóm mới.
- Khi các biến chính đạt mức nhóm đã thống nhất từ đầu, chia phần còn lại của mẫu cho hai người mã.
- Trong quá trình mã chính thức, định kỳ cho cả hai cùng mã một vài bản án để phát hiện việc lệch dần theo thời gian.
Mức "đạt" nên được thống nhất trước khi tính, không phải sau khi thấy kết quả. Nếu quyết định ngưỡng sau khi đã biết số, người làm dễ chọn ngưỡng vừa khít với số mình có.
Xử lý chỗ lệch: giữ dấu vết, không xoá đi
Với nhóm bản án dùng để đo, hãy giữ nguyên hai bộ giá trị gốc để tính đồng thuận, rồi tạo thêm một cột "giá trị thống nhất" sau khi hai người bàn. Đừng ghi đè giá trị gốc, vì người phản biện có thể muốn tính lại.
Khi bàn chỗ lệch, hãy phân loại nguyên nhân: một người bỏ sót thông tin trong bản án, hai người hiểu định nghĩa khác nhau, hay bản án thực sự mơ hồ. Loại đầu chỉ cần sửa dữ liệu. Loại thứ hai cần sửa bảng mã. Loại thứ ba nên được đánh dấu "không xác định được" và có thể loại khỏi phép tính liên quan, kèm báo cáo số lượng.
Phần phương pháp nên nêu: bao nhiêu bản án được mã kép, chọn thế nào, hệ số đồng thuận của từng biến chính, và cách giải quyết lệch. Một đoạn ngắn với các thông tin này làm tăng đáng kể độ tin cậy của toàn bộ kết quả trong mắt người đọc có chuyên môn.
Chọn biến nào để mã kép
Không phải biến nào cũng cần đo đồng thuận với cùng mức chặt. Ưu tiên theo thứ tự sau:
- Biến kết quả chính mà kết luận của bạn dựa vào, như kết quả của từng yêu cầu.
- Biến đòi hỏi diễn giải phần nhận định, như bên vi phạm theo nhận định của toà hay loại lập luận chủ đạo.
- Biến dùng để chia nhóm khi so sánh, vì sai ở đây làm lệch mọi phép so sánh phía sau.
- Biến số tiền khi bản án có nhiều khoản tiền dễ nhầm lẫn giữa yêu cầu, chấp nhận và lãi.
- Biến có nhiều giá trị "không xác định được" trong mã thử, vì đó là dấu hiệu định nghĩa chưa rõ.
Các biến định danh như số bản án, ngày tuyên, tên toà thường không cần đo đồng thuận; chỉ cần kiểm ngẫu nhiên để bắt lỗi gõ. Dồn công sức vào biến diễn giải sẽ cải thiện chất lượng dữ liệu nhiều hơn là đo đều mọi cột.
Người mã mới vào giữa chừng
Trong nhóm nghiên cứu kéo dài, người mã có thể thay đổi: một thành viên rời nhóm, một người mới được thêm vào để kịp tiến độ. Người mới không có lợi thế của những buổi bàn chỗ lệch trước đó, nên họ thường hiểu bảng mã sát chữ hơn và lệch ở những chỗ nhóm cũ đã thống nhất miệng mà quên ghi vào bảng mã.
Cách làm an toàn là cho người mới mã một nhóm bản án mà nhóm đã có giá trị thống nhất, so kết quả, và chỉ giao mẫu chính thức khi đồng thuận với giá trị thống nhất đạt mức đã đặt. Mỗi chỗ lệch của người mới là dịp tốt để phát hiện quy tắc còn nằm trong đầu người cũ mà chưa nằm trên giấy.
Trong phần phương pháp, hãy nêu số người mã, ai mã phần nào của mẫu, và việc kiểm đồng thuận với người vào sau. Nếu một phần mẫu chỉ do một người mã mà không kiểm, nói rõ phần đó.
Câu hỏi thường gặp
Cần bao nhiêu bản án để đo đồng thuận?
Không có con số chung. Nhóm đo cần đủ lớn để mỗi giá trị của biến xuất hiện một số lần đáng kể, nếu không hệ số dao động mạnh. Nhiều nhóm nghiên cứu chọn một phần của mẫu, lấy ngẫu nhiên. Nếu biến có giá trị hiếm nhưng quan trọng, cân nhắc tăng nhóm đo.
Kappa và alpha của Krippendorff khác nhau thế nào?
Kappa của Cohen dành cho đúng hai người mã với biến phân loại. Alpha của Krippendorff dùng được cho nhiều người mã, cho dữ liệu thiếu và cho nhiều loại thang đo khác nhau. Với đề tài nhỏ có hai người mã, kappa thường đủ và dễ giải thích hơn.
Người hướng dẫn có thể là người mã thứ hai không?
Có thể, nhưng hãy lưu ý người hướng dẫn thường đã nghe bạn trình bày ý tưởng, nên có thể hiểu định nghĩa theo cách của bạn mà không cần đọc bảng mã. Một người mã độc lập hơn sẽ cho kiểm tra mạnh hơn. Nếu dùng người hướng dẫn, hãy nói rõ điều đó.
Đồng thuận cao có nghĩa là dữ liệu đúng không?
Không hẳn. Đồng thuận cao cho thấy hai người đọc giống nhau, nhưng nếu cả hai cùng hiểu sai một khái niệm pháp lý, dữ liệu vẫn sai một cách nhất quán. Vì vậy nên kết hợp đo đồng thuận với việc người có chuyên môn đọc lại định nghĩa trong bảng mã.
Có thể dùng công cụ tự động làm người mã thứ hai không?
Có thể so kết quả máy với người như một cách đánh giá công cụ, nhưng nên báo cáo rõ đó là đồng thuận người với máy. Việc này không thay được kiểm tra rằng bảng mã đủ rõ với một người đọc khác. Máy có thể cùng sai theo kiểu khác người.
Nếu một biến mãi không đạt đồng thuận thì sao?
Hãy xem biến đó có thể chia nhỏ, gộp giá trị hoặc thay bằng biến dễ quan sát hơn không. Nếu không, chuyển nó thành ghi chú định tính và không dùng để tính tỷ lệ. Báo cáo điều này cũng là một phát hiện có ích cho người làm sau.