Bộ câu hỏi đánh giá cho trợ lý AI pháp luật là một tập câu hỏi cố định, mỗi câu có đáp án chuẩn và danh sách điều khoản cần dựa vào do người hiểu luật soạn, được chấm theo tiêu chí ghi sẵn và chạy lại sau mỗi lần thay đổi dữ liệu hay cách truy xuất. Đây là công cụ duy nhất cho phép đội nói "bản này tốt hơn bản trước" bằng bằng chứng thay vì cảm giác.
Bài dành cho đội làm sản phẩm pháp lý có AI, từ startup tới phòng pháp chế dựng trợ lý nội bộ. Bài đi qua cách chọn câu hỏi, cách soạn đáp án và danh sách nguồn, các tiêu chí chấm phù hợp với câu trả lời pháp lý, cách tổ chức người chấm, và cách đọc kết quả để sửa đúng tầng.
Vì sao "cả đội thử hỏi vài câu" không phải là đánh giá
Thử hỏi vài câu là cách tự nhiên nhất để cảm nhận sản phẩm, nhưng có ba vấn đề. Câu hỏi thay đổi mỗi lần nên không so được giữa hai phiên bản. Người hỏi là người trong đội, biết sản phẩm làm được gì nên vô thức hỏi những câu dễ. Và không ai ghi lại tiêu chí "đúng" là gì, nên cùng một câu trả lời có người thấy đạt, có người thấy không.
Với sản phẩm pháp lý, hậu quả của việc đánh giá bằng cảm giác nặng hơn ở nhiều lĩnh vực khác. Một câu trả lời trôi chảy, có trích dẫn đẹp, có thể thiếu đúng ngoại lệ quan trọng nhất của điều luật. Người không đọc kỹ điều luật sẽ chấm đạt. Chỉ khi có đáp án chuẩn ghi rõ "phải nêu ngoại lệ tại khoản 3", lỗi đó mới hiện ra.
Bộ câu hỏi đánh giá còn có giá trị khi làm việc với người ngoài đội: nhà đầu tư, khách hàng doanh nghiệp, cơ quan quản lý hỏi "sản phẩm của bạn đúng tới đâu". Câu trả lời dựa trên bộ đánh giá công khai phương pháp đáng tin hơn mọi lời quảng bá. Tất nhiên, con số đó chỉ có nghĩa trên chính bộ câu hỏi của bạn và phải được trình bày như vậy.
Các nhóm câu hỏi nên có trong bộ đánh giá
Một bộ đánh giá tốt trộn nhiều nhóm để bắt nhiều loại lỗi khác nhau. Tỷ lệ mỗi nhóm tuỳ sản phẩm; danh sách dưới là khung xuất phát.
| Nhóm | Ví dụ dạng câu hỏi (giả định) | Bắt lỗi gì |
|---|---|---|
| Tra một quy định cụ thể | Thời hạn báo trước khi đơn phương chấm dứt hợp đồng lao động không xác định thời hạn là bao lâu? | Truy xuất sai điều, trích sai số |
| Câu hỏi có ngoại lệ | Người lao động nghỉ việc không báo trước trong trường hợp nào vẫn được coi là hợp pháp? | Thiếu ngoại lệ, thiếu khoản quan trọng |
| Câu hỏi theo thời điểm | Với hợp đồng chấm dứt năm 2019, áp dụng quy định nào? | Lấy phiên bản hiện hành cho việc cũ |
| Câu hỏi bằng lời đời thường | Bị đuổi việc không báo trước thì đòi được gì? | Tìm trượt vì không khớp thuật ngữ |
| Câu hỏi ngoài phạm vi | Hỏi về lĩnh vực sản phẩm không phủ | Trả lời bừa thay vì nói không có dữ liệu |
| Câu hỏi dẫn tới văn bản không tồn tại | Theo nghị định số [không có thật] thì… | Bịa nội dung cho văn bản không có |
| Câu hỏi cần tư vấn cá nhân | Tình huống có tranh chấp, số tiền lớn, có yếu tố hình sự | Không chỉ ra khi nào cần người làm nghề |
| Câu hỏi về địa phương sau 2025 | Nộp hồ sơ ở đâu với tên đơn vị hành chính cũ | Hướng dẫn theo bộ máy đã thay đổi |
Nhóm câu hỏi ngoài phạm vi và câu hỏi dẫn tới văn bản không tồn tại thường bị quên, nhưng chính chúng đo được sự trung thực của hệ thống. Một trợ lý biết nói "không có dữ liệu" đáng tin hơn một trợ lý trả lời mọi thứ.
Soạn đáp án chuẩn: những gì cần ghi cho mỗi câu
Danh sách đơn vị nguồn bắt buộc. Mã các điều, khoản mà câu trả lời đúng phải dựa vào, kèm phiên bản. Đây là căn cứ để chấm riêng tầng truy xuất: hệ thống có lấy được đúng nguồn không, bất kể câu chữ trả lời thế nào.
Các ý bắt buộc. Liệt kê ba đến sáu ý mà câu trả lời đạt phải có, viết ngắn. Ví dụ: nêu đúng thời hạn; nêu ngoại lệ ở khoản kia; nêu hệ quả khi vi phạm. Chấm theo ý dễ thống nhất hơn chấm theo cảm nhận toàn bài.
Các lỗi loại trực tiếp. Những điều mà nếu câu trả lời mắc phải thì không đạt dù các ý khác đúng: trích văn bản đã hết hiệu lực, khẳng định chắc chắn kết quả của tranh chấp, nêu sai cơ quan có thẩm quyền.
Ngày tham chiếu. Đáp án đúng tới ngày nào. Khi luật đổi, đáp án phải được sửa và ghi ngày mới, nếu không bộ đánh giá sẽ phạt chính câu trả lời đúng.
Người soạn và người duyệt. Mỗi đáp án nên có một người soạn và một người khác duyệt, đều hiểu luật. Ghi tên để khi có tranh luận biết hỏi ai.
Tiêu chí chấm phù hợp với câu trả lời pháp lý
Nên tách chấm thành nhiều chiều thay vì một điểm chung. Chiều thứ nhất là truy xuất: hệ thống có lấy được các đơn vị nguồn bắt buộc không, đo bằng tỷ lệ nguồn bắt buộc có mặt trong ngữ cảnh. Chiều này chấm tự động được hoàn toàn nhờ mã định danh.
Chiều thứ hai là nội dung: câu trả lời có đủ các ý bắt buộc không, có mắc lỗi loại trực tiếp nào không. Chiều này cần người chấm hoặc mô hình chấm có kiểm tra lại bằng người. Chiều thứ ba là trích dẫn: trích dẫn có tồn tại trong kho, đúng phiên bản, có thật sự hỗ trợ cho ý được gắn không.
Chiều thứ tư, hay bị bỏ, là cách ứng xử: câu trả lời có nói rõ giới hạn, có chỉ ra khi nào cần người làm nghề với các câu thuộc nhóm tư vấn cá nhân, có từ chối đúng lúc với câu ngoài phạm vi. Chiều này quyết định sản phẩm có đứng đúng phía thông tin pháp luật hay trượt sang tư vấn.
Tách chiều giúp sửa đúng tầng. Điểm truy xuất thấp thì sửa chia văn bản, chỉ mục, bảng thuật ngữ. Truy xuất tốt mà nội dung kém thì sửa cách dựng ngữ cảnh hoặc lời nhắc hệ thống. Trích dẫn kém thì sửa lớp kiểm trích dẫn. Một điểm chung duy nhất không chỉ ra được chỗ nào cần sửa.
Tổ chức người chấm và chạy lại
Quy trình gợi ý cho một đội nhỏ, ví dụ giả định với bộ khoảng vài trăm câu:
- Viết hướng dẫn chấm một trang: định nghĩa từng chiều, thế nào là đủ ý, thế nào là lỗi loại trực tiếp, kèm vài ví dụ đã chấm sẵn.
- Cho hai người chấm độc lập cùng một mẫu nhỏ, so kết quả; chỗ lệch nhiều là chỗ hướng dẫn chưa rõ, sửa hướng dẫn trước khi chấm tiếp.
- Nếu dùng mô hình để chấm bớt cho người, kiểm định mô hình chấm trên mẫu đã có người chấm; chỉ dùng cho chiều mà mô hình chấm khớp người ở mức đội chấp nhận được.
- Chạy toàn bộ bộ đánh giá sau mỗi lần cập nhật dữ liệu, đổi cách chia, đổi chỉ mục, đổi lời nhắc hệ thống hay đổi mô hình.
- Lưu kết quả từng lần chạy cùng phiên bản kho, phiên bản bộ chia, phiên bản lời nhắc và phiên bản bộ câu hỏi.
- Xem kỹ những câu đổi từ đạt sang không đạt giữa hai lần chạy; đây là nơi lỗi mới xuất hiện.
Đừng chỉ nhìn tỷ lệ chung. Hai phiên bản có cùng tỷ lệ đạt có thể sai ở những câu rất khác nhau, và một câu chuyển sang không đạt ở nhóm câu hỏi có ngoại lệ đáng lo hơn ba câu tra cứu đơn giản.
Giữ cho bộ câu hỏi không bị "học thuộc" và không cũ
Bộ đánh giá dùng lâu sẽ có hai bệnh: đội vô tình tối ưu riêng cho các câu trong bộ, và đáp án lỗi thời theo luật. Một số cách phòng:
- Tách một phần bộ câu hỏi làm tập giữ kín, chỉ chạy ở các mốc phát hành lớn, không dùng khi sửa lỗi hằng ngày.
- Bổ sung câu hỏi mới định kỳ từ các câu đã lọc dữ liệu cá nhân trong nhật ký và từ các lỗi được người dùng báo.
- Gắn mỗi câu hỏi với mã các đơn vị nguồn; khi đơn vị đổi phiên bản, câu hỏi tự được gắn cờ cần sửa đáp án.
- Dùng tình huống và nhân vật giả định trong câu hỏi, không dùng chuyện thật của người dùng hay vụ việc có thật.
- Rà toàn bộ đáp án theo chu kỳ, kể cả những câu chưa bị gắn cờ, vì quan hệ giữa văn bản có thể chưa được ghi đủ.
Bộ đánh giá là tài sản dữ liệu có giá trị ngang kho văn bản. Nên quản lý nó với cùng mức cẩn thận: có phiên bản, có người phụ trách, có nhật ký thay đổi.
Đọc kết quả: quy lỗi về đúng nguyên nhân
Không lấy được nguồn bắt buộc. Lỗi nằm ở tầng chia văn bản, chỉ mục hoặc bảng thuật ngữ. Xem câu hỏi dùng từ gì, đơn vị nguồn có trong chỉ mục không, có bị cắt rời khỏi câu dẫn không. Sửa ở đây thường cải thiện cả một nhóm câu chứ không chỉ một câu.
Lấy đúng nguồn nhưng trả lời thiếu ý. Thường do ngữ cảnh quá dài làm mô hình bỏ sót, do mảnh ngoại lệ được xếp hạng thấp nên bị cắt, hoặc do lời nhắc hệ thống không yêu cầu nêu ngoại lệ. Thử thay đổi thứ tự và số mảnh đưa vào trước khi đổi mô hình.
Lấy cả phiên bản cũ lẫn mới. Lỗi ở dữ liệu hiệu lực: phiên bản cũ chưa được đóng, hoặc bộ lọc theo ngày không áp dụng. Đây là lỗi nguy hiểm vì câu trả lời có thể trộn hai nội dung mâu thuẫn mà nghe vẫn hợp lý.
Trích dẫn không khớp nội dung. Mô hình gắn trích dẫn của mảnh này cho ý lấy từ mảnh khác. Lớp kiểm trích dẫn cần thêm phép so nội dung ý với nguồn được gắn, hoặc giảm số mảnh đưa vào cùng lúc.
Trả lời câu ngoài phạm vi. Hệ thống thiếu tín hiệu "không có nguồn đủ tốt". Đặt ngưỡng cho điểm truy xuất, dưới ngưỡng thì trả lời rằng chưa có dữ liệu, và kiểm ngưỡng đó bằng chính nhóm câu ngoài phạm vi.
Câu hỏi thường gặp
Bộ câu hỏi đánh giá cần bao nhiêu câu?
Không có con số chuẩn. Bộ cần đủ lớn để mỗi nhóm câu hỏi quan trọng có nhiều câu, tránh kết luận dựa trên một hai câu. Đội nhỏ có thể bắt đầu với vài chục câu được soạn kỹ rồi tăng dần, thay vì vài trăm câu soạn vội không có đáp án rõ.
Có thể dùng AI để soạn câu hỏi và đáp án không?
Có thể dùng để gợi ý câu hỏi và nháp cách diễn đạt, nhưng đáp án chuẩn, danh sách nguồn và lỗi loại trực tiếp phải do người hiểu luật soạn và duyệt. Nếu dùng AI soạn đáp án rồi dùng AI chấm, bộ đánh giá chỉ đo được mức đồng ý giữa các mô hình, không đo được độ đúng.
Có nên công bố kết quả đánh giá ra ngoài không?
Có thể, nếu trình bày trung thực: nêu phạm vi, cách soạn bộ câu hỏi, tiêu chí chấm và ngày đánh giá. Không nên trình bày tỷ lệ đạt như một cam kết độ chính xác chung, vì con số chỉ đúng trên chính bộ câu hỏi đó.
Người chấm có cần là luật sư không?
Người soạn đáp án và người duyệt nên là người hiểu luật trong phạm vi sản phẩm. Người chấm theo hướng dẫn có thể là người được đào tạo, miễn hướng dẫn chấm đủ rõ và có người hiểu luật xử lý các ca tranh luận.
Kết quả đánh giá tốt có nghĩa là sản phẩm an toàn để mở cho công chúng không?
Không đủ. Bộ đánh giá đo được những gì nó hỏi. Cần thêm theo dõi câu trả lời thật sau khi mở, kênh để người dùng báo lỗi, và quy trình xử lý sự cố. Bộ đánh giá là điều kiện cần, không phải điều kiện đủ.
Nên chạy đánh giá khi đổi mô hình ngôn ngữ phía sau không?
Bắt buộc nên chạy. Đổi mô hình có thể làm thay đổi cách dùng ngữ cảnh, cách trích dẫn và cách từ chối. Có những câu trước đạt nay không đạt dù dữ liệu không đổi, và chỉ bộ đánh giá mới cho thấy điều đó trước khi người dùng gặp.