Bản chất của phương pháp

Theo nội dung được kiểm chứng, cách tiếp cận này trái với quy trình thông thường — thay vì đặt câu hỏi rồi tìm đáp án, người làm bài tạo đáp án trước và xây dựng câu hỏi sao cho khớp với đáp án đó. Kết quả là tỷ lệ thành công lên tới 99,8%, con số gần như tuyệt đối hiếm gặp trong các đánh giá thực nghiệm thông thường.

Hàm ý cho các đánh giá AI

Tỷ lệ thành công cao bất thường như vậy làm dấy lên lo ngại rằng kết quả có thể phản ánh phương pháp xây dựng bài hơn là năng lực thực sự của hệ thống được đánh giá. Trong lĩnh vực AI, nơi các chuẩn đánh giá (benchmark) đóng vai trò quan trọng trong việc so sánh các mô hình, việc "uốn" câu hỏi theo đáp án sẵn có làm giảm giá trị tham chiếu của kết quả.

Những điểm chưa được làm rõ

Các nguồn trực tiếp liên quan đã được xem xét và tình trạng truy cập nguồn không gặp trở ngại nào. Tuy nhiên, bối cảnh chi tiết về việc phương pháp này được áp dụng ở đâu, bởi ai, và với mục đích gì chưa được xác nhận đầy đủ trong các tư liệu hiện có.

Căn cứ các nguồn trực tiếp đã xem xét, nhận định về cách làm "đáp án trước, câu hỏi sau" với tỷ lệ thành công 99,8% là Đúng phần lớn.