Gần đây, Meta đã ra mắt mô hình AI Llama 4 và gây chú ý khi tuyên bố rằng phiên bản Llama 4 Maverick vượt qua GPT-4o và Gemini 2.0 Pro trên bảng xếp hạng Chatbot Arena. Theo Meta, mô hình này – với 17 tỷ tham số hoạt động từ tổng số 400 tỷ tham số – đạt điểm ELO 1.417, một thành tích đáng kinh ngạc.
Tuy nhiên, điều này ngay lập tức gây nghi ngờ trong cộng đồng AI. Làm sao một mô hình tương đối nhỏ lại có thể vượt qua những gã khổng lồ như GPT-4.5 và Grok 3? Các thử nghiệm độc lập sau đó đã phát hiện ra hiệu suất thực tế không khớp với kết quả mà Meta công bố, đặc biệt trong các nhiệm vụ lập trình.
Làn sóng hoài nghi càng dâng cao khi một người tự xưng là cựu nhân viên Meta đăng tải thông tin rằng ban lãnh đạo công ty đã trộn “các bộ kiểm tra từ nhiều bộ điểm chuẩn vào quá trình huấn luyện sau” nhằm thổi phồng kết quả. Người này thậm chí còn liên kết việc từ chức gần đây của Joelle Pineau, Trưởng bộ phận nghiên cứu AI của Meta, với vụ việc này.
Đáp lại những cáo buộc, Ahmad Al-Dahle, người đứng đầu bộ phận AI tạo sinh của Meta, đã kiên quyết phủ nhận. Ông tuyên bố: “Chúng tôi sẽ không bao giờ huấn luyện trên các bộ kiểm tra” và cho rằng sự khác biệt về hiệu suất chỉ là vấn đề ổn định triển khai.
LMSYS, tổ chức đứng sau Chatbot Arena, đã phải lên tiếng giải thích rằng mô hình được sử dụng là “Llama-4-Maverick-03-26-Experimental” – một biến thể tùy chỉnh được tối ưu hóa theo sở thích của người dùng. Họ thừa nhận rằng “phong cách và giọng điệu” có thể đã tạo lợi thế không công bằng cho mô hình này, đồng thời chỉ trích Meta đã không cung cấp thông tin đầy đủ về điều này.
Đáng chú ý, đây không phải lần đầu Meta bị cáo buộc thao túng điểm chuẩn. Vào tháng 2/2024, Susan Zhang, cựu nhà nghiên cứu AI tại Meta, hiện làm việc tại Google DeepMind, đã chia sẻ một nghiên cứu phát hiện hơn 50% mẫu kiểm tra từ các điểm chuẩn chính đã xuất hiện trong dữ liệu huấn luyện của Llama 1.
Giữa làn sóng chỉ trích mới về Llama 4, Zhang đã mỉa mai rằng Meta ít nhất nên trích dẫn “công trình trước đó” của Llama 1 cho “cách tiếp cận độc đáo” này – ám chỉ việc thao túng điểm chuẩn có thể là chiến lược có chủ đích của công ty nhằm nâng cao chỉ số hiệu suất một cách giả tạo.
