Apple vừa công bố một bài nghiên cứu quan trọng, tiết lộ những thông tin chi tiết về cơ sở hạ tầng đào tạo và đặc điểm của các mô hình AI mới. Những mô hình này sẽ là nền tảng cho các tính năng AI đã được giới thiệu tại Hội nghị các nhà phát triển toàn cầu (WWDC) của Apple vào đầu năm nay. Trọng tâm của nghiên cứu là Mô hình Apple Foundation (AFM), một hệ thống AI toàn diện bao gồm cả xử lý trên thiết bị và trên đám mây.
AFM trên máy chủ, còn được gọi là Apple Cloud Compute, là một bước đột phá đáng kể. Apple tiết lộ rằng họ đã đào tạo một mô hình AI khổng lồ với 6,3 nghìn tỷ token “từ đầu” trên một cụm gồm 8.192 chip TPUv4 của Google. Mô hình này có 2,73 tỷ tham số, cho thấy độ phức tạp và khả năng xử lý thông tin ấn tượng. Đáng chú ý, Apple đã sử dụng cả cụm đám mây TPU v4 và v5p, thường được cung cấp bởi Alphabet Inc., công ty mẹ của Google, cho quá trình đào tạo này.
Đối với AI trên thiết bị, Apple đã phát triển một mô hình riêng biệt với 6,4 tỷ tham số. Mô hình này được thiết kế đặc biệt cho các tác vụ như viết và chọn hình ảnh trực tiếp trên thiết bị. Apple nhấn mạnh rằng mô hình này được “đào tạo từ đầu theo cùng công thức với AFM-server”, đảm bảo tính nhất quán trong hiệu suất. Tuy nhiên, có một sự khác biệt quan trọng trong phần cứng được sử dụng: thay vì dùng chip TPU v4 như đối với mô hình trên máy chủ, Apple đã chọn 2.048 chip TPU v5p mới hơn và mạnh mẽ hơn cho việc đào tạo mô hình trên thiết bị.
Apple cũng công bố các đánh giá chi tiết về hiệu suất của cả hai mô hình. Các tiêu chí đánh giá bao gồm khả năng ngăn chặn các phản hồi gây hại, xử lý các chủ đề nhạy cảm, tính chính xác của thông tin, hiệu suất toán học và mức độ hài lòng của người dùng. Kết quả cho thấy cả mô hình AFM trên máy chủ và trên thiết bị đều vượt trội so với các đối thủ trong ngành về việc ngăn chặn các kết quả đầu ra gây hại.
Cụ thể, AFM trên máy chủ có tỷ lệ vi phạm kết quả gây hại chỉ 6,3%, một con số ấn tượng khi so sánh với 28,8% của GPT-4 của OpenAI. Tương tự, AFM trên thiết bị cũng thể hiện xuất sắc với tỷ lệ vi phạm chỉ 7,5%, thấp hơn đáng kể so với 21,8% của Llama-3-8B được phát triển bởi Meta (công ty mẹ của Facebook).
Đối với các tác vụ cụ thể như tóm tắt email, tin nhắn và thông báo, AFM trên thiết bị đạt được tỷ lệ hài lòng ấn tượng. Cụ thể, tỷ lệ hài lòng cho tóm tắt email là 71,3%, cho tin nhắn là 63%, và cho thông báo là 74,9%. Apple tự tin khẳng định rằng những con số này vượt trội so với các mô hình đối thủ như Llama, Gemma và Phi-3.
