Trong báo cáo nghiên cứu khoa học mới nhất của Apple, một chi tiết đáng chú ý đã được hé lộ về quy trình huấn luyện mô hình AI nền móng cho các ứng dụng thuộc gói Apple Intelligence vừa ra mắt cùng iOS 18.1 Beta. Thay vì phụ thuộc vào các chip GPU máy chủ của Nvidia như H100 hay H200, Apple đã chọn sử dụng hai phiên bản chip TPU Tensor v4 và v5p của Google, vận hành trên máy chủ Google Cloud, để huấn luyện mô hình AI Apple Foundation Model với 2.73 nghìn tỷ tham số.
Tại WWDC 2024 hồi tháng 6, Apple đã giới thiệu Apple Foundation Model (AFM), một mô hình ngôn ngữ mang tính nền tảng cho các tính năng xử lý AI trên thiết bị và trên máy chủ đám mây. Đến thời điểm hiện tại, tài liệu nghiên cứu về mô hình AFM mới được công bố, chia sẻ cụ thể các thông số kỹ thuật của mô hình ngôn ngữ này.
Đối với phiên bản AFM chạy trên máy chủ đám mây, vận hành các tính năng AI có tên Apple Cloud Compute, Apple cho biết mô hình được huấn luyện dựa trên 6.3 nghìn tỷ token, sử dụng 8192 con chip TPUv4 của Google. Các chip xử lý tăng tốc thuật toán machine learning của Google được cung cấp dịch vụ cho các đối tác theo từng “TPU pod”, mỗi pod gồm 4096 chip TPUv4.
Ngoài ra, các mô hình AFM sau này vận hành trên thiết bị từ iPhone đến MacBook, cũng như trên máy chủ đám mây, còn được huấn luyện trên các chip TPUv5p của Google. Hiện tại, chip TPUv5p là một phần của hệ thống siêu máy tính Google Cloud AI, được công bố chính thức từ tháng 12 năm ngoái.
Đối với mô hình Apple Foundation Model vận hành trên chip Apple Silicon trong các thiết bị tiêu dùng, Apple chọn phiên bản AFM với 6.4 tỷ tham số, được huấn luyện từ đầu giống hệt phiên bản AFM trên máy chủ đám mây. Tuy nhiên, thay vì sử dụng chip TPUv4 thế hệ cũ của Google, phiên bản mô hình này sử dụng chip TPUv5p mới nhất, với 2048 con chip để huấn luyện AFM 6.4 tỷ tham số.
Báo cáo nghiên cứu mô hình AI của Apple cũng đề cập đến quá trình đánh giá mô hình để tránh tạo ra các câu trả lời gây hại cho người dùng, các chủ đề nhạy cảm, độ chính xác của thông tin mà AI tổng hợp, khả năng thực hiện các phép tính toán học và mức độ hài lòng của người dùng với kết quả AI tạo ra.
Theo số liệu từ Apple, mức độ hài lòng của người dùng với kết quả AI tạo ra từ hai phiên bản mô hình AFM vận hành trên máy chủ và on-device hiện tại đang cao nhất trên thị trường, đặc biệt trong việc ngăn chặn các nội dung gây hại. Ví dụ, mô hình AFM vận hành trên máy chủ đám mây có tỷ lệ tạo nội dung gây hại chỉ 6.3%, thấp hơn nhiều so với tỷ lệ 28.8% của GPT-4. Tương tự, mô hình AFM vận hành on-device có tỷ lệ tạo nội dung gây hại chỉ 7.5% so với 21.8% của Llama 3-8B của Meta.
