Một nhóm nghiên cứu tại Đại học California, Berkeley cho biết họ đã tái tạo công nghệ cốt lõi của DeepSeek AI mạnh mẽ của Trung Quốc, chỉ với 30 đô la.
Phiên bản DeepSeek giá rẻ này là một dấu hiệu nữa cho thấy dù các mô hình từ các công ty lớn rất ấn tượng, vẫn có những cách rẻ hơn nhiều để xây dựng chúng.
Dưới sự dẫn dắt của nghiên cứu sinh tiến sĩ Jiayi Pan, nhóm đã sao chép khả năng học tăng cường của DeepSeek R1-Zero bằng cách sử dụng một mô hình ngôn ngữ nhỏ chỉ với 3 tỷ tham số.
Dù có quy mô tương đối khiêm tốn, AI này đã thể hiện khả năng tự xác minh và tìm kiếm thông tin, hai yếu tố then chốt giúp nó tinh chỉnh câu trả lời của mình theo từng bước.
Để kiểm tra mô hình DeepSeek tái tạo, nhóm Berkeley đã sử dụng trò chơi Countdown, một câu đố số học dựa trên chương trình truyền hình Anh, trong đó người chơi phải sử dụng phép toán để đạt đến một số mục tiêu.
Ban đầu, mô hình chỉ đưa ra các phán đoán ngẫu nhiên, nhưng thông qua học tăng cường, nó dần phát triển kỹ thuật tự sửa lỗi và giải quyết vấn đề theo cách lặp lại.
Cuối cùng, AI này học cách chỉnh sửa câu trả lời của mình cho đến khi tìm ra đáp án đúng.
Nhóm cũng thử nghiệm với phép nhân, trong đó AI phân tích phương trình bằng cách sử dụng tính chất phân phối, tương tự như cách con người tính nhẩm các phép nhân lớn.
Điều này cho thấy mô hình có thể điều chỉnh chiến lược của nó dựa trên từng bài toán cụ thể. Để đăng ký, bạn chỉ cần đồng ý với điều khoản sử dụng và thông báo quyền riêng tư.
Điều đáng kinh ngạc là toàn bộ quá trình tái tạo chỉ tốn 30 đô la, theo Pan chia sẻ trên Nitter. Đây là một con số nhỏ đến kinh ngạc so với khoản chi khổng lồ mà các công ty AI hàng đầu bỏ ra để huấn luyện mô hình ở quy mô lớn.
Nhóm nghiên cứu đã thử nghiệm với nhiều kích thước mô hình khác nhau, bắt đầu từ mô hình 500 triệu tham số, vốn chỉ có thể đưa ra dự đoán rồi dừng lại mà không quan tâm đến độ chính xác.
Khi mở rộng lên 1,5 tỷ tham số, phiên bản DeepSeek tái tạo bắt đầu áp dụng kỹ thuật sửa đổi câu trả lời. Các mô hình có từ 3 đến 7 tỷ tham số cho thấy sự cải thiện đáng kể, giải quyết bài toán nhanh hơn với độ chính xác cao hơn, theo báo cáo của Pan và các cộng sự.
Để so sánh, OpenAI hiện tính phí 15 đô la cho mỗi triệu token thông qua API của họ, trong khi DeepSeek có mức giá rẻ hơn nhiều, chỉ 0,55 đô la mỗi triệu token.
Phát hiện của nhóm Berkeley cho thấy các mô hình AI mạnh mẽ có thể được phát triển với chi phí thấp hơn rất nhiều so với mức đầu tư hiện tại của các công ty AI hàng đầu.
Tuy nhiên, dù có chi phí rẻ, vẫn có nhiều lý do để cẩn trọng với DeepSeek.
Một trong những lý do là một số chuyên gia hoài nghi về mức chi phí được công bố của DeepSeek. Nhà nghiên cứu AI Nathan Lambert đã bày tỏ lo ngại rằng chi phí đào tạo 5 triệu đô la cho mô hình 671 tỷ tham số của DeepSeek có thể không phản ánh đầy đủ thực tế.
Ngoài ra, AI này còn gửi một lượng lớn dữ liệu về Trung Quốc, gây lo ngại về quyền riêng tư và dẫn đến lệnh cấm DeepSeek tại nhiều khu vực ở Mỹ.
