Kimi K3 có được đào tạo trên Claude không?

Anthropic cho biết các phòng thí nghiệm Trung Quốc đã sử dụng tài khoản giả mạo để lấy hàng triệu kết quả đầu ra của mô hình Claude. Dưới đây là khái niệm về "cô đọng dữ liệu" và tại sao nó lại quan trọng.

Vụ tranh cãi về việc "cô đọng" dữ liệu của Kimi K3

Anthropic cho biết các phòng thí nghiệm AI của Trung Quốc, bao gồm DeepSeek, Moonshot và MiniMax, đã sử dụng khoảng 24.000 tài khoản giả mạo để tạo ra hơn 16 triệu giao dịch với Claude, trong khi né tránh các hạn chế truy cập của Anthropic. Cùng thời điểm đó, Kimi K3 của Moonshot bị cáo buộc công khai về việc "cô đọng" dữ liệu đầu ra từ dòng mô hình tiên tiến của Anthropic. Một bản ghi nhớ sau đó của Nhà Trắng đã đề cập đến việc khai thác dữ liệu đầu ra mô hình trên quy mô công nghiệp bởi những thực thể có trụ sở tại Trung Quốc mà không nêu tên cụ thể các công ty. Không có cuộc kiểm toán độc lập nào giải quyết được vấn đề này, nhưng nó đã biến việc "cô đọng" dữ liệu, vốn thường là một kỹ thuật huấn luyện thông thường, thành một cuộc chiến tranh giành quyền sở hữu trí tuệ và chính sách đang diễn ra.

Quá trình "cô đọng" mô hình hoạt động như thế nào?

Ở dạng thông thường, "cô đọng" là một thiết lập thầy-trò. Một mô hình mạnh mẽ, đắt tiền tạo ra một tập hợp lớn các đầu ra, những câu trả lời hoàn chỉnh, các dấu vết suy luận từng bước, hoặc những ưu tiên được xếp hạng giữa các phản hồi. Một mô hình thứ hai, thường nhỏ hơn hoặc tập trung hơn, được huấn luyện trên dữ liệu tạo ra đó và hấp thụ một số mô hình "thầy" mà không cần trải qua toàn bộ quá trình huấn luyện tốn kém hơn nhiều của "thầy".

Đây không phải là một kỹ thuật hiếm gặp. Các phòng thí nghiệm hàng đầu sử dụng nó nội bộ để tạo ra những phiên bản nhỏ, rẻ hơn từ các mô hình chủ lực của họ. OpenAI cung cấp khả năng "cô đọng" như một tính năng sản phẩm. DeepSeek đã công khai việc thực hiện điều này: Các tài liệu được công bố của họ cho biết rằng những mô hình "trò" được tạo ra từ Qwen và Llama đã được tinh chỉnh trên 800.000 mẫu được chọn lọc từ đầu ra của mô hình R1 của họ. Đó là một quy trình thầy-trò được công khai đầy đủ, sử dụng chính mô hình của công ty làm "thầy".

Tranh chấp về Kimi K3 và cáo buộc của Anthropic mô tả một điều khác biệt về bản chất, chứ không phải về cơ chế. Cáo buộc cho rằng các kết quả đầu ra của "mô hình thầy" đến từ mô hình độc quyền của đối thủ cạnh tranh, được thu thập thông qua những tài khoản được tạo ra đặc biệt để vượt qua giới hạn sử dụng và điều khoản dịch vụ, ở quy mô (hơn 16 triệu giao dịch thông qua khoảng 24.000 tài khoản, theo Anthropic) vượt xa mức sử dụng API thông thường hoặc lấy mẫu nghiên cứu.

Tại sao việc một mô hình học hỏi từ kết quả đầu ra của một mô hình khác lại quan trọng?

Một mô hình "trò" được chắt lọc không trở thành một bản sao nhỏ hơn của mô hình "thầy". Nó thừa hưởng hành vi trên các loại ví dụ cụ thể mà nó được huấn luyện, điều này có thể khiến nó mạnh mẽ một cách đáng ngạc nhiên trong những lĩnh vực hẹp, nhưng thường mất đi sự bao quát, độ tin cậy trong các trường hợp ngoại lệ và những biện pháp bảo vệ an toàn của mô hình "thầy". Đây là một phần lý do tại sao các chuyên gia nói về "mùi mô hình lớn" khi kiểm tra các hệ thống rõ ràng được huấn luyện dựa trên một mô hình "thầy" mạnh hơn: Sắc bén trên lãnh thổ quen thuộc, nhưng yếu hơn khi bước ra ngoài.

Vấn đề sở hữu trí tuệ lại tách biệt với vấn đề năng lực. Nếu một phòng thí nghiệm sử dụng sản phẩm đầu ra của đối thủ cạnh tranh mà không được phép, ở quy mô công nghiệp, bằng cách sử dụng các tài khoản được thiết kế để né tránh kiểm soát truy cập, điều đó sẽ làm nảy sinh vấn đề pháp lý và chính sách nghiêm trọng bất kể mô hình thu được tốt hay hạn chế đến đâu. Nó cũng đặt ra một vấn đề chiến lược: Nếu khả năng có thể được trích xuất theo cách này, khoảng cách giữa mô hình nội bộ của một phòng thí nghiệm tiên phong và sản phẩm công khai của đối thủ cạnh tranh đang theo sát có thể thu hẹp nhanh hơn dự định của phòng thí nghiệm tiên phong, làm suy yếu khoản đầu tư R&D đã tạo ra mô hình ban đầu.

Hiện tại không có báo cáo công khai độc lập nào về chính xác những gì đã được trích xuất, cách thức sử dụng hoặc liệu nó có ảnh hưởng đáng kể đến quá trình huấn luyện của Kimi K3 hay không. Những gì tồn tại là cáo buộc của Anthropic, một cáo buộc công khai nhắm vào Kimi K3 nói riêng, và một bản ghi nhớ của Nhà Trắng đề cập đến hoạt động trích xuất mà không nêu tên các công ty. Đó là một loạt các cáo buộc nghiêm trọng, nhưng nó vẫn chưa đủ bằng chứng về một quy trình huấn luyện cụ thể.

Liệu các biện pháp kiểm soát việc xuất khẩu có gây ra điều này, và liệu chúng vẫn còn hiệu quả?

Các biện pháp kiểm soát xuất khẩu đối với chip AI tiên tiến, thiết bị sản xuất và phần mềm liên quan được thiết kế để làm chậm tiến độ phát triển mô hình tiên phong của Trung Quốc bằng cách hạn chế quyền truy cập vào điện toán. Chúng không phải là nguyên nhân tạo ra hiệu quả kỹ thuật của Trung Quốc. Các kỹ thuật hiện phổ biến trong những sản phẩm của Trung Quốc, kiến ​​trúc Mixture-of-Experts, huấn luyện độ chính xác thấp, cơ chế chú ý thưa thớt và lượng tử hóa nặng, phản ánh một mô hình rộng hơn trên các lĩnh vực công nghệ của Trung Quốc trong hai hoặc ba thập kỷ qua, chứ không phải là phản ứng riêng biệt đối với những hạn chế về chip.

Điều mà các biện pháp kiểm soát này có thể đã làm là nâng cao động lực để thúc đẩy mạnh hơn nữa những kỹ thuật đó, vì điện toán trở nên tương đối hạn chế và đắt đỏ để có được. Đó là một tuyên bố khác so với việc nói rằng các biện pháp kiểm soát đã trực tiếp gây ra những lợi ích về hiệu quả cho Trung Quốc. Điều đó cũng có nghĩa là hai phía của cuộc đua AI đang tối ưu hóa dựa trên những ràng buộc khác nhau: Các phòng thí nghiệm của Mỹ ngày càng bị tắc nghẽn bởi việc xây dựng trung tâm dữ liệu và nguồn điện, trong khi những phòng thí nghiệm của Trung Quốc đang tối ưu hóa xung quanh sự khan hiếm năng lực tính toán. Công nghệ "cô đọng", bất kể tình trạng pháp lý của nó trong từng trường hợp cụ thể, là một đòn bẩy nữa có sẵn để thu hẹp khoảng cách về khả năng mà không cần nhiều chip hơn một cách tương ứng.

Liệu việc thử nghiệm một mô hình của Trung Quốc có đáng để các nhà phát triển mạo hiểm?

Có, nhưng với một số điều kiện. Khuyến nghị thực tế không phải là tránh các mô hình của Trung Quốc vì lo ngại về sở hữu trí tuệ, mà là tách biệt ba quyết định thường bị nhầm lẫn: Bạn đang giải quyết nhiệm vụ gì, định thử nghiệm mô hình cụ thể nào và dự định triển khai nó ra sao. "Mô hình Trung Quốc" không phải là một sản phẩm duy nhất. DeepSeek được tối ưu hóa cho hiệu quả kinh tế suy luận cực cao. 

Qwen bao gồm các mô hình mở nhỏ đến các hệ thống khép kín được host. GLM được cấp phép theo giấy phép MIT và đặc biệt mạnh về lập trình dài hạn, nhưng điểm kiểm tra đầy đủ của nó rất lớn. Kimi K3 được định giá như một sản phẩm tiên tiến cao cấp. MiniMax có giấy phép tùy chỉnh với ngưỡng doanh thu và các hạn chế sử dụng. Coi chúng là có thể thay thế cho nhau chỉ vì chúng cùng xuất xứ là sai lầm cốt lõi.

Đối với các công việc có giới hạn, khối lượng lớn và có thể xem xét lại (trích xuất, phân loại, nghiên cứu bước đầu, tạo thử nghiệm), lợi thế về chi phí của những mô hình như DeepSeek có thể đủ lớn để thay đổi hiệu quả kinh tế của toàn bộ quy trình. Đối với các công việc mơ hồ, nơi mô hình phải suy luận ý định hoặc đưa ra phán đoán không thể phục hồi, tiêu chuẩn cần vượt qua vẫn là hệ thống tiên tiến mạnh nhất hiện có, bất kể nguồn gốc. Và đối với dữ liệu nhạy cảm, nơi đầu ra được lưu trữ (triển khai tự host so với dịch vụ chat được host bởi chính bên thứ nhất) là yếu tố rủi ro lớn hơn so với quốc gia đã huấn luyện các trọng số.

Vụ tranh cãi về quá trình "cô đọng" dữ liệu đã làm tăng thêm một khía cạnh nữa cho sự tính toán đó: Giờ đây, sự cho phép và nguồn gốc xuất xứ mới là yếu tố quan trọng, chứ không chỉ khả năng và giá cả, đặc biệt đối với các nhóm đang cân nhắc về rủi ro doanh nghiệp, rủi ro cấp phép hoặc những vấn đề sở hữu trí tuệ phát sinh trong sản phẩm của họ.