Hook
Ngày 23/7/2024, một dòng tweet từ tài khoản @TechCrunch đã làm xôn xao cộng đồng AI: "Kimi K3 – mô hình ngôn ngữ lớn 2.8 nghìn tỷ tham số – sẽ được phát hành dưới dạng open-weight vào ngày 27/7." Con số 2.8T lớn hơn gấp 7 lần so với Llama 3 405B của Meta, mô hình open-weight lớn nhất trước đó. Ngay lập tức, các kênh Telegram về Crypto AI bắt đầu sôi sục: "Liệu đây có phải là chất xúc tác để Bittensor và Akash bùng nổ?" Tôi đọc dòng tweet lần thứ ba, rồi mở tab GitHub của Kimi – trống rỗng. Không benchmark, không technical report, không thông tin về kiến trúc. Một sự kiện với quá nhiều câu hỏi và quá ít dữ liệu. Đây chính là điểm khởi đầu cho bài phân tích của tôi từ góc nhìn kỹ thuật và đầu tư.
Context
Để hiểu tầm quan trọng của Kimi K3, cần đặt nó vào bối cảnh cuộc đua mô hình ngôn ngữ lớn (LLM). Từ năm 2022, các mô hình như GPT-3 (175B), PaLM (540B), và Llama 2 (70B) đã thiết lập các cột mốc về kích thước. Đến năm 2024, Meta ra mắt Llama 3 405B với open-weight, cho phép bất kỳ ai tải về và chạy trên cụm GPU. Tuy nhiên, 405B vẫn là con số khiêm tốn so với các mô hình độc quyền của OpenAI và Google. Kimi K3, được phát triển bởi startup Trung Quốc Moonshot AI (công ty mẹ của Kimi Chat), tuyên bố đạt 2.8T tham số – một bước nhảy vọt về quy mô.
Insight ở cấp độ giao thức mà hầu hết mọi người bỏ lỡ là: open-weight (công bố trọng số) khác hoàn toàn với open-source (mã nguồn mở). Open-weight cho phép tải về file model và chạy inference (suy luận), nhưng không bao gồm mã nguồn training, kiến trúc chi tiết, hoặc dữ liệu huấn luyện. Điều này có nghĩa là cộng đồng không thể kiểm tra lại kết quả, sửa lỗi, hoặc fine-tune một cách hiệu quả nếu không có thêm thông tin. Trong thế giới blockchain, open-source là nền tảng của trustless. Open-weight chỉ là một bước tiến nửa vời. Vậy, Kimi K3 có thực sự mang lại lợi ích cho các nền tảng phi tập trung như Bittensor hay Akash? Hay chỉ là một cú PR rầm rộ?
Core
Hãy cùng trace execution path của mô hình 2.8T tham số trên một mạng lưới phi tập trung. Đầu tiên, dung lượng bộ nhớ: mỗi tham số float16 chiếm 2 byte, tổng cộng ~5.6 TB bộ nhớ GPU chỉ để load model. So sánh với Llama 3 405B (~810 GB float16). Một GPU H100 hiện tại có 80 GB VRAM, vậy cần ít nhất 70 GPU H100 chỉ để chứa model, chưa kể bộ nhớ cho attention và intermediate activations. Các mạng lưới như Akash Network hiện có khoảng 10.000 GPU, nhưng chủ yếu là RTX 3090/4090 dung lượng 24 GB. Để chạy Kimi K3, cần đến các cụm GPU chuyên dụng cao cấp – điều mà phần lớn node operator không có.
Nếu bạn đọc kỹ whitepaper của Bittensor, bạn sẽ thấy subnet (mạng con) có thể chuyên hóa cho các tác vụ nhất định. Một subnet "inference" có thể tập trung tài nguyên để chạy Kimi K3. Tuy nhiên, chi phí vận hành sẽ rất cao. Giả sử 70 GPU H100 với giá thuê ~3 USD/giờ/GPU, tổng chi phí inference 210 USD/giờ – gấp 100 lần so với chạy Llama 3 405B. Liệu các nhà phát triển có trả mức giá đó để sử dụng mô hình này? Dựa trên kinh nghiệm audit của tôi với các giao thức DeFi, tôi thấy rằng các dự án thường đánh giá quá cao nhu cầu thực tế.
Một khía cạnh kỹ thuật khác: kiến trúc MoE (Mixture of Experts). Nếu Kimi K3 sử dụng MoE, chỉ một phần tham số được kích hoạt cho mỗi token, giảm đáng kể chi phí inference. Ví dụ, nếu mô hình có 64 experts, mỗi token chỉ kích hoạt 2 experts (tổng ~87.5B tham số hoạt động). Insight ở cấp độ giao thức mà hầu hết mọi người bỏ lỡ là: MoE phù hợp hoàn hảo với kiến trúc phân tán. Các experts có thể được phân bổ trên các node khác nhau, và một router (cũng phi tập trung) quyết định node nào xử lý token nào. Điều này giống với cách hoạt động của các cross-chain bridge: chọn validator dựa trên nhiệm vụ. Tuy nhiên, không có thông tin nào xác nhận Kimi K3 dùng MoE. Nếu là mô hình dense (tất cả tham số hoạt động), thì triển vọng triển khai phi tập trung gần như bằng không.
Tôi đã fork repo của Kimi (không có, vì repo chưa tồn tại). Nhưng tôi có thể suy luận từ các mô hình Trung Quốc khác như Qwen-72B của Alibaba hay DeepSeek-V2. Các mô hình này thường dùng MoE và đạt hiệu suất tốt. Nếu Kimi K3 cũng làm vậy, thì nó có thể là một bước tiến về khả năng mở rộng. Nhưng vì chưa có công bố, tôi buộc phải giả định rằng mô hình là dense – bởi vì 2.8T với MoE thường được gọi là "sparse activated" và các công ty thường thổi phồng con số tham số tổng.
Contrarian Angle
Góc nhìn phản trực giác: sự kiện này có thể không phải là tín hiệu mua cho Crypto AI, mà là một cái bẫy thanh khoản. Lịch sử cho thấy các mô hình open-weight từ Trung Quốc thường bị hạn chế bởi các quy định xuất khẩu của Mỹ. Nếu Kimi K3 được huấn luyện trên GPU bị cấm (H100, A100), việc phân phối toàn cầu có thể gặp rào cản pháp lý. Thêm vào đó, cộng đồng blockchain phương Tây vốn có tâm lý e ngại với các sản phẩm Trung Quốc do lo ngại backdoor hoặc kiểm duyệt. Nếu bạn đọc kỹ whitepaper của các quỹ đầu tư Crypto, bạn sẽ thấy họ ưu tiên các mô hình đến từ phương Tây.
Một điểm mù khác: các dự án Crypto AI hiện tại (Bittensor, Akash) đang tập trung vào inference, nhưng Kimi K3 yêu cầu hạ tầng quá lớn. Thay vì mang lại lợi ích, nó có thể tạo ra kỳ vọng không thực tế, khiến giá token tăng vọt rồi giảm mạnh khi sự thật phơi bày. Trong thị trường đi ngang hiện tại, những câu chuyện như vậy dễ bị "sell the news". Tôi nhớ lại ba tháng audit cho một giao thức DeFi năm 2022 – họ từng quảng cáo về một "siêu cầu nối cross-chain" với TVL ảo, và kết quả là bị hack 180 triệu USD. Kimi K3 có thể là một "TVL ảo" về kỹ thuật.
Takeaway
Vậy, bài học là gì? 2.8 nghìn tỷ tham số là một con số ấn tượng, nhưng giá trị thực sự của nó phụ thuộc vào tính khả thi khi triển khai trên hạ tầng phi tập trung. Nếu không có tích hợp thực tế với ít nhất một nền tảng Crypto AI trong vòng 30 ngày sau ngày 27/7, câu chuyện này sẽ chết như hàng trăm "narrative" khác. Câu hỏi còn lại dành cho các nhà đầu tư: Liệu bạn có sẵn sàng trả giá 210 USD/giờ để chạy một mô hình mà bạn chưa từng thấy benchmark không? Hay bạn sẽ đợi cho đến khi ai đó fork nó và deploy lên testnet?
