Akash Network ra mắt AkashML, dịch vụ suy luận AI được quản lý hoàn toàn đầu tiên trên GPU phi tập trung

Mạng Akash , một thị trường điện toán đám mây, đã giới thiệu dịch vụ suy luận AI được quản lý hoàn toàn đầu tiên hoạt động hoàn toàn trên GPU phi tập trung. Dịch vụ mới này loại bỏ những thách thức vận hành mà các nhà phát triển trước đây gặp phải trong việc quản lý suy luận cấp sản xuất trên Akash, mang lại những lợi thế của điện toán đám mây phi tập trung mà không cần quản lý cơ sở hạ tầng thủ công.

Khi ra mắt, AkashML cung cấp khả năng suy luận được quản lý cho các mô hình bao gồm Llama 3.3-70B, DeepSeek V3 và Qwen3-30B-A3B, có sẵn để triển khai ngay lập tức và có khả năng mở rộng trên hơn 65 trung tâm dữ liệu trên toàn cầu. Thiết lập này cho phép suy luận toàn cầu tức thì, định giá theo token có thể dự đoán trước và nâng cao năng suất của nhà phát triển.

Akash đã hỗ trợ các nhà phát triển AI và các công ty khởi nghiệp ban đầu kể từ khi các ứng dụng AI xuất hiện sau đó OpenAINhững tiến bộ ban đầu của Akash. Trong vài năm qua, đội ngũ Akash Core đã hợp tác với các khách hàng như brev.dev (đã được Nvidia mua lại), VeniceAI và Prime Intellect để ra mắt các sản phẩm phục vụ hàng chục nghìn người dùng. Mặc dù những người dùng đầu tiên này có trình độ kỹ thuật thành thạo và có thể tự quản lý cơ sở hạ tầng, nhưng phản hồi cho thấy họ ưu tiên truy cập dựa trên API mà không cần xử lý các hệ thống cơ bản. Những đóng góp này đã định hướng cho việc phát triển phiên bản AkashML không công khai cho một số người dùng được chọn, cũng như việc tạo ra AkashChat và AkashChat API, mở đường cho việc ra mắt AkashML công khai.

AkashML sẽ cắt giảm chi phí triển khai LLM tới 85%

Giải pháp mới giải quyết một số thách thức chính mà các nhà phát triển và doanh nghiệp gặp phải khi triển khai các mô hình ngôn ngữ lớn. Các giải pháp đám mây truyền thống thường có chi phí cao, với các phiên bản dành riêng cho mô hình 70B vượt quá 0.13 đô la cho mỗi đầu vào và 0.40 đô la cho mỗi đầu ra trên mỗi triệu token, trong khi AkashML tận dụng sự cạnh tranh trên thị trường để giảm chi phí 70-85%. Chi phí vận hành cũng là một rào cản khác, vì việc đóng gói mô hình, cấu hình máy chủ vLLM hoặc TGI, quản lý phân đoạn và xử lý chuyển đổi dự phòng có thể mất hàng tuần cho kỹ thuật; AkashML đơn giản hóa việc này bằng OpenAI-API tương thích cho phép di chuyển trong vài phút mà không cần thay đổi mã.

Độ trễ cũng là một vấn đề đáng lo ngại với các nền tảng tập trung, yêu cầu các yêu cầu phải truyền tải trên khoảng cách xa. AkashML hướng lưu lượng đến trung tâm dữ liệu gần nhất trong số hơn 80 trung tâm dữ liệu toàn cầu, cung cấp thời gian phản hồi dưới 200ms, phù hợp cho các ứng dụng thời gian thực. Việc bị ràng buộc bởi nhà cung cấp hạn chế tính linh hoạt và khả năng kiểm soát đối với các mô hình và dữ liệu; AkashML chỉ sử dụng các mô hình mở như LlamaDeepSeek và Qwen, cung cấp cho người dùng toàn quyền kiểm soát việc quản lý phiên bản, nâng cấp và quản trị. Các thách thức về khả năng mở rộng được giảm thiểu bằng cách tự động mở rộng trên các tài nguyên GPU phi tập trung, duy trì thời gian hoạt động 99% và loại bỏ giới hạn dung lượng, đồng thời tránh tình trạng tăng giá đột ngột.

AkashML được thiết kế để nhanh chóng tích hợp và mang lại lợi tức đầu tư tức thì. Người dùng mới nhận được 100 đô la tín dụng mã thông báo AI để thử nghiệm tất cả các mô hình được hỗ trợ thông qua Sân chơi hoặc API. Một điểm cuối API duy nhất hỗ trợ tất cả các mô hình và tích hợp với các nền tảng như LangChain, Haystack hoặc các tác nhân tùy chỉnh. Giá cả minh bạch và cụ thể theo từng mô hình, giúp ngăn ngừa các chi phí phát sinh. Các triển khai tác động lớn có thể được tiếp cận thông qua Akash Star, và các nâng cấp mạng sắp tới bao gồm BME, máy ảo và điện toán bảo mật dự kiến ​​sẽ giảm chi phí hơn nữa. Người dùng ban đầu báo cáo chi phí giảm từ ba đến năm lần và độ trễ toàn cầu ổn định dưới 200ms, tạo ra một chu kỳ củng cố với chi phí thấp hơn, sử dụng nhiều hơn và sự tham gia của nhà cung cấp được mở rộng.

Bắt đầu thật đơn giản: người dùng có thể tạo một tài khoản miễn phí tại playground.akashml.com trong vòng chưa đầy hai phút, khám phá thư viện mô hình bao gồm Llama 3.3-70B, DeepSeek V3 và Qwen3-30B-A3B, và xem giá trước. Các mô hình bổ sung có thể được yêu cầu trực tiếp từ nền tảng. Người dùng có thể kiểm tra mô hình ngay lập tức trong Playground hoặc thông qua API, theo dõi mức sử dụng, độ trễ và chi tiêu thông qua bảng điều khiển, và mở rộng quy mô lên sản xuất với tính năng ghim vùng và tự động mở rộng quy mô.

Suy luận tập trung vẫn tốn kém, chậm và hạn chế, trong khi AkashML cung cấp quyền truy cập phi tập trung, ưu tiên API, được quản lý hoàn toàn vào các mô hình mở hàng đầu với mức giá do thị trường quyết định. Các nhà phát triển và doanh nghiệp muốn giảm chi phí suy luận tới 80% có thể bắt đầu sử dụng nền tảng này ngay lập tức.