TensorWave cho rằng nó có thể phá vỡ sự kiểm soát của Nvidia đối với tính toán AI bằng đám mây do AMD cung cấp
Nhà sản xuất chip Nvidia đã đạt doanh thu 30 tỷ USD trong quý tài chính vừa qua, phần lớn nhờ vào nhu cầu vô độ về GPU của ngành công nghiệp AI. GPU rất cần thiết cho việc đào tạo và chạy các mô hình AI; chúng chứa hàng nghìn lõi hoạt động song song để thực hiện nhanh chóng các phương trình đại số tuyến tính làm nền tảng cho các mô hình.
Nhu cầu về AI vẫn còn cao và GPU của Nvidia đã trở thành con chip được những người chơi AI ở mọi quy mô lựa chọn. Nhưng TensorWave, một công ty được thành lập vào cuối năm ngoái, đang đi ngược lại xu hướng bằng cách tung ra một đám mây chỉ cung cấp quyền truy cập vào phần cứng từ đối thủ Nvidia là AMD cho khối lượng công việc AI.
Darrick Horton, Giám đốc điều hành của TensorWave và một trong những người đồng sáng lập của nó, nói với TechCrunch: “Chúng tôi đã nhận ra sự độc quyền không lành mạnh tại nơi làm việc – một sự độc quyền đang bỏ đói quyền truy cập máy tính của người dùng cuối và kìm hãm sự đổi mới trong không gian AI”. “Được thúc đẩy bởi mong muốn dân chủ hóa AI, chúng tôi đặt ra mục tiêu cung cấp một giải pháp thay thế khả thi và khôi phục sự cạnh tranh và lựa chọn.”
Những con đường quanh co
Pickleball ban đầu đưa Horton đến cùng với hai người đồng sáng lập khác của TensorWave, Jeff Tatarchuk và Piotr Tomasik – hoặc ít nhất, đó là điều khiến quả bóng lăn (xin lỗi vì chơi chữ).
Sau trận đấu một ngày, Tomasik và Tatarchuk – những người bạn thân và đối tác đánh đôi bóng ném lâu năm – đã mời Horton, một đồng nghiệp cũ của Tatarchuk, tham gia cùng họ tại hố tưới nước yêu thích ở Las Vegas.
Horton cho biết: “Khi cuộc trò chuyện diễn ra, chúng tôi đã thảo luận về khả năng độc quyền về khả năng tính toán của GPU, điều này dẫn đến những hạn chế về nguồn cung”. “Nhận thức này đã dẫn đến sự hình thành của TensorWave.”
Ba đối tác không chỉ biết nhau từ trò chơi ném bóng.
Tatarchuk đồng sáng lập nhà cung cấp đám mây VMAccel với Horton trước khi bán một công ty khởi nghiệp khác, nhà phát triển CRM Lets Rolo, cho công ty nhận dạng kỹ thuật số LifeKey. Horton, người có bằng cử nhân về kỹ thuật cơ khí và vật lý, từng làm việc tại bộ phận R&D Skunk Works của Lockheed Martin, sau đó đồng sáng lập VaultMiner Technologies, một công ty khai thác tiền điện tử và là công ty mẹ của VMAccel.
Về phần Tomasik, anh ấy đã đồng sáng lập Lets Rolo cùng với Tatarchuk. (Tomasik cũng là người đồng sáng lập trang web tiếp thị có ảnh hưởng Influential, được công ty PR Publicis của Pháp mua lại với giá 500 triệu USD vào tháng 7.)
Vậy điều gì đã khiến ba doanh nhân có ít kiến thức về bối cảnh siêu quy mô nghĩ rằng họ có thể cạnh tranh với những gã khổng lồ trong ngành AI? Về cơ bản là sự kiên trì.
Horton nói: “Chúng tôi tin rằng mình có thể giải quyết được vấn đề cung cấp GPU.
Vegas, Inc.
TensorWave có trụ sở chính tại Las Vegas, một lựa chọn thành phố khác thường cho một công ty khởi nghiệp về cơ sở hạ tầng đám mây. Nhưng Horton nói rằng đội thích tỷ lệ cược.
Ông nói: “Chúng tôi nghĩ rằng Vegas có tiềm năng trở thành một hệ sinh thái khởi nghiệp và công nghệ phát triển mạnh”.
Dự đoán đó không hoàn toàn sai cơ sở. Theo dữ liệu của Dealroom.co, Las Vegas là nơi có hơn 600 công ty khởi nghiệp sử dụng hơn 11.000 người, thu hút hơn 4 tỷ USD đầu tư vào năm 2022.
Chi phí năng lượng và chi phí chung ở Vegas cũng thấp hơn so với nhiều thành phố lớn của Hoa Kỳ. Và cả Tomasik và Tataarchuk đều có mối quan hệ chặt chẽ với cộng đồng VC của thành phố.
Tomasik trước đây là GP tại quỹ hạt giống 1864 Fund có trụ sở tại Vegas và hiện đang làm việc với các tổ chức tăng tốc phi lợi nhuận StartUp Vegas và Vegas Tech Ventures. (Thật kỳ lạ, trang web của Vegas Tech Ventures đã đưa ra lỗi 404 cho các trang liệt kê các đối tác và công ty trong danh mục đầu tư của họ; một phát ngôn viên nói rằng đó là lỗi kỹ thuật và sẽ được sửa chữa.) Tatarchuk là một nhà đầu tư thiên thần tại Fruition Lab, một vườn ươm ở Vegas. bắt đầu một cách bất thường như một tổ chức tôn giáo Kitô giáo.
Những kết nối này — cùng với của Horton — đã giúp khởi động TensorWave trở thành một trong những đám mây đầu tiên đưa ra thị trường các phiên bản AMD Instinct MI300X cho khối lượng công việc AI. Cung cấp các thiết lập với bộ lưu trữ chuyên dụng và kết nối tốc độ cao theo yêu cầu, TensorWave thuê dung lượng GPU theo giờ và yêu cầu hợp đồng tối thiểu sáu tháng.
Horton nói: “Trong toàn bộ không gian đám mây, chúng tôi đang hợp tác tốt. “Chúng tôi tự coi mình là sự bổ sung, cung cấp thêm khả năng tính toán cụ thể cho AI với mức giá cạnh tranh so với hiệu suất.”
AMD chuyển tiếp
Có một thị trường đang bùng nổ dành cho các công ty khởi nghiệp xây dựng các đám mây chi phí thấp, theo yêu cầu và hỗ trợ GPU cho AI.
CoreWeave, nhà cung cấp cơ sở hạ tầng GPU bắt đầu hoạt động như một hoạt động khai thác tiền điện tử, gần đây đã huy động được 1,1 tỷ USD vốn mới (và khoản nợ 7,5 tỷ USD) và ký một thỏa thuận năng lực trị giá hàng tỷ USD với Microsoft. Lambda Labs vào đầu tháng 4 đã đảm bảo được một phương tiện tài trợ cho mục đích đặc biệt lên tới 500 triệu USD và được cho là đang tìm kiếm thêm 800 triệu USD. Tổ chức phi lợi nhuận Công viên Điện áp, được hỗ trợ bởi tỷ phú tiền điện tử Jed McCaleb, vào tháng 10 năm ngoái đã thông báo rằng họ đang đầu tư 500 triệu USD vào các trung tâm dữ liệu được hỗ trợ bởi GPU. Và Together AI, một máy chủ GPU đám mây cũng tiến hành nghiên cứu AI tổng quát, vào tháng 3 đã thu về 106 triệu USD trong vòng gọi vốn do Salesforce dẫn đầu.
Vậy TensorWave hy vọng cạnh tranh như thế nào?
MI300X: racked, stacked, and ready for production! Let’s ROCm roll!#TensorWave #AMD #GPUrich #First pic.twitter.com/QAyHMJawNr
— TensorWave (@TensorWaveCloud) April 2, 2024
Đầu tiên, về giá cả. Horton lưu ý rằng MI300X rẻ hơn đáng kể so với GPU phổ biến nhất của Nvidia dành cho khối lượng công việc AI hiện nay là H100 và điều này cho phép TensorWave chuyển khoản tiết kiệm cho khách hàng. Anh ấy sẽ không tiết lộ giá phiên bản chính xác của TensorWave. Nhưng để đánh bại các gói H100 cạnh tranh hơn, nó sẽ phải có giá dưới ~ 2,50 USD mỗi giờ — một thành tích đầy thách thức nhưng không phải là không thể tưởng tượng được.
Horton cho biết: “Giá dao động từ khoảng 1 USD/giờ đến 10 USD/giờ, tùy thuộc vào yêu cầu riêng của khối lượng công việc và cấu hình GPU được chọn”. “Về chi phí cho mỗi phiên bản mà TensorWave phải chịu, chúng tôi không thể chia sẻ những chi tiết đó do các thỏa thuận bảo mật.”
Thứ hai, về hiệu suất. Horton chỉ ra các điểm chuẩn cho thấy MI300X vượt trội hơn H100 khi chạy các mô hình AI (nhưng không đào tạo), cụ thể là các mô hình tạo văn bản như Llama 2 của Meta. (Các đánh giá khác cho thấy lợi thế có thể phụ thuộc vào khối lượng công việc.)
Dường như có một số điểm đáng tin cậy đối với những tuyên bố của Horton, do sự quan tâm từ những người thúc đẩy và gây chấn động ngành công nghệ đối với MI300X. Meta cho biết vào tháng 12 rằng họ sẽ sử dụng chip MI300X cho các trường hợp sử dụng như chạy trợ lý Meta AI, trong khi OpenAI, nhà sản xuất ChatGPT, có kế hoạch hỗ trợ MI300X trong công cụ dành cho nhà phát triển của mình.
Cuộc thi
Những người khác đặt cược vào chip AI của AMD bao gồm từ các công ty khởi nghiệp như Lamini và Nscale cho đến các nhà cung cấp đám mây lớn hơn, cố định hơn như Azure và Oracle. (Google Cloud và AWS vẫn không bị thuyết phục về khả năng cạnh tranh của AMD.)
Điều có lợi cho tất cả các nhà cung cấp này hiện nay là tình trạng thiếu GPU Nvidia tiếp tục và sự chậm trễ của chip Blackwell sắp ra mắt của Nvidia. Tuy nhiên, sự thiếu hụt có thể sớm giảm bớt khi tăng cường sản xuất các linh kiện chip quan trọng, đặc biệt là bộ nhớ. Và điều đó có thể cho phép Nvidia tăng quy mô xuất xưởng H200, sản phẩm kế nhiệm của H100, vốn có hiệu suất được cải thiện đáng kể.
Một vấn đề nan giải hiện hữu khác đối với các đám mây mới nổi đặt cược vào phần cứng AMD là bắc cầu cho các hào cạnh tranh mà Nvidia đã xây dựng xung quanh chip AI. Phần mềm phát triển của Nvidia được coi là hoàn thiện hơn và dễ sử dụng hơn của AMD — và nó được triển khai rộng rãi. Bản thân Giám đốc điều hành AMD Lisa Su đã thừa nhận rằng việc áp dụng AMD “cần nhiều công sức”.
Trong tương lai xa, việc cạnh tranh về giá có thể trở thành thách thức trong tương lai khi các công ty siêu quy mô tăng cường đầu tư vào phần cứng tùy chỉnh để chạy và đào tạo các mô hình. Google cung cấp TPU của mình; Microsoft gần đây đã tiết lộ hai chip tùy chỉnh là Azure Maia và Azure Cobalt; và AWS có Trainium, Inferentia và Graviton.
“Khi các nhà phát triển tìm kiếm giải pháp thay thế có thể xử lý hiệu quả khối lượng công việc AI của họ, đặc biệt là khi nhu cầu về bộ nhớ và hiệu suất tăng lên, cùng với các vấn đề sản xuất đang diễn ra gây ra sự chậm trễ, AMD sẽ duy trì ưu thế lâu hơn nữa, đóng vai trò quan trọng trong việc dân chủ hóa điện toán trong kỷ nguyên AI “, Horton nói.
Nhu cầu sớm
TensorWave đã bắt đầu giới thiệu bản xem trước cho khách hàng vào cuối mùa xuân này. Nhưng nó đã tạo ra 3 triệu USD doanh thu định kỳ hàng năm, Horton nói. Ông kỳ vọng con số đó sẽ đạt 25 triệu USD vào cuối năm nay – một bước nhảy vọt gấp 8 lần – khi TensorWave tăng công suất lên 20.000 MI300X.
Giả sử 15.000 USD cho mỗi GPU, 20.000 MI300X sẽ tương đương với khoản đầu tư 300 triệu USD – tuy nhiên Horton khẳng định tốc độ đốt cháy của TensorWave là “ở mức bền vững”. TensorWave trước đó đã nói với The Register rằng họ sẽ sử dụng GPU của mình làm tài sản thế chấp cho một vòng tài trợ nợ lớn, một cách tiếp cận được các nhà khai thác trung tâm dữ liệu khác bao gồm CoreWeave áp dụng; Horton nói đó vẫn là kế hoạch.
Ông tiếp tục: “Điều này phản ánh sức khỏe tài chính mạnh mẽ của chúng tôi”. “Chúng tôi đang ở vị trí chiến lược để vượt qua những cơn gió ngược tiềm ẩn bằng cách mang lại giá trị ở những nơi cần thiết nhất.”
Tôi hỏi Horton hôm nay TensorWave có bao nhiêu khách hàng. Anh ấy từ chối trả lời do “bảo mật”, nhưng nhấn mạnh mối quan hệ đối tác được công bố công khai của TensorWave với nhà cung cấp mạng đường trục Edgecore Networks và MK1, một công ty khởi nghiệp về suy luận AI do các kỹ sư cũ của Neuralink thành lập.
Horton cho biết: “Chúng tôi đang nhanh chóng mở rộng công suất của mình, với nhiều nút có sẵn và chúng tôi liên tục tăng công suất để đáp ứng nhu cầu ngày càng tăng trong hệ thống của chúng tôi”, đồng thời cho biết thêm rằng TensorWave có kế hoạch mang GPU MI325X thế hệ tiếp theo của AMD, dự kiến phát hành vào quý 4 năm 2024, trực tuyến sớm nhất là vào tháng 11/tháng 12.
Các nhà đầu tư có vẻ hài lòng với quỹ đạo tăng trưởng của TensorWave cho đến nay. Nexus VP tiết lộ hôm thứ Tư rằng họ đã dẫn đầu vòng gọi vốn trị giá 43 triệu USD vào công ty, với sự tham gia của Maverick Capital, StartupNV, Translink Capital và AMD Ventures.
Đợt đầu tiên – đợt đầu tiên của TensorWave – định giá công ty khởi nghiệp ở mức 100 triệu đô la sau khi kiếm tiền.
“AMD Ventures chia sẻ tầm nhìn của TensorWave trong việc chuyển đổi cơ sở hạ tầng tính toán AI,” AMD Ventures SVP Matthew Hein cho biết trong một tuyên bố. “Việc triển khai AMD Instinct MI300X và khả năng cung cấp các phiên bản công khai cho khách hàng và nhà phát triển AI đã giúp họ trở thành đối thủ cạnh tranh ban đầu trong không gian AI và chúng tôi rất vui mừng được hỗ trợ sự phát triển của họ thông qua vòng tài trợ mới nhất này.”
Bài viết này ban đầu xuất hiện trên TechCrunch tại https://techcrunch.com/2024/10/08/tensorwave-claims-its-amd-Powered-cloud-for-ai-will-give-nvidia-a-run-for-its -tiền bạc/
