Zoho hợp tác với NVIDIA cho các ứng dụng SaaS dựa trên AI

Tập đoàn Zoho có công bố kế hoạch của họ là tận dụng nền tảng điện toán tăng tốc NVIDIA AI, bao gồm NVIDIA NeMo như một phần của phần mềm NVIDIA AI Enterprise, để phát triển và triển khai các mô hình ngôn ngữ lớn (LLM) trong các ứng dụng phần mềm dưới dạng dịch vụ (SaaS) của mình.

Những mô hình này sẽ có thể tiếp cận được với hơn 700.000 khách hàng trên toàn thế giới thông qua ManagedEngine và Zoho.com. Trong năm qua, Zoho đã đầu tư hơn 10 triệu USD vào công nghệ AI và GPU của NVIDIA, cùng với kế hoạch đầu tư thêm 10 triệu USD cho năm tới. Thông báo này được đưa ra trong Hội nghị thượng đỉnh NVIDIA AI ở Mumbai.

Tập trung vào quyền riêng tư của người dùng và phương pháp tiếp cận AI toàn diện

Zoho nhấn mạnh quyền riêng tư của người dùng bằng cách thiết kế các mô hình của mình để tuân thủ các quy định về quyền riêng tư ngay từ đầu thay vì trang bị thêm sau này. Công ty đặt mục tiêu giúp các doanh nghiệp đạt được lợi tức đầu tư (ROI) nhanh chóng bằng cách sử dụng toàn bộ khả năng của phần mềm NVIDIA AI và tính toán tăng tốc, giúp nâng cao thông lượng và giảm độ trễ.

Với hơn một thập kỷ kinh nghiệm về công nghệ AI, Zoho đã tích hợp các tính năng AI vào hơn 100 sản phẩm trên các bộ phận ManaEngine và Zoho của mình. Cách tiếp cận của công ty là đa phương thức, tập trung vào thông tin theo ngữ cảnh để hỗ trợ người dùng đưa ra quyết định kinh doanh sáng suốt.

Không giống như LLM tiêu chuẩn, Zoho cũng đang phát triển các mô hình ngôn ngữ hẹp, nhỏ và trung bình, cho phép đưa ra các giải pháp phù hợp dựa trên các kích thước dữ liệu và trường hợp sử dụng khác nhau. Đáng chú ý, các LLM này sẽ không được đào tạo về dữ liệu khách hàng, đảm bảo rằng quyền riêng tư vẫn là khía cạnh cơ bản trong chiến lược AI của Zoho.

Hợp tác với NVIDIA

Thông qua quan hệ đối tác này, Zoho sẽ tăng tốc LLM của mình trên nền tảng điện toán của NVIDIA bằng cách sử dụng GPU NVIDIA Hopper. Công ty sẽ tận dụng nền tảng NVIDIA NeMo để phát triển AI tùy chỉnh, bao gồm các mô hình ngôn ngữ lớn (LLM), AI đa phương thức cũng như cả khả năng thị giác và giọng nói.

Ngoài ra, Zoho đang thử nghiệm NVIDIA TensorRT-LLM để nâng cao LLM cho việc triển khai, đạt được thông lượng tăng 60% và độ trễ giảm 35% so với khung nguồn mở đã sử dụng trước đây. Công ty cũng đang tối ưu hóa các khối lượng công việc khác, chẳng hạn như chuyển lời nói thành văn bản, trên cơ sở hạ tầng điện toán tăng tốc của NVIDIA.

Nói về bối cảnh hiện tại của các mô hình ngôn ngữ lớn, Ramprakash Ramamoorthy, Giám đốc AI tại Zoho Corporation, cho biết:

Nhiều LLM hiện nay được thiết kế chủ yếu cho các ứng dụng tiêu dùng, mang lại lợi ích hạn chế cho doanh nghiệp. Tại Zoho, sứ mệnh của chúng tôi là tạo ra LLM được thiết kế riêng cho nhiều trường hợp sử dụng kinh doanh đa dạng. Bằng cách sở hữu toàn bộ kho công nghệ của mình và cung cấp các sản phẩm thuộc nhiều chức năng kinh doanh khác nhau, chúng tôi có thể tích hợp yếu tố chính giúp AI thực sự hiệu quả: bối cảnh.

Bình luận về sự hợp tác, Vishal Dhupar, Giám đốc điều hành khu vực Nam Á tại NVIDIA, cho biết:

Khả năng chọn từ nhiều kích cỡ mô hình AI khác nhau cho phép doanh nghiệp tùy chỉnh các giải pháp AI của mình để đáp ứng các nhu cầu cụ thể, tạo sự cân bằng giữa hiệu suất và hiệu quả chi phí. Với phần mềm AI và nền tảng điện toán tăng tốc của NVIDIA, Zoho đang phát triển một loạt mô hình toàn diện để giải quyết các yêu cầu đa dạng của khách hàng doanh nghiệp của mình.