Qualcomm hợp tác với Mistral AI để đưa các mô hình AI trên thiết bị lên nền tảng Snapdragon

Qualcomm Technologies đã công bố mối quan hệ hợp tác với Mistral AI tại Hội nghị thượng đỉnh Snapdragon 2024.

Sự hợp tác này nhằm mục đích tích hợp các mô hình AI tổng hợp của Mistral AI, Ministral 3B và Ministral 8B, vào các thiết bị được hỗ trợ bởi Nền tảng di động Snapdragon 8 Elite của Qualcomm, Snapdragon Buồng lái ưu túSnapdragon Ride Elite dành cho ô tô và Nền tảng điện toán Snapdragon X Series dành cho PC AI.

Các mô hình AI sáng tạo của Mistral AI

Ministral 3B và 8B là các mẫu AI thương mại đầu tiên của Mistral AI được thiết kế đặc biệt để sử dụng trên thiết bị. Những mẫu nhỏ gọn này cung cấp năng lượng đáng kể cho các thiết bị như điện thoại thông minh, PC và xe cộ.

Chạy AI trên thiết bị mang lại một số lợi ích, bao gồm cải thiện quyền riêng tư, giảm độ trễ, tiết kiệm chi phí, nâng cao độ tin cậy và hiệu quả sử dụng năng lượng cao hơn.

Các tính năng và hiệu suất chính

Những mô hình này vượt trội về khả năng lập luận thông thường, kiến ​​thức và điều phối nhiệm vụ trong phạm vi tham số dưới 10B. Chúng có thể thích ứng với nhiều ứng dụng khác nhau, chẳng hạn như quy trình làm việc dựa trên tác nhân và tự động hóa tác vụ chuyên biệt.

Cả hai mô hình đều hỗ trợ độ dài ngữ cảnh lên tới 128k, trong đó mô hình Ministral 8B có mẫu chú ý cửa sổ trượt để sử dụng bộ nhớ nhanh hơn và hiệu quả hơn trong quá trình suy luận.

Mistral AI ghi nhận nhu cầu ngày càng tăng của khách hàng đối với các mô hình AI cục bộ, ưu tiên quyền riêng tư, có khả năng xử lý các tác vụ như dịch trên thiết bị, trợ lý thông minh ngoại tuyến, phân tích cục bộ và robot tự động.

Các mô hình của Bộ đáp ứng nhu cầu này bằng cách cung cấp các giải pháp hiệu quả, có độ trễ thấp. Những mô hình này đã thể hiện hiệu suất mạnh mẽ trong nhiều nhiệm vụ khác nhau, thường vượt qua các mô hình cạnh tranh.

Chức năng trong quy trình làm việc nhiều bước

Các mô hình này cũng hiệu quả khi sử dụng với các mô hình ngôn ngữ lớn hơn như Mistral Large. Chúng được tối ưu hóa để gọi hàm trong quy trình công việc phức tạp, quản lý các tác vụ như phân tích cú pháp đầu vào, định tuyến tác vụ và thực thi lệnh gọi API dựa trên ý định của người dùng.

Điều này dẫn đến phản hồi có độ trễ cực thấp và chi phí vận hành thấp hơn, khiến chúng phù hợp với các ứng dụng trong thế giới thực.

Tích hợp trung tâm AI của Qualcomm

Qualcomm và Mistral AI đang nỗ lực để sớm cung cấp Ministral 3B và 8B cho các nhà phát triển thông qua Qualcomm AI Hub. Các nhà phát triển đã có thể truy cập các mô hình AI Mistral khác, chẳng hạn như Mistral 7B v0.3, thông qua nền tảng này, giúp họ nâng cao các giải pháp AI trên thiết bị của mình.

Phát biểu tại sự kiện, Durga Malladi, Phó chủ tịch cấp cao kiêm Tổng giám đốc về Giải pháp công nghệ, lập kế hoạch và biên tại Qualcomm Technologies, Inc., cho biết:

Chúng tôi rất vui mừng được thông báo về sự hợp tác của chúng tôi với Mistral AI, vì nó phù hợp với mục tiêu của chúng tôi là hỗ trợ các thiết bị tiên tiến bằng công nghệ AI tiên tiến. Ministral 3B và Ministral 8B của Mistral AI sẽ cho phép các nhà sản xuất thiết bị, nhà cung cấp phần mềm và nhà cung cấp dịch vụ tạo ra những trải nghiệm đổi mới, chẳng hạn như trợ lý AI và các ứng dụng khác thực sự hiểu nhu cầu của người dùng, đồng thời mang lại tính tức thời, độ tin cậy và quyền riêng tư nâng cao trên -thiết bị AI.

Nói về sự hợp tác, Arthur Mensch, Đồng sáng lập và Giám đốc điều hành của Mistral AI, nói,

Sự hợp tác này với Qualcomm Technologies đánh dấu một cột mốc quan trọng đối với Mistral AI, cho thấy các mẫu máy mới của chúng tôi có thể hoạt động trực tiếp như thế nào trên các thiết bị chạy nền tảng Snapdragon. Điều này cho phép xử lý cục bộ nhanh hơn, giúp giảm cả chi phí và mức tiêu thụ năng lượng. Cùng nhau, chúng tôi đang làm cho AI tiên tiến trở nên dễ tiếp cận hơn, trao quyền cho các nhà phát triển và người dùng trên toàn cầu trải nghiệm toàn bộ tiềm năng của các mô hình của chúng tôi ngay trên thiết bị của họ.