聯發科技達哥平台結合 NVIDIA NIM 推論微服務 實現高效模型部署
聯發科技宣布結合其生成式 AI 服務平台 MediaTek DaVinci(聯發科技達哥)與 NVIDIA 企業軟體平台之一的 NVIDIA NIM 推論微服務,為企業用戶提供從模型部署到垂直應用的端到端全方位解決方案,以加速各行各業於 AI 的部署與應用。此次合作延伸推展到軟體服務層面的應用,以共同形塑更為強大且多元的 AI 生態系統,有利更多開發者加速AI使用與落地,進而促進AI產業鏈發展。
聯發科技人工智慧暨數據工程處協理葉家順表示,此次合作代表了 AI 產業發展的新方向,更具深遠的戰略意義,充分促進雙方技術融合與創新加速。透過此次合作,除可互補並擴大彼此生態系,為全球客戶創造更大的價值,更加速生成式AI的技術發展和落地應用。
MediaTek DaVinci 是一個完整的生成式 AI 服務平台,擁有簡單易用快速上手的應用介面。在此次與 NVIDIA 的合作之下,MediaTek DaVinci 將 NIM 整合預設至平台中,讓使用者能直接在平台上選用其所支持的大型語言模型庫及其服務加速推論;同時,NIM 平台開發者能選擇 MediaTek DaVinci 平台輕易開發垂直應用。
此次整合後,開發者將可享用以下優勢:
- 模型多樣性:用戶除了可使用 MediaTek DaVinci 平台上預載的大型語言模型以外,亦能選用 NVIDIA NIM 支援的 40 多個預建模型。
- 靈活部署:企業可以根據自身需求,選擇在雲端或地端上部署 AI 應用,實現 AI 無所不在。
- 效能提升:藉由 NVIDIA 的 GPU 加速和聯發科技的優化技術,AI 應用的執行效率將得到顯著提升。
- 安全可靠:企業可在安全的環境中開發和使用AI應用,尤其為需要保護敏感資訊的產業而設。
- 廣泛生態系統:聯發科技與 NVIDIA 與雙方超過 200 家包括技術合作夥伴和全球領先雲端服務業者等合作夥伴,將為用戶提供更豐富的工具和服務選擇。