聆思CSK6語音視覺AI大模型開發(fā)板硬件詳解（附硬件資料下載）

ID:1124148 · 發(fā)表于 2024-6-12 19:24

本帖最后由 ListenAI 于 2024-6-12 19:26 編輯

視覺語音大模型 AI 開發(fā)套件( CSK6-MIX )是圍繞 CSK6011A 芯片設(shè)計的具備豐富語音圖像功能與硬件外設(shè)的開發(fā)板，采用具備豐富組件生態(tài)的 Zephyr RTOS作為操作系統(tǒng)，官方提供了十幾種開源SDK，包含大模型語音交互、大模型拍照識圖、文生圖、人臉識別、頭肩追蹤、手勢識別、坐姿提醒等。

聆思提供還提供了模型訓(xùn)練推理工具將自己的算法模型部署至芯片上，也可以配合這個工具構(gòu)建自己的 AI 應(yīng)用。

功能特性

功能概述

● 使用聆思 CSK6011A 芯片作為主控，板載 16MB Flash

● 集成攝像頭、麥克風(fēng)、揚(yáng)聲器、屏幕等豐富外設(shè)配件

● 配套多模態(tài)應(yīng)用示例，支持快速上手體驗大模型語音交互、智能視覺等 AI 應(yīng)用

● 板載 DAPLINK 調(diào)試器，外接一條USB 線即可實現(xiàn)燒錄、調(diào)試、串口日志查看

● 板載網(wǎng)絡(luò)模組，支持開發(fā)聯(lián)網(wǎng)類應(yīng)用

大模型示例SDK清單

SDK集成了星火大模型，可以二次開發(fā)改接其他大模型，示例清單見下表，可以直接通過鏈接進(jìn)行固件燒錄并下載：

序號	大模型功能	使用教程	功能說明
1	大模型多模態(tài)	大模型多模態(tài)快速體驗	套件出廠默認(rèn)應(yīng)用。包含大模型語音問答、拍照識圖、大模型繪圖等豐富供能示例，支持語音喚醒、多輪語音交互。
2	智能對話	智能問答+坐姿檢測快速體驗	除了大模型語音對話，還集成了可離線運(yùn)行的坐姿檢測算法，是一個大模型在線服務(wù)+離線AI能力的示例。
3	智能對話 + 文生圖 + 設(shè)備控制	大模型控制快速體驗	該示例展示了如何通過大模型實現(xiàn)語音輸入意圖的理解，實現(xiàn)對話、繪圖和控制開發(fā)板屏幕顏色進(jìn)行切換，用戶可參考代碼與教程自行修改。
4	接入自定義應(yīng)用	基于模板創(chuàng)建應(yīng)用通過編排新增意圖落域	講解如何在云端快速建立一個自定義大模型應(yīng)用并接入到開發(fā)套件上實現(xiàn)語音交互，由淺入深地展示如何開發(fā)自己的大模型助手。