標(biāo)題: 聆思CSK6語(yǔ)音視覺(jué)AI大模型開(kāi)發(fā)板硬件詳解(附硬件資料下載) [打印本頁(yè)]
作者: ListenAI 時(shí)間: 2024-6-12 19:24
標(biāo)題: 聆思CSK6語(yǔ)音視覺(jué)AI大模型開(kāi)發(fā)板硬件詳解(附硬件資料下載)
本帖最后由 ListenAI 于 2024-6-12 19:26 編輯
視覺(jué)語(yǔ)音大模型 AI 開(kāi)發(fā)套件( CSK6-MIX )是圍繞 CSK6011A 芯片設(shè)計(jì)的具備豐富語(yǔ)音圖像功能與硬件外設(shè)的開(kāi)發(fā)板,采用具備豐富組件生態(tài)的 Zephyr RTOS作為操作系統(tǒng),官方提供了十幾種開(kāi)源SDK,包含大模型語(yǔ)音交互、大模型拍照識(shí)圖、文生圖、人臉識(shí)別、頭肩追蹤、手勢(shì)識(shí)別、坐姿提醒等。
聆思提供還提供了模型訓(xùn)練推理工具將自己的算法模型部署至芯片上,也可以配合這個(gè)工具構(gòu)建自己的 AI 應(yīng)用。
功能特性
功能概述
● 使用聆思 CSK6011A 芯片作為主控,板載 16MB Flash
● 集成攝像頭、麥克風(fēng)、揚(yáng)聲器、屏幕等豐富外設(shè)配件
● 配套多模態(tài)應(yīng)用示例,支持快速上手體驗(yàn)大模型語(yǔ)音交互、智能視覺(jué)等 AI 應(yīng)用
● 板載 DAPLINK 調(diào)試器,外接一條USB 線即可實(shí)現(xiàn)燒錄、調(diào)試、串口日志查看
● 板載網(wǎng)絡(luò)模組,支持開(kāi)發(fā)聯(lián)網(wǎng)類應(yīng)用
大模型示例SDK清單SDK集成了星火大模型,可以二次開(kāi)發(fā)改接其他大模型,示例清單見(jiàn)下表,可以直接通過(guò)鏈接進(jìn)行固件燒錄并下載:
序號(hào) | 大模型功能 | 使用教程 | 功能說(shuō)明 |
1 | 大模型多模態(tài) | | 套件出廠默認(rèn)應(yīng)用。包含大模型語(yǔ)音問(wèn)答、拍照識(shí)圖、大模型繪圖等豐富供能示例,支持語(yǔ)音喚醒、多輪語(yǔ)音交互。 |
2 | 智能對(duì)話 | | 除了大模型語(yǔ)音對(duì)話,還集成了可離線運(yùn)行的坐姿檢測(cè)算法,是一個(gè) 大模型在線服務(wù)+離線AI能力 的示例。 |
3 | 智能對(duì)話 + 文生圖 + 設(shè)備控制 | | 該示例展示了如何通過(guò)大模型實(shí)現(xiàn)語(yǔ)音輸入意圖的理解,實(shí)現(xiàn)對(duì)話、繪圖和控制開(kāi)發(fā)板屏幕顏色進(jìn)行切換,用戶可參考代碼與教程自行修改。 |
4 | 接入自定義應(yīng)用 | | 講解如何在云端快速建立一個(gè)自定義大模型應(yīng)用并接入到開(kāi)發(fā)套件上實(shí)現(xiàn)語(yǔ)音交互,由淺入深地展示如何開(kāi)發(fā)自己的大模型助手。 |
離線AI能力示例SDK清單LNN AI示例SDK清單LNN是用于移植適配算法至CSK6芯片的工具,提供了視覺(jué)、語(yǔ)音相關(guān)的示例SDK,如果想在CSK6上移植適配自己的算法,可以參照這些示例:
開(kāi)發(fā)板設(shè)計(jì)資料下載
大模型開(kāi)發(fā)套件V2.0 硬件設(shè)計(jì):https://oshwhub.com/lshuangyu/leaf-technology-multimodal-devel
CSK6系芯片引腳功能表 V1.0:https://docs2.listenai.com/zz/3294.xlsx?shortId=nTn9kMMCU
附件大綱:
功能概述
├──大模型示例SDK清單
├──離線AI能力示例SDK清單
├──LNN AI示例SDK清單
開(kāi)發(fā)板硬件資源
開(kāi)發(fā)板設(shè)計(jì)資料下載
開(kāi)發(fā)板尺寸V2.0
開(kāi)發(fā)板配件
├──攝像頭模組
├──攝像頭安裝
├──觸摸屏模塊
├──觸摸屏安裝
├──網(wǎng)絡(luò)模組
更多使用說(shuō)明
├──供電
├──DAPLink UsB口的使用
開(kāi)發(fā)環(huán)境
作者: pcf2000 時(shí)間: 2025-1-17 16:09
有沒(méi)有 語(yǔ)音合成的例程代碼 ?
歡迎光臨 (http://www.torrancerestoration.com/bbs/) |
Powered by Discuz! X3.1 |