找回密碼
 立即注冊(cè)

QQ登錄

只需一步,快速開(kāi)始

搜索
查看: 832|回復(fù): 0
打印 上一主題 下一主題
收起左側(cè)

聆思CSK6大模型開(kāi)發(fā)板英語(yǔ)評(píng)測(cè)類(lèi)開(kāi)源SDK詳解

[復(fù)制鏈接]
跳轉(zhuǎn)到指定樓層
樓主
離線英文評(píng)測(cè)算法SDK能力簡(jiǎn)介
CSK6 大模型開(kāi)發(fā)套件可以對(duì)用戶(hù)通過(guò)語(yǔ)音輸入的英文單詞進(jìn)行精準(zhǔn)識(shí)別,并對(duì)單詞的發(fā)音、錯(cuò)讀、漏讀、多讀等方面進(jìn)行評(píng)估,進(jìn)行音素級(jí)的識(shí)別,根據(jù)用戶(hù)的發(fā)音給出相應(yīng)的建議和糾正,幫助用戶(hù)更好地掌握單詞的發(fā)音。
離線單詞評(píng)測(cè) 算法具備以下特性:
●支持單詞評(píng)測(cè),評(píng)測(cè)準(zhǔn)確率98%以上
●支持音素級(jí)識(shí)別
●支持單詞發(fā)音評(píng)分
●支持識(shí)別無(wú)效評(píng)測(cè)音頻
功能交互展示
視覺(jué)語(yǔ)音大模型AI開(kāi)發(fā)套件)配套了離線英文評(píng)測(cè)這一示例工程,文本將對(duì)本示例工程進(jìn)行說(shuō)明。
1.固件運(yùn)行后,可以在顯示屏上看到 單詞評(píng)測(cè) 的圖標(biāo),點(diǎn)擊圖標(biāo)即可進(jìn)入單詞評(píng)測(cè)應(yīng)用:
2.目前固件提供了三種單詞、短語(yǔ)、句子評(píng)測(cè)模式,點(diǎn)擊對(duì)應(yīng)選項(xiàng)課進(jìn)入對(duì)應(yīng)的模式:
3.以單詞評(píng)測(cè)為例,進(jìn)入該模式后,固件將給出若干個(gè)英文單詞,可點(diǎn)擊右下角評(píng)測(cè)按鈕進(jìn)行評(píng)測(cè):
4.對(duì)著開(kāi)發(fā)套件讀出單詞后,點(diǎn)擊右下角圖標(biāo)結(jié)束評(píng)測(cè),固件將給出此次評(píng)測(cè)的結(jié)果:
離線英譯中SDK能力簡(jiǎn)介
基于transformer模型,使用聆思科技開(kāi)源的AI生態(tài)工具鏈LNN(ListenAI Neural Network),完成中英翻譯任務(wù)的訓(xùn)練、量化、模型轉(zhuǎn)換、仿真調(diào)試等一系列步驟,并實(shí)現(xiàn)在聆思CSK6芯片上進(jìn)行推理。
SDK提供的示例集成了這個(gè)模型,可以讓聆思CSK6開(kāi)發(fā)板實(shí)現(xiàn)英譯中功能,可用于體驗(yàn)離線翻譯功能。
觸摸屏UI交互翻譯
固件燒錄完畢后,程序?qū)⒆詣?dòng)運(yùn)行,您也可以通過(guò)復(fù)位按鍵(RST)對(duì)程序進(jìn)行復(fù)位,復(fù)位后的UI界面可以看圖片附件“觸摸屏UI交互翻譯”:
●點(diǎn)擊畫(huà)面中心的輸入框,可通過(guò)屏幕上顯示的鍵盤(pán)輸入句子
●點(diǎn)擊輸入框左側(cè)的按鈕,可隨機(jī)填入一句演示的句子
●點(diǎn)擊下方翻譯按鈕,即可輸出改句子的中文翻譯
UART串口交互翻譯
本示例也支持通過(guò)串口 UART 進(jìn)行離線翻譯,操作如下:
●打開(kāi) 聆思在線串口終端,選擇開(kāi)發(fā)板對(duì)應(yīng)的串口,點(diǎn)擊連接
在下方輸入框輸入待翻譯的英文內(nèi)容,點(diǎn)擊發(fā)送按鈕,即可在接收區(qū)查看到翻譯后的中文結(jié)果。
離線字母拼讀算法SDK能力簡(jiǎn)介
CSK6 大模型開(kāi)發(fā)套件可以對(duì)用戶(hù)的語(yǔ)音輸入進(jìn)行字母(a~z)的識(shí)別,通過(guò)語(yǔ)音拼讀單詞字母,快速準(zhǔn)確地查詢(xún)單詞的發(fā)音和含義,可應(yīng)用于掃描詞典筆、單詞卡、學(xué)習(xí)機(jī)等產(chǎn)品。
可以對(duì)用戶(hù)的語(yǔ)音輸入進(jìn)行字母(a~z)的識(shí)別,通過(guò)語(yǔ)音拼讀單詞字母,快速準(zhǔn)確地查詢(xún)單詞的發(fā)音和含義。
功能交互展示
聆思 CSK6 大模型開(kāi)發(fā)套件出廠集成提供了字母拼讀算法的示例,長(zhǎng)按即可加載示例進(jìn)行使用,無(wú)需聯(lián)網(wǎng)。
1.固件運(yùn)行后,可以在顯示屏上看到操作提示詞
2.按住按鍵進(jìn)行單詞拼讀
3.拼讀完成后,固件將會(huì)給出單詞的發(fā)音和含義
SDK資源下載
以上3個(gè)離線英語(yǔ)評(píng)測(cè)SDK可以在以下地址下載:
1、 語(yǔ)音視覺(jué)大模型開(kāi)發(fā)板 SDK:
●字母拼讀:apps目錄下,工程目錄名稱(chēng)為 lcd_wsp
●英文評(píng)測(cè): apps目錄下,工程目錄名稱(chēng)為 lcd_csps
●英譯中: apps/thinker_service目錄下,工程目錄名稱(chēng)為 translation
2、離線英譯中transformer模型項(xiàng)目地址:
補(bǔ)充開(kāi)發(fā)板信息
開(kāi)發(fā)板具備豐富語(yǔ)音圖像功能與硬件外設(shè)的開(kāi)發(fā)板,采用有著豐富組件生態(tài)的 Zephyr RTOS 作為操作系統(tǒng),默認(rèn)配套開(kāi)箱即玩的 AI 應(yīng)用,也可以配合聆思的模型訓(xùn)練推理工具 LNN 將自己的算法模型部署至芯片上,構(gòu)建自己的 AI 應(yīng)用,開(kāi)發(fā)板詳情參考



觸摸屏UI交互翻譯.png (416.18 KB, 下載次數(shù): 23)

觸摸屏UI交互翻譯

觸摸屏UI交互翻譯

英文測(cè)評(píng).png (786.1 KB, 下載次數(shù): 17)

英文測(cè)評(píng).png

英譯中.png (1.69 MB, 下載次數(shù): 23)

英譯中.png

字母拼讀.png (1.24 MB, 下載次數(shù): 19)

字母拼讀.png
分享到:  QQ好友和群QQ好友和群 QQ空間QQ空間 騰訊微博騰訊微博 騰訊朋友騰訊朋友
收藏收藏 分享淘帖 頂 踩
回復(fù)

使用道具 舉報(bào)

本版積分規(guī)則

手機(jī)版|小黑屋|51黑電子論壇 |51黑電子論壇6群 QQ 管理員QQ:125739409;技術(shù)交流QQ群281945664

Powered by 單片機(jī)教程網(wǎng)

快速回復(fù) 返回頂部 返回列表