|
|
大模型作為一個(gè)語(yǔ)言模型，實(shí)際上沒(méi)有真正的記憶功能。所謂的對(duì)話記憶只是開(kāi)發(fā)者將對(duì)話歷史向GPT發(fā)送消息時(shí)將最近的對(duì)話歷史通過(guò)提示工程組發(fā)送給ChatGPT。換句話說(shuō)，如果對(duì)話歷史超過(guò)了大模型的最大上下文，GPT會(huì)忘記之前的部分，這是大語(yǔ)言模型共有的局限性。
另外對(duì)專業(yè)領(lǐng)域知識(shí)的訓(xùn)練缺乏也是非常明顯的短板。盡管這些模型在理解和生成自然語(yǔ)言方面有極高的性能，但它們?cè)谔幚韺I(yè)領(lǐng)域的問(wèn)答時(shí)，卻往往不能給出明確或者準(zhǔn)確的回答。在醫(yī)學(xué)、法律、工程等領(lǐng)域，人工智能可能被要求要理解和運(yùn)用相當(dāng)復(fù)雜和專業(yè)化的知識(shí)，然而這在目前的模型中仍是一個(gè)巨大的挑戰(zhàn)。
針對(duì)專有和專業(yè)知識(shí)在大模型的應(yīng)用落地出現(xiàn)不少解決方案，而向量數(shù)據(jù)庫(kù)就是其中之一。當(dāng)我們很多文檔（例如客服培訓(xùn)資料或者產(chǎn)品操作手冊(cè)）需要大模型根據(jù)它們的內(nèi)容進(jìn)行回答時(shí)，我們可以先將這份文檔的所有內(nèi)容轉(zhuǎn)化成向量（這個(gè)過(guò)程稱之為 Vector Embedding），然后當(dāng)用戶提出相關(guān)問(wèn)題時(shí)，我們將用戶的搜索內(nèi)容轉(zhuǎn)換成向量，然后在數(shù)據(jù)庫(kù)中搜索最相似的向量，匹配最相似的幾個(gè)上下文，最后將上下文返回給大模型。這樣不僅可以大大減少模型的計(jì)算量，從而提高響應(yīng)速度，更重要的是降低成本，并巧妙的減少 tokens 限制所帶來(lái)的問(wèn)題。
針對(duì)這種需求，聆思CSK6大模型開(kāi)發(fā)板也配套提供了一個(gè)知識(shí)庫(kù)方案，參考下面文檔三步就能在智能硬件上接入自建的知識(shí)庫(kù) |
|
QQ好友和群
QQ空間
騰訊微博
騰訊朋友
收藏
淘帖
頂
踩
