一篇學會本地知識庫對LLM的性能優化

昨天一個跑了220個小時的微調訓練完成了,主要任務是想在CHATGLM-6B上微調出一個能夠較為精確的診斷數據庫錯誤信息的對話模型來。

一篇學會本地知識庫對LLM的性能優化

不過這個等了將近十天的訓練最后的結果令人失望,比起我之前做的一個樣本覆蓋更小的訓練來,差的還是挺大的。

一篇學會本地知識庫對LLM的性能優化

這樣的結果還是有點令人失望的,這個模型基本上是沒有實用價值的。看樣子需要重新調整參數與訓練集,再做一次訓練。大語言模型的訓練是一場軍備競賽,沒有好的裝備是玩不起來的??礃幼游覀円脖仨氁壱幌聦嶒炇业难b備了,否則沒有幾個十天可以浪費。

從最近的幾次失敗的微調訓練來看,微調訓練這條路也并不容易完成。不同的任務目標混雜在一起跑訓練,可能不同的任務目標需要的訓練參數不同,使最終的訓練集無法滿足某些任務的需求。因此PTUNING只適合某個十分確定的任務,不一定適合混合任務,以混合任務為目的的模型,可能需要用FINETUNE。這和前幾天我在和一個朋友交流時大家的觀點類似。

實際上因為訓練模型難度比較大,一些人已經放棄了自己訓練模型,而采用將本地知識庫矢量化后進行較為精準的檢索,然后通過AUTOprompt將檢索后的結果生成自動提示,去問打語音模型。利用langchain很容易實現這個目標。

一篇學會本地知識庫對LLM的性能優化

這個工作的原理是將本地文檔通過加載器加載為文本,然后對文本進行切分行程文本片段,經過編碼后寫入向量存儲中功查詢使用。查詢結果出來后,通過Prompt Template自動形成提問用的提示,去詢問LLM,LLM生成最后的回答。

這項工作里有另個要點,一個是較為精準的搜索到本地知識庫中的知識,這個通過向量存儲于搜索來實現,目前針對中英文的本地知識庫的向量化與搜索的解決方案很多,可以選擇某個對你的知識庫比較友好的方案來使用。

一篇學會本地知識庫對LLM的性能優化

上面是一個在vicuna-13b上通過關于OB的知識庫進行的問答,上面的是沒有使用本地知識庫,直接使用LLM的能力的回答,下面是加載了本地知識庫后的回答??梢钥闯鲂阅芴嵘€是挺明顯的。

一篇學會本地知識庫對LLM的性能優化

我們再來看看剛才那個ORA錯誤的問題,在沒有使用本地知識庫之前,LLM基本上是胡說八道的,而加載了本地知識庫之后,這個回答還是中規中矩的,文中的錯別字也是我們知識庫中的錯誤。實際上PTUNING使用的訓練集也是通過這個本地知識庫生成出來的。

從最近我們踩過的坑可以收獲一些經驗。首先ptuning的難度比我們想象得要高得多,雖然說ptuning比finetune需要的裝備低一點,不過訓練難度一點都不低。其次是通過Langchain和autoprompt利用本地知識庫來改善LLM能力效果不錯,對于大多數企業應用來說,只要把本地知識庫梳理好,選擇合適的矢量化方案,應該都能獲得不比PTUNING/FINETUNE差的效果。第三,還是上回說的那個問題,LLM的能力至關重要。必須選擇一個能力較強的LLM作為基礎模型來使用。任何嵌入式模型都只能局部改善能力,不能起決定性的作用。第四,對于數據庫相關的知識,vicuna-13b的能力確實不錯。

今天一大早還要去客戶那邊做個交流,早上時間有限,就簡單寫幾句吧。大家對此有何心得,歡迎留言討論(討論僅你我可見),我也是在這條路上孤獨行走,希望有同路人指點一二。

? 版權聲明
THE END
喜歡就支持一下吧
點贊8 分享