阿里巴巴昨日在 Github 等平臺開源了 ZeroSearch 大模型搜索引擎。這是一種無需與真實搜索引擎交互即可激勵大模型搜索能力的強化學習框架。
ZeroSearch 主要利用了大模型在大規(guī)模預訓練過程中積累的豐富知識，將其轉(zhuǎn)化為一個檢索模塊，能夠根據(jù)搜索查詢生成相關(guān)內(nèi)容。同時，還可以動態(tài)控制生成內(nèi)容的質(zhì)量，這是傳統(tǒng)搜索引擎所不具備的特殊功能。
研究人員在 NQ、TriviaQA、PopQA、HotpotQA 等 7 大問答數(shù)據(jù)集上進行了綜合評測。結(jié)果顯示，一個 70 億參數(shù)的監(jiān)督微調(diào)模型使用 ZeroSearch 后，其搜索能力達到了 33.06；140 億參數(shù)的模型則達到了 33.97，超過了谷歌搜索的 32.47。
研究人員通過 SerpAPI 使用谷歌搜索進行約 64,000 次搜索查詢的訓練，成本約為 586.70 美元（IT之家注：現(xiàn)匯率約合 4238 元人民幣）；而在四個 A100GPU 上使用 140 億參數(shù)的大模型進行模擬時，成本僅為70.80 美元（現(xiàn)匯率約合 511 元人民幣），意味著成本降低了 87.93% 以上。 
