以客戶端技術構建由 LLM 驅動的網頁應用
Jacob Lee 示範如何以瀏覽器端技術搭配本機模型,構建可與文件對話的 RAG 網頁應用。LangChain 處理文件載入與切分,量化後可在瀏覽器運行的 HuggingFace 嵌入模型和 Voy WebAssembly 向量資料庫負責嵌入與儲存;Ollama 則執行 Mistral 7B,並可在作者的 16GB M2 Macbook Pro 上順暢運行。
Jacob Lee 示範如何以瀏覽器端技術搭配本機模型,構建可與文件對話的 RAG 網頁應用。LangChain 處理文件載入與切分,量化後可在瀏覽器運行的 HuggingFace 嵌入模型和 Voy WebAssembly 向量資料庫負責嵌入與儲存;Ollama 則執行 Mistral 7B,並可在作者的 16GB M2 Macbook Pro 上順暢運行。
Ollama 的文章示範如何在 Obsidian 筆記中建立大語言模型問答流程,先為筆記建立可持久儲存的嵌入向量索引,再檢索相關內容交給模型生成答案。範例以 256 tokens 為分塊大小,從筆記中取回最相關的 5 個片段,並使用本機 Ollama 的 llama2 生成回答。文中亦提及可用摘要、關鍵詞或問答擴展筆記用途。
Lilian Weng 的《Prompt Engineering》整理瞭如何在不更新模型權重的情況下,透過提示詞引導自回歸語言模型產生預期結果。內容涵蓋零樣本與少樣本提示、指令提示、思維鏈和自洽性抽樣,也整理示例選擇與排序、檢索、程式執行及外部 API 調用等方法。文章指出,提示詞方法的效果會因模型而異,實際應用需要反覆測試。
Lilian Weng 系統梳理開放域問答系統的常見建構方式,涵蓋外部知識檢索與閲讀、檢索後生成,以及不依賴外部資料的閉卷問答。文章比較 DrQA、ORQA、REALM、DPR、RAG、T5 和 GPT3 等方案,並指出部分公開 QA 數據集存在訓練與測試資料重疊:58–71% 的測試答案曾出現在訓練集,28–34% 的測試問題在相應訓練集中有近似重述。