如何使用 LlamaIndex 和 OpenLLM 構建智能查詢回應系統

LlamaIndex 與 OpenLLM 結合，可構建基於自訂語料、能理解並回應查詢的智能查詢回應系統。示例以 OpenLLM 啟動本地 Llama 2 7B 服務，並由 LlamaIndex 管理及檢索私有、特定領域資料。若使用 vLLM 後端，需配備 Ampere 或更新架構的 GPU 及 CUDA 11.8。