開源模型的好處是讓企業得以根據需求用公司內部資料來建置模型,而不受封閉模型供應商的限制。
Llama 是 Meta 釋出的開源模型,Meta 於 7/23 釋出了 Llama 3.1 其亮點 405B (4,050 億參數) 是 Meta 迄今為止最強大的模型, 趁前兩天颱風假的空檔利用 Ollama + Llama 3.1 來架設一個私有的大型語言模型服務( LLM Model )。
Ollama 是一個開源軟體,使用者可以在自己的硬體上執行大型語言模型服務。選用 Ollama 是因為其架設容易且支援的模型總類很多,官方有提供 Windows, Apple, Linux OS 的安裝程式,可用短短的幾分鐘就可以在自己的個人電腦上架設完成大型語言模型服務。