盧健生 - 本地部署 | 跨曬界
進入AI時代，學習使用AI已經成為每個人的必修課。我也不例外，不斷學習，希望跟上時代的步伐，避免被淘汰。
和大多數人一樣，我最初也是直接使用像DeepSeek這樣的AI客戶端，利用其人工智慧處理各種問題和工作流程。例如，撰寫使用手冊、總結繁瑣資
訊、潤飾文章字句等。這些工具確實大大提升了工作效率。
然而，隨著工作需求的增加，我開始意識到一個問題：有些資訊並不適合隨意上傳到這些AI平台，尤其是涉及商業機密和隱私的內容。例如，我希望在公司內部建立一個產品技術知識庫，透過對話式查詢實現知識共享。在這種情況下，資料的安全性至關重要，必須確保資訊不會外傳。因此，我開始考慮將AI大模型進行本地部署。
所謂本地部署，就是將整個AI大模型部署在公司本地的伺服器或電腦上。由於許多AI模型是開源的，任何人都可以下載並使用。本地部署有以下幾個顯著優勢：
資料安全：所有資料都在本地處理，毋須上傳到雲端，有效保護商業機密和隱私；成本控制：省去了以使用量計費的雲端服務成本，適合長期使用；離線使用：毋須連接互聯網，適合網絡不穩定或無法連網的環境；靈活選擇模型：可依需求選擇適合的AI模型，並進行客製化優化。
然而，本地部署也面臨一些挑戰，尤其是硬體需求。AI模型的規模越大，所需的運算資源也越多，意思是需要很強大的電腦和GPU顯卡，成本很高。對於技術能力有限的用戶，可以使用Ollama這樣的工具。它可以幫助我們輕鬆安裝、管理和下載不同的AI大模型，並透過API與這些模型互動。Ollama大幅降低了本地部署的技術門檻。
有了本地部署的模型後，我們還需要一個友善的使用者介面來與AI互動。這時，Cherry Studio是不錯的選擇。它支援多服務商集成，並且資料本地存儲，毋須需擔心資訊外洩。除了支援大模型對話、AI繪圖、AI翻譯等基本功能外，最近還新增了多資料來源知識庫功能。使用者可以透過網頁或本地文件建立專屬知識庫。例如，喜歡賽馬的朋友可以建立一個賽馬知識庫，並利用AI進行分析和預測。
最近，我開始嘗試本地部署阿里千問QwQ-32B這個開源模型。雖然它只包含320億參數，但據說性能可以媲美DeepSeek R1的滿血版本（6710億參數）。用最小的成本實現最大的效益，一個字：值！
視覺科技CEO
盧健生
跨晒界 - 盧健生 舊文
本文作轉載及備份之用 來源 source: http://www.stheadline.com