vLLM 高效能 LLM 推論框架安裝與使用教學
本文介紹如何在 Ubuntu Linux 中安裝、設定與使用 vLLM 大型語言模型推論框架，安裝各種本地端模型，進行正式環境的效能調校與布署。 vLLM 是一套開放原始碼的 LLM 推理服務引擎框架，使用方式簡單、速度快、吞吐量高、延遲低，適合用於大規模運算的的正式服務環境，可有效利用 GPU 的所有運算能力。 ...
Linux
PentAGI AI 自動化滲透測試工具安裝與使用教學
本文介紹如何在 Ubuntu Linux 中使用 PentAGI 搭配本地端 Ollama 框架與 Qwen 模型，讓 AI 進行自動化滲透測試。 PentAGI 是一套開源的全自主 AI 滲透測試平台，採用多智能體（Multi-Agent）協作架構，整合了 Nmap、Metasploit、Sqlmap 等 20 多種資訊安全工具，能在隔離的 Docker 沙箱環境中自動執行資訊收集、漏洞掃描、攻擊驗證與報告生成。 ...
Ubuntu Linux 安裝與設定 NVIDIA GPU 與 Docker 環境
本文介紹如何在 Ubuntu Linux 系統上安裝 NVIDIA 驅動程式與 Docker 容器環境，並進行相關設定，讓 Docker 容器內可以使用 NVIDIA GPU 進行運算。 本文的測試環境為 Ubuntu Linux 24.04.4 LTS。 ...
OpenCode 透過 MCP 自動操作 Blender 建立 3D 場景
本文介紹如何在 Ubuntu Linux 下使用 OpenCode 這套開源 AI 編碼代理，透過 MCP 自動操作 Blender，自動建立 3D 場景、設置燈光、背景與相機，輸出渲染圖。 ...
Linux 系統更改 Ollama 模型存放位置
Ollama 下載很多大模型之後很容易造成磁碟空間不足，這裡介紹如何在 Linux 下更改 Ollama 預設的模型儲存路徑，指定獨立的專用磁碟空間，儲存大型模型檔案。 ...