本文介紹如何在 Ubuntu Linux 中安裝、設定與使用 vLLM 大型語言模型推論框架,安裝各種本地端模型,進行正式環境的效能調校與布署。 vLLM 是一套開放原始碼的 LLM 推理服務引擎框架,使用方式簡單、速度快、吞吐量高、延遲低,適合用於大規模運算的的正式服務環境,可有效利用 GPU 的所有運算能力。 ...


本文介紹如何在 Ubuntu Linux 中安裝、設定與使用 vLLM 大型語言模型推論框架,安裝各種本地端模型,進行正式環境的效能調校與布署。 vLLM 是一套開放原始碼的 LLM 推理服務引擎框架,使用方式簡單、速度快、吞吐量高、延遲低,適合用於大規模運算的的正式服務環境,可有效利用 GPU 的所有運算能力。 ...

本文介紹如何在 Ubuntu Linux 中使用 PentAGI 搭配本地端 Ollama 框架與 Qwen 模型,讓 AI 進行自動化滲透測試。 PentAGI 是一套開源的全自主 AI 滲透測試平台,採用多智能體(Multi-Agent)協作架構,整合了 Nmap、Metasploit、Sqlmap 等 20 多種資訊安全工具,能在隔離的 Docker 沙箱環境中自動執行資訊收集、漏洞掃描、攻擊驗證與報告生成。 ...

本文介紹如何在 Ubuntu Linux 系統上安裝 NVIDIA 驅動程式與 Docker 容器環境,並進行相關設定,讓 Docker 容器內可以使用 NVIDIA GPU 進行運算。 本文的測試環境為 Ubuntu Linux 24.04.4 LTS。 ...

本文介紹如何在 Ubuntu Linux 下使用 OpenCode 這套開源 AI 編碼代理,透過 MCP 自動操作 Blender,自動建立 3D 場景、設置燈光、背景與相機,輸出渲染圖。 ...

本文將示範如何在 Ubuntu Linux 系統下,只使用一張 2D 照片,透過 SAM 3D Objects 工具建立物體的 3D 的網格模型。 這一張照片是我在路上用手機隨手拍的街景,照片中有一台白色轎車,以及後方路邊的大樹,我們希望可以只靠著這一張 2D 的照片,建立出白色轎車與大樹的 3D 網格(mesh)模型,以及高斯潑濺場景模型。 ...