https://blog.gtwang.org/tags/vllm/ Recent content in VLLM on G. T. Wang Hugo -- 0.162.1 zh-tw G. T. Wang Wed, 09 Sep 2026 21:50:13 +0800 https://blog.gtwang.org/linux/vllm-high-throughput-memory-efficient-llm-engine-setup-tutorial-20260909/ Wed, 09 Sep 2026 21:50:13 +0800 https://blog.gtwang.org/linux/vllm-high-throughput-memory-efficient-llm-engine-setup-tutorial-20260909/ <p>本文介紹如何在 Ubuntu Linux 中安裝、設定與使用 vLLM 大型語言模型推論框架，安裝各種本地端模型，進行正式環境的效能調校與布署。</p> <p> <ins class="adsbygoogle" style="display:block" data-ad-client="ca-pub-7794009487786811" data-ad-slot="9921134032" data-ad-format="auto" data-full-width-responsive="true"></ins> <script> (adsbygoogle = window.adsbygoogle || []).push({}); </script> </p> <p><a href="https://vllm.ai/">vLLM</a> 是一套開放原始碼的 LLM 推理服務引擎框架，使用方式簡單、速度快、吞吐量高、延遲低，適合用於大規模運算的的正式服務環境，可有效利用 GPU 的所有運算能力。</p>