vllm - 一个高吞吐量、内存高效的 LLM 推理和服务引擎

vllm - 一个高吞吐量、内存高效的 LLM 推理和服务引擎

github.com

GitHub - vllm-project/vllm: A high-throughput and memory-efficient inference and serving engine for LLMs
A high-throughput and memory-efficient inference and serving engine for LLMs - vllm-project/vllm
- vllm - 一个高吞吐量、内存高效的 LLM 推理和服务引擎。