AirLLM - AirLLM 优化推理内存使用，允许 70B 大型语言模型在单个 4GB GPU 显卡上运行推理，无需量化、蒸馏和剪枝

github.com

新手上路 10小时前

主楼

[资源名称]

AirLLM - AirLLM 优化推理内存使用，允许 70B 大型语言模型在单个 4GB GPU 显卡上运行推理，无需量化、蒸馏和剪枝

[资源来源]

github.com

[资源介绍]

* AirLLM - AirLLM 优化推理内存使用，允许 70B 大型语言模型在单个 4GB GPU 显卡上运行推理，无需量化、蒸馏和剪枝。

[资源合集]

精选优秀开源库列表，可用于部署、监控、版本控制和扩展机器学习系统

回复点赞举报