四块魔改2080ti显卡跑llama-3-70b-instruct-awq

[视频作者] 门的耳朵

[视频时长] 5:1

[视频类型] 数码

模型地址：https://hf-mirror.com/casperhansen/llama-3-70b-instruct-awq 对本地搭建有兴趣的可以参考：https://www.bilibili.com/read/readlist/rl823654 结论： 可以跑8k上下文， 速度20T/S, 16个并发请求后吞吐量是200T/S 。 有中文，可以用。 复杂指令遵循良好。