koboldcpp

koboldcpp

github.com

koboldcpp 一款基于llama.cpp构建的大模型部署工具，集成图像生成、语音识别、文字转语音等AI功能，以单个可执行文件实现开箱即用，支持CPU和GPU运行，提供兼容OpenAI、Ollama的API接口，适配Windows、macOS和Linux全平台。