大模型本地API接口中转路由负载均衡管理软件
经常使用各种 AI 编程助手、终端工具或浏览器插件的开发者与 AI 爱好者,常常面临着在每个应用里重复配置各种大模型 API 接口的繁琐。特别是在使用国内高性价比模型时,额度用尽或响应超频常常导致工具罢工。今天推荐的这款完全免费、自托管的大模型本地API接口中转路由负载均衡管理软件,可以将您所有的 AI 工具聚合连接至本地端口,实现多通道密钥自动轮询与智能分发,让您的 AI 服务长久有效、永不断线。
这款本地大模型智能网关软件充当着您电脑本地的“AI 接口总机”。输入端只需将您的编程软件(如 VSCode 插件、Cursor、Claude Code 等) the API 接口一次性指向本地端口(默认 3688 或 3000);输出端则在软件后台“渠道中心”添加您的各大 AI 厂商 API 密钥。软件会自动根据健康度、响应速度、可用额度自动轮询分发,告别繁杂的反复配置。
核心亮点
- 多通道智能轮换:支持添加多个通道密钥,额度耗尽自动轮询秒级切换,保障本地 AI 运行不中断。
- 统一本地端口管理:一次配置本地端口,即可在软件里集中切换与监控大模型,不再需要每个应用单独修改代码。
- 国产模型一键添加:预设了国内主流大模型配置,无需编写繁杂的接入代码,输入密钥就能秒级接入使用。
- 可视化流量看板:内置精美的数据统计图表,调用次数、响应速度、成功率一目了然,方便直观掌握总体用量。
- 全平台多端支持:提供 Windows(包含 Store 离线版)、macOS(双芯片架构)与 Linux 客户端安装包,一键启动本地网关。
- 全自托管运行:所有数据及调用密钥均保存在您本地设备上,不经过任何第三方中转,隐私数据绝对安全。
- 独立开发级工程包:随包附带软件开发级工程包,非常鼓励用户深度研读、审计代码,或在私有服务器上进行自托管部署。
如果您需要一款高安全性的隔离浏览器环境来配合多开调试或自动化调用,可以阅读我们的 独立多开指纹防关联沙箱隔离安全浏览器,体验更加纯净的物理隔离环境。
核心避坑指南
[!WARNING] 排障第一步:关闭全局代理 / TUN 模式 如果您电脑开启了代理软件的“全局模式”或“TUN 模式”,可能会重置本地
127.0.0.1端口的数据,导致客户端提示“连接重置”或网关显示“unhealthy”。请切换为“规则模式/PAC”或暂时关闭 TUN 功能,将本地端口加入代理软件 of 绕过列表。
- 理解三种不同的密钥 (Key):
PROXY_ACCESS_KEY(代理密钥):在软件首次启动向导中生成,这是您填写到客户端 API Key 处的密码,用于证明您的调用权限。ADMIN_ACCESS_KEY(管理密钥):登录软件的可视化网页面板时所用的管理员密码。上游 API Key:您从大模型官网买到的真正 Key。只能填写在软件的“渠道管理”中,绝不能填入您的客户端里。

项目来源
本项目基于优秀的开源项目 CCX 构建。我们对原作者的无私分享表示衷心感谢,并鼓励有能力的用户访问其 GitHub 页面以获取更多信息或参与贡献。
免责声明
本站分享的所有资源仅供个人学习与研究使用,所有资源的版权归原作者或出版机构所有。本站是一个非营利性的分享平台,旨在帮助用户发现和了解有价值的数字资源。
请在下载后24小时内自觉删除,切勿用于任何商业用途。如您认为本站分享的资源侵犯了您的合法权益,请随时联系我们,我们将立即进行处理。