本页面大模型能力是站长京东618买散件组装的一台DIY电脑本地通过Ollama搭建的本地大模型提供 通内网代理穿透技术实现了本地与线上网站互通数据从而将本地模型推理能力分享到了线上给大家体验一下。
离线模型能力瓶颈
对本地部署大模型这方面比较感兴趣的同学可以试着用Ollama搭建操作很简单(理论上硬件内存/显存超过16GB都可以部署，内存比较慢)
功能使用说明
- 运行本地大模型的电脑配置有限，不支持多人同时使用，如页面提示线路繁忙，代表当前有人正在使用，等线路空闲了再做尝试。
- 站长的显卡是16GB内存，如果模型超过显存会借调内存，这种情况会导致推理非常慢，所以只开放了20b以内的推理模型
- 当切换模型时，本地服务需要切换大模型导入显存，这个过程会占用一段时间，大家可以稍微等一下
- 模型执行创作期间不要刷新页面，否则因为第一条原因 导致显卡无效调用而浪费公共线路资源
- 本页面开放的只有离线单次推理能力体验，不支持聊天记忆回溯上下文（豆包这些软件这方面已经做的很好了）