站长之家用户 - 传媒 2023-10-08 11:53

本地化部署类ChatGPT服务,利用贝锐花生壳实现无需公网IP远程访问

随着ChatGPT热度的蔓延,大语言模型 (LLM) 也变成了关注焦点,和AI绘图工具Stable Diffuison Web UI类似,目前在大语言模型方面,同样推出了Text generation web UI这样的工具,可为LLaMA、llama.cpp、GPT-J、Pythia、OPT、GALACTICA等类ChatGPT大型语言模型提供能够快速私有化部署、使用的网页界面,打造私有的类ChatGPT服务。

Text generation web UI不只是带来了快速部署的优势,github主页上直接提供了一键部署安装包,同时由于是web UI的访问形式,也可实现多人共享使用。那么,问题也就来了,同一局域网环境下可以直接访问,但是一旦脱离了这个局域网,如何才能使用呢?

答案之一是搭配内网穿透工具,在没有公网IP、不设置路由的情况下,快速实现远程访问自建的类ChatGPT服务。以下流程采用了贝锐花生壳内网穿透,来实现Text generation web UI本地部署后的远程访问。

对于许多早期互联网用户而言,花生壳并不陌生。从 2006 年开始,花生壳就已经为站长们提供动态域名解析DDNS服务,并经过不断的发展,逐渐成为了全球用户数量超过千万的动态域名解析服务商。

至今,花生壳已经集动态域名解析和内网穿透功能于一体,持续提供稳定可靠的内网穿透服务,被 1800 万以上的用户广泛应用于各种场景。这些应用场景包括OA/ERP/CRM办公系统、私有云、视频监控、Web服务器、软件开发调试、遥感测绘以及工业互联等。

Text generation web UI本地部署

1.以Windows为例,在安装包中运行start_windows.bat就能自动自动安装,完成所需环境的部署。

2.完成后,通过CMD进入Text generation web UI所在的目录,根据github主页上的信息,下载、安装所需的语言模型。

3.完成模型下载后,再次运行start_windows.bat就能启动Web UI。

贝锐花生壳内网穿透安装&设置

1.在贝锐官网下载、安装花生壳的客户端。目前,除了Windows、Linux外,花生壳还支持Android、OpenWRT、树莓派等多种操作系统及设备,并提供了硬件客户端花生壳盒子,适用于无法安装软件客户端的场景。

2.注册贝锐账号后,登录花生壳客户端,进入云端管理后台,对需要进行内网穿透服务进行映射配置。

3.确认映射内容填写无误后,点击“保存”即可,花生壳将自动生成一个外网访问地址。如果需要远程访问Text generation web UI,只需要在浏览器中输入贝锐花生壳生成的外网访问地址即可。

总之,使用贝锐花生壳实现远程访问Text generation web UI的过程相对简单易行,只需按照上述步骤进行操作即可。对于需要类似私有化服务的需求方,可以参考此方法进行实施。

ChatGPT源码推荐:小狐狸ChatGPT付费创作系统完全开源源码

相关话题

特别声明:以上内容(如有图片或视频亦包括在内)均为站长传媒平台用户上传并发布,本平台仅提供信息存储服务,对本页面内容所引致的错误、不确或遗漏,相关信息仅供参考。任何单位或个人认为本页面内容可能涉嫌侵犯其知识产权或存在不实内容时,可及时向站长之家提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明(点击查看反馈联系地址)。本网站在收到上述法律文件后,将会依法依规核实信息,沟通删除相关内容或断开相关链接。

推荐关键词

24小时热搜

查看更多内容

大家正在看

理想汽车降价 高管首度回应