手机本地部署轻量化ChatGLM2-6b语言Ai模型

手机本地部署轻量化ChatGLM2-6b语言Ai模型

圣羊ちゃん
2023-10-17 / 0 评论 / 79 阅读 / 正在检测是否收录...

本教程根据视频《【教程】移动端ChatGPT?安卓本地运行清华开源 ChatGLM2》总结,可参照此进行部署。

你将部署的模型为ChatGLM2-6b-int4,通过fastllm进行轻量化部署

第一步:下载termux终端以及模型本体

第二步:进入termux终端并依次执行以下命令


换源

termux-change-repo

点击OK然后选择Mirros by TsinHosted那个然后再点OK

apt update
apt upgrade

这一步耗时较长,停止了就回车继续,直到重新出现命令输入行

安装依赖

apt install cmake git clang

这一步同样耗时较长

接下来从GitHub获取fastllm

git clone https://github.com/ztxz16/fastllm

一样耗时较长

获取手机储存权限

termux-setup-storage

如果没授权就会弹出授权框,允许即可

cd fastllm
mkdir build
cd build
cmake ..
make -j

又是一个耗时长的

接下来移动模型到fastllm/build文件夹下,模型路径注意要为全路径(可以用ES文件浏览器获取)

mv 模型路径 .

第三步:运行模型
使用以下命令运行模型

./main -p chatglm2-6b-int4.flm

如果退出termux后想再次运行模型,可使用下面命令运行

cd fastllm/build && ./main -p chatglm2-6b-int4.flm

至此你就拥有了一个完全在手机本地运行的语言模型了。

1

打赏

海报

正在生成.....

评论 (0)

取消