手机本地部署轻量化ChatGLM2-6b语言Ai模型

本教程根据视频《【教程】移动端ChatGPT？安卓本地运行清华开源 ChatGLM2》总结，可参照此进行部署。

你将部署的模型为ChatGLM2-6b-int4，通过fastllm进行轻量化部署

第一步：下载termux终端以及模型本体

第二步：进入termux终端并依次执行以下命令

换源

termux-change-repo

点击OK然后选择Mirros by TsinHosted那个然后再点OK

apt update

apt upgrade

这一步耗时较长，停止了就回车继续，直到重新出现命令输入行

安装依赖

apt install cmake git clang

这一步同样耗时较长

接下来从GitHub获取fastllm

git clone https://github.com/ztxz16/fastllm

一样耗时较长

获取手机储存权限

termux-setup-storage

如果没授权就会弹出授权框，允许即可

cd fastllm

mkdir build

cd build

cmake ..

make -j

又是一个耗时长的

接下来移动模型到fastllm/build文件夹下，模型路径注意要为全路径（可以用ES文件浏览器获取）

mv 模型路径 .

第三步：运行模型
使用以下命令运行模型

./main -p chatglm2-6b-int4.flm

如果退出termux后想再次运行模型，可使用下面命令运行

cd fastllm/build && ./main -p chatglm2-6b-int4.flm

至此你就拥有了一个完全在手机本地运行的语言模型了。