关于本地化ChatGLM2-6B安装遇到的问题.

安装

1. python 3.9
2. 开启执行策略更改
3. 设置pip源
   阿里云(推荐)

pip config set global.index-url https://mirrors.aliyun.com/pypi/simple 

pip config set install.trusted-host mirrors.aliyun.com

4. PowerShell运行下列命令,创建并激活

python -m venv venv
.\env\Scripts\activate

5.运行下列命令,安装所需依赖(速度慢请换源)

pip install -r requirements.txt

6.运行python web_demo.py

量化等级	编码 2048 长度的最小显存	生成 8192 长度的最小显存
FP16 / BF16	13.1 GB	12.8 GB
INT8	8.2 GB	8.1 GB
INT4	5.5 GB	5.1 GB

各类报错及处理方法

创建激活虚拟环境报错

输入:.\venv\Scripts\activate报错.如何处理

.\venv\Scripts\activate : 无法加载文件 F:\ChatGLM2-6B\venv\Scripts\Activate.ps1，因为在此系统上禁止运行脚本。有关详细信
息，请参阅 https:/go.microsoft.com/fwlink/?LinkID=135170 中的 about_Execution_Policies。
所在位置 行:1 字符: 1
+ .\venv\Scripts\activate
+ ~~~~~~~~~~~~~~~~~~~~~~~
    + CategoryInfo          : SecurityError: (:) []，PSSecurityException
    + FullyQualifiedErrorId : UnauthorizedAccess

解决方法

1、终端输入get-executionpolicy，回车返回Restricted
2、win+r快捷键打开，输入 powershell 打开 windows powershell，命令窗口输入Start-Process powershell -Verb runAs进入管理员模式，再输入set-executionpolicy remotesigned，回车，输入Y。
3.pycharm终端输入get-executionpolicy命令回车，返回remotesigned
4..\venv\Scripts\activate.ps1回车，进入虚拟环境，解决

启动web_demo.py报torch

(env) PS F:\ChatGLM2-6B> python web_demo.py
Loading checkpoint shards: 100%|█████████████████████████████████████████████████████████| 7/7 [00:29<00:00,  4.28s/it]
Traceback (most recent call last):
  File "F:\ChatGLM2-6B\web_demo.py", line 7, in <module>
    model = AutoModel.from_pretrained("THUDM/chatglm2-6b", trust_remote_code=True).cuda()
  File "F:\ChatGLM2-6B\env\lib\site-packages\torch\nn\modules\module.py", line 918, in cuda
    return self._apply(lambda t: t.cuda(device))
  File "F:\ChatGLM2-6B\env\lib\site-packages\torch\nn\modules\module.py", line 810, in _apply
    module._apply(fn)
  File "F:\ChatGLM2-6B\env\lib\site-packages\torch\nn\modules\module.py", line 810, in _apply
    module._apply(fn)
  File "F:\ChatGLM2-6B\env\lib\site-packages\torch\nn\modules\module.py", line 810, in _apply
    module._apply(fn)
  File "F:\ChatGLM2-6B\env\lib\site-packages\torch\nn\modules\module.py", line 833, in _apply
    param_applied = fn(param)
  File "F:\ChatGLM2-6B\env\lib\site-packages\torch\nn\modules\module.py", line 918, in <lambda>
    return self._apply(lambda t: t.cuda(device))
  File "F:\ChatGLM2-6B\env\lib\site-packages\torch\cuda\__init__.py", line 289, in _lazy_init
    raise AssertionError("Torch not compiled with CUDA enabled")
AssertionError: Torch not compiled with CUDA enabled

解决方法

先卸载原有torch

pip uninstall torch

安装如下

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu117

注意:117是数字.

运行 web_demo.py报错

Loading checkpoint shards: 100%|█████████████████████████████████████████████████████████| 7/7 [00:23<00:00,  3.37s/it]
Traceback (most recent call last):
  File "F:\ChatGLM2-6B\web_demo.py", line 89, in <module>
    user_input = gr.Textbox(show_label=False, placeholder="Input...", lines=10).style(
AttributeError: 'Textbox' object has no attribute 'style'

解决

pip uninstall gradio
pip install gradio==3.50.0  //机器人输出会卡住，可能配置低
pip install gradio==3.39.0  //推荐

pip默认安装最新版本，降低版本即可。

扩展链接

ChatGLM2-6B Github - 传送阵
(已解决)安装pytorch时ERROR - 传送阵
开源免费大语言模型ChatGLM2-6B windows本地部署教程 - 传送阵