侧边栏壁纸
博主头像
Auok Blog

行动起来,活在当下

  • 累计撰写 104 篇文章
  • 累计创建 201 个标签
  • 累计收到 60 条评论

目 录CONTENT

文章目录

关于本地化ChatGLM2-6B安装遇到的问题.

faonecze
2024-01-01 / 0 评论 / 2 点赞 / 569 阅读 / 0 字
温馨提示:
部分素材来自网络,若不小心影响到您的利益,请联系我们删除。

安装

  1. python 3.9
  2. 开启执行策略更改
  3. 设置pip源
    阿里云(推荐)
pip config set global.index-url https://mirrors.aliyun.com/pypi/simple 

pip config set install.trusted-host mirrors.aliyun.com
  1. PowerShell运行下列命令,创建并激活
python -m venv venv
.\env\Scripts\activate

5.运行下列命令,安装所需依赖(速度慢请换源)

pip install -r requirements.txt

6.运行python web_demo.py

量化等级 编码 2048 长度的最小显存 生成 8192 长度的最小显存
FP16 / BF16 13.1 GB 12.8 GB
INT8 8.2 GB 8.1 GB
INT4 5.5 GB 5.1 GB

各类报错及处理方法

创建激活虚拟环境报错

输入:.\venv\Scripts\activate报错.如何处理

.\venv\Scripts\activate : 无法加载文件 F:\ChatGLM2-6B\venv\Scripts\Activate.ps1,因为在此系统上禁止运行脚本。有关详细信
息,请参阅 https:/go.microsoft.com/fwlink/?LinkID=135170 中的 about_Execution_Policies。
所在位置 行:1 字符: 1
+ .\venv\Scripts\activate
+ ~~~~~~~~~~~~~~~~~~~~~~~
    + CategoryInfo          : SecurityError: (:) [],PSSecurityException
    + FullyQualifiedErrorId : UnauthorizedAccess

解决方法

20240101180819

1、终端输入get-executionpolicy,回车返回Restricted
2、win+r快捷键打开,输入 powershell 打开 windows powershell,命令窗口输入Start-Process powershell -Verb runAs进入管理员模式,再输入set-executionpolicy remotesigned,回车,输入Y。
3.pycharm终端输入get-executionpolicy命令回车,返回remotesigned
4..\venv\Scripts\activate.ps1回车,进入虚拟环境,解决

启动web_demo.py报torch

(env) PS F:\ChatGLM2-6B> python web_demo.py
Loading checkpoint shards: 100%|█████████████████████████████████████████████████████████| 7/7 [00:29<00:00,  4.28s/it]
Traceback (most recent call last):
  File "F:\ChatGLM2-6B\web_demo.py", line 7, in <module>
    model = AutoModel.from_pretrained("THUDM/chatglm2-6b", trust_remote_code=True).cuda()
  File "F:\ChatGLM2-6B\env\lib\site-packages\torch\nn\modules\module.py", line 918, in cuda
    return self._apply(lambda t: t.cuda(device))
  File "F:\ChatGLM2-6B\env\lib\site-packages\torch\nn\modules\module.py", line 810, in _apply
    module._apply(fn)
  File "F:\ChatGLM2-6B\env\lib\site-packages\torch\nn\modules\module.py", line 810, in _apply
    module._apply(fn)
  File "F:\ChatGLM2-6B\env\lib\site-packages\torch\nn\modules\module.py", line 810, in _apply
    module._apply(fn)
  File "F:\ChatGLM2-6B\env\lib\site-packages\torch\nn\modules\module.py", line 833, in _apply
    param_applied = fn(param)
  File "F:\ChatGLM2-6B\env\lib\site-packages\torch\nn\modules\module.py", line 918, in <lambda>
    return self._apply(lambda t: t.cuda(device))
  File "F:\ChatGLM2-6B\env\lib\site-packages\torch\cuda\__init__.py", line 289, in _lazy_init
    raise AssertionError("Torch not compiled with CUDA enabled")
AssertionError: Torch not compiled with CUDA enabled

解决方法

先卸载原有torch

pip uninstall torch

安装如下

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu117

注意:117是数字.

运行 web_demo.py报错

Loading checkpoint shards: 100%|█████████████████████████████████████████████████████████| 7/7 [00:23<00:00,  3.37s/it]
Traceback (most recent call last):
  File "F:\ChatGLM2-6B\web_demo.py", line 89, in <module>
    user_input = gr.Textbox(show_label=False, placeholder="Input...", lines=10).style(
AttributeError: 'Textbox' object has no attribute 'style'

解决

pip uninstall gradio
pip install gradio==3.50.0  //机器人输出会卡住,可能配置低
pip install gradio==3.39.0  //推荐

pip默认安装最新版本,降低版本即可。

扩展链接

ChatGLM2-6B Github - 传送阵
(已解决)安装pytorch时ERROR - 传送阵
开源免费大语言模型ChatGLM2-6B windows本地部署教程 - 传送阵

2
  1. 支付宝打赏

    qrcode alipay
  2. 微信打赏

    qrcode weixin
广告 广告

评论区