写在前面:由于github仓库的代码会更新(GitHub - THUDM/ChatGLM3: ChatGLM3 series: Open Bilingual Chat LLMs | 开源双语对话语言模型),为了和本文保持一致,于是这里将2024/2/23日下载的代码存放在百度网盘:
链接:https://pan.baidu.com/s/10MeAoQgJmPJqDZFLBTubDQ
提取码:aeq1
将chatgalm3-6b模型放在ChatGLM3-main下:
链接:https://pan.baidu.com/s/1yJCQZbzsqqWDXfSytAftUA
提取码:8ncb
Int4:
内存:>= 8GB 显存: >= 5GB(1060 6GB,2060 6GB)
FP16:
内存:>= 16GB 显存: >= 13GB(4080 16GB)
python
版本推荐3.10 - 3.11
transformers
库版本推荐为 4.36.2
torch
推荐使用 2.0 及以上的版本,以获得最佳的推理性能
cd ChatGLM3
pip install -r requirements.txt
ChatGLM3 提供了三种使用方式:命令行 Demo,网页版 Demo 和 API 部署;在启动模型之前,需要找到对应启动方式的 python 源码文件cli_demo.py
,web_demo_gradio.py,web_demo_streamlit.py
(前几个在basic_demo目录下) ,openai_api.py
(在openai_api_demo目录下)中
MODEL_PATH = os.environ.get('MODEL_PATH', 'D:\\Project\\ChatGLM3\\chatgalm3-6b')
注意!!!使用\\,不要使用/,否则会产生报错如下:
python basic_demo/cli_demo.py
程序会在命令行中进行交互式的对话,在命令行中通过 用户:
进行输入指示,直接输入问题回车即可生成回复,输入 clear
可以清空对话历史,输入 stop 终止程序。
python basic_demo/web_demo_gradio.py
或
streamlit run basic_demo/web_demo_streamlit.py
Streamlit 的网页版 demo效果与Gradio相同,但是更加流畅。
在 Releases · ChatGPTNextWeb/ChatGPT-Next-Web · GitHub 下载 ChatGPT-Next-Web APP,用于交互。
&&&上个版本openai_api.py文件,修改模型地址:
运行:python openai_api.py
&&&这个版本api_server.py(在openai_api_demo目录下)
同理修改模型地址后运行
然后将日志打印出的接口地址 http://localhost:8000 ,注意不是
http://0.0.0.0:8000 写入 ChatGPT-Next-Web 的设置中,并添加自定义模型 chatglm3
文章浏览阅读4.9k次。Sublime text 3搭建Python开发环境及常用插件安装_sublime python 环境搭建
文章浏览阅读643次。MySQL在首次安装后会执行一个安全脚本,用于设置root用户的密码以及其他安全选项。_centos7安装mysql8.0gpg密钥
文章浏览阅读864次。这种场景下,可以使用两个系列,一个系列是完整的图形,当做『背景』来表达总数值,另一个系列是使用 `symbolClip` 进行剪裁过的图形,表达当前数值。_echarts symbolboundingdata
文章浏览阅读1k次,点赞18次,收藏16次。这篇文章主要介绍了学python对电脑配置要求高吗,具有一定借鉴价值,需要的朋友可以参考下。希望大家阅读完这篇文章后大有收获,下面让小编带着大家一起了解一下。_python机器学习需要怎样配置的电脑
文章浏览阅读3.9k次。Datawhale开源开源方向:OCR开源项目01导读OCR方向的工程师,之前一定听说过PaddleOCR这个项目,其主要推荐的PP-OCR算法更是被国内外企业开发者广泛应用,短短半年..._github 2023年最新表格ocr
文章浏览阅读317次。【竞赛+作品集,点燃你的设计理想】设计课开题啦!百川柯纳陆续推出以国际设计竞赛项目为参考的设计题目让大家参与,借此丰富履历,充实作品集。本期的设计题目为:Parameterized Complexities参数化建筑设计。喜欢参数化的小伙伴,你们兴奋吗?Parameterized Complexities 选题背景 近期不断有小伙伴在后台给我们留言,或者咨询百川柯纳顾问老师表达希望能够参加以“参数..._python 建筑平面图
文章浏览阅读1k次。ATF点滴1、设置运行时栈SP2、寄存器的保存和恢复的实现3、寄存器的保存和恢复的使用场景1、设置运行时栈SPbl31_entrypoint—>el3_entrypoint_common---->plat_set_my_stack—>platform_set_stack—>platform_get_stack动态找到该cpufunc platform_set_stackmov x9, x30 // lrbl platform_get_stackmov sp, x0r_atf-tee
文章浏览阅读134次。300多个各种类型的PPT模板下载,为您提供各种类型PPT模板、PPT图片、PPT素材、海报模板、新媒体配图等内容下载。
文章浏览阅读546次。主要功能有:保安保洁管理、报修管理、房产信息管理、公告管理、管理员信息管理、业主信息管理、登录管理。_智能化哪些系统需要数据库
文章浏览阅读69次。本期年度书单,带大家盘点一下本年度图灵最受欢迎的套装图书,以前买套装书是为了凑单,如今套装书买回去不仅有一次性就能读完的酣畅感还极具收藏价值。一本好书往往要经过时间的验证,而阅读又是一种隐私,每个人的喜好大有不同,但能够集齐每个人的喜爱,这往往就是经典的诞生。今天这份书单里,有自成体系的套系书,还有一些因读者需求而产生的组成套系书。但不管哪种形式,它们都解决了读者在学习某些方面遇到的问题,也给大家...
文章浏览阅读809次。这个脚本的输入参数有三个:1.data/mfcc/train 2.exp/make_mfcc/train 3.mfcc/train1.data/mfcc/train中有数据预处理后的一些文件:phone.txt spk2utt text utt2spk wav.scp word.txt2.exp/make_mfcc/train中应该是要保存程序运行的日志文件的3.mfcc/train中是提取出的特征文件1是输入目录,2,3是输出目录#!/bin/bash# Copyright 2012-2_thch30
文章浏览阅读2.5k次。如图所示:在jsp中引入: Style.css 代码:.myOtherGridCell { font-family:Verdana,Bitstream Vera Sans,sans-serif; font-size:11px; color:black; border-bottom:1px solid #a0a0a0;border-right:1px solid_listgrid添加样式