langchain-chatchat langchain chatchat chatglm
【虹科分享】基于Redis Enterprise，LangChain，OpenAI 构建一个电子商务聊天机器人
OpenAI的语言模型并没有针对特定企业的具体数据进行训练或优化。如果您的聊天机器人依赖于该框架，您需要在运行时向OpenAI提供数据。在检索步骤中，我们使用向量相似性搜索（VSS）从Redis中获取与用户查询相关的数据，并将这些数据与原始问题一起输入到语言模型中。这个流水线中大部分的复杂性都归结于... ......
如何在langchain中对大模型的输出进行格式化
简介 我们知道在大语言模型中, 不管模型的能力有多强大，他的输入和输出基本上都是文本格式的，文本格式的输入输出虽然对人来说非常的友好，但是如果我们想要进行一些结构化处理的话还是会有一点点的不方便。 不用担心，langchain已经为我们想到了这个问题，并且提出了完满的解决方案。 langchain中 ......
部署一个本地的聊天机器人-基于ChatGLM3
部署一个本地的聊天机器人-基于ChatGLM3 预备 理论上来说 8G及以上显存的英伟达GPU 笔者的设备 RTX 4060Ti (16G显存) Archlinux Python 3.10.10 ChatGLM3 代码版本 33953b119e7 开整 下载ChatGLM3 ChatGLM3 是智谱 ......
为美好的世界献上佐罗兔（2）基于docker安装ChatGLM3
佐罗兔——rabbitzorro 首先我找了一个B站的教学视频，但是他不是基于Docker的 https://www.bilibili.com/video/BV1gN4y1r7RX 作者一看就是专业讲课的，说三句水两句，不过教程的结构还是可以借鉴的。 我的PC配置： N卡RTX3060 12GB板、 ......
langchain
1.安装环境 1.安装python https://www.python.org/downloads/windows/ 2.安装pip 下载：https://pypi.org/project/pip/#files 解压 安装： python setup.py install 配置path 3.安装l ......
基于langchain使用百度Wenxin自然语言处理MySQL
昨天下午同事刚好发来langchain使用OPENAI 来自然语言处理sqlite https://youtu.be/Tubl4scsXc4?si=Y_zOIrbkZVtndNoP 刚好有时间可以测一测玩玩 博主github:https://github.com/clairelovesgravy/l ......
chatglm3-6b尝试
十月底智谱开元路chatglm3，果断来尝试一下。 1.ChatGLM3 亮点 ChatGLM3 是智谱AI和清华大学 KEG 实验室联合发布的新一代对话预训练模型。ChatGLM3-6B 是 ChatGLM3 系列中的开源模型，在保留了前两代模型对话流畅、部署门槛低等众多优秀特性的基础上，Chat ......
ChatGLM3-6B：新一代开源双语对话语言模型，流畅对话与低部署门槛再升级
ChatGLM3-6B：新一代开源双语对话语言模型，流畅对话与低部署门槛再升级 1.ChatGLM3简介 ChatGLM3 是智谱AI和清华大学 KEG 实验室联合发布的新一代对话预训练模型。ChatGLM3-6B 是 ChatGLM3 系列中的开源模型，在保留了前两代模型对话流畅、部署门槛低等众多 ......
Win11 部署 Langchain-Chatchat
LangChain-Chatchat (原 Langchain-ChatGLM)基于 ChatGLM 等大语言模型与 Langchain 等应用框架实现，开源、可离线部署的检索增强生成(RAG)大模型知识库项目。项目地址：https://github.com/chatchat-space/Langc ......
Neo4j+Langchain实现非结构化知识图谱增强QA
微信公众号的一篇文章，着重介绍如何使用知识图谱来增强大语言模型QA的问答效果 1. 核心架构 核心架构如下： 可以通过Neo4j的向量索引和Neoconj图数据的强大能力来实现检索增强的生成系统，提供精确且上下文丰富的答案。 两条路： 向量相似性搜索来检索非结构化信息， 访问图数据库来提取结构化信息 ......
langchain中的chat models介绍和使用
简介 之前我们介绍了LLM模式，这种模式是就是文本输入，然后文本输出。 chat models是基于LLM模式的更加高级的模式。他的输入和输出是格式化的chat messages。 一起来看看如何在langchain中使用caht models吧。 chat models的使用 首先langchai ......
通义千问, 文心一言, ChatGLM, GPT-4, Llama2, DevOps 能力评测
引言 “克隆 dev 环境到 test 环境，等所有服务运行正常之后，把访问地址告诉我”，“检查所有项目，告诉我有哪些服务不正常，给出异常原因和修复建议”，在过去的工程师生涯中，也曾幻想过能够通过这样的自然语言指令来完成运维任务，如今 AI 助手 Appilot 利用 LLM 蕴藏的神奇力量，将这一 ......
ChatGLM.cpp的量化处理
chatglm.cpp的一个主要特点就是以量化的形式对大模型进行优化，使其在CPU上能够进行高效推理。 本文主要查看chatglm.cpp是如何对模型进行量化的 chatglm.cpp在使用时主要分成两步： 使用convert.py将模型进行量化，得到ggml格式 使用./build/bin/mai ......
ChatGLM2 源码解析：`ChatGLMTokenizer`
import os import torch from typing import List, Optional, Union, Dict from sentencepiece import SentencePieceProcessor from transformers import PreTra ......
理论+实践详解最热的LLM应用框架LangChain
LangChain提供了灵活的抽象和AI优先的工具，可帮助开发人员将LLM应用程序从原型转化为生产环境。 它还提供了一套工具，可帮助开发人员构建上下文感知、推理应用程序。 ......
Langchain-Chatchat项目：5.1-ChatGLM3-6B工具调用
在语义、数学、推理、代码、知识等不同角度的数据集上测评显示，ChatGLM3-6B-Base 具有在10B以下的基础模型中最强的性能。ChatGLM3-6B采用了全新设计的Prompt格式，除正常的多轮对话外。同时原生支持工具调用（Function Call）、代码执行（Code Interpret ......
使用 OKhttp3 实现 ChatGLM HTTP 调用(SSE、异步、同步)
目录1. 准备工作2. SSE 调用3. 异步调用4. 同步调用5. 附录5.1 组装鉴权 token5.2 接口请求参数 为了熟悉下 OKhttp 和 ChatGLM 接口，写几个 demo 试试 1. 准备工作 从 ChatGLM 的接口文档可知，每次 HTTP 调用都需要带上一个鉴权 toke ......
LangChain=>RecursiveCharacterTextSplitter
LangChain源码： github.com RecursiveCharacterTextSplitter有4个参数： public RecursiveCharacterTextSplitter(List<string>? separators=null, int chunkSize = 4000 ......
ChatGLM3本地部署
如何用免费GPU线上跑AI项目实践 - 飞书云文档 (feishu.cn) 准备步骤： 1.配置好环境pytorch2.0.1 python3.9 2.进入JupyterLab进入开发环境 3.将glm3从开源项目中git下来，这里在terminal输入指令后，输入github的账号密码进行git。 ......
Langchain-Chatchat项目：4.2-P-Tuning v2使用的数据集
本文主要介绍P-tuning-v2论文中的5种任务，分别为Glue任务、NER任务、QA任务、SRL任务、SuperGlue任务，重点介绍了下每种任务使用的数据集。 一.Glue任务 GLUE（General Language Understanding Evaluation）是纽约大学、华盛顿大学 ......
Langchain-Chatchat项目：4.1-P-Tuning v2实现过程
常见参数高效微调方法(Parameter-Efficient Fine-Tuning，PEFT)有哪些呢？主要是Prompt系列和LoRA系列。本文主要介绍P-Tuning v2微调方法。如下所示： Prompt系列比如，Prefix Tuning(2021.01-Stanford)、Prompt ......
使用 Sealos 将 ChatGLM3 接入 FastGPT，打造完全私有化 AI 客服
FastGPT 是一款专为客服问答场景而定制的开箱即用的 AI 知识库问答系统。该系统具备可视化工作流功能，允许用户灵活地设计复杂的问答流程，几乎能满足各种客服需求。 在国内市场环境下，离线部署对于企业客户尤为重要。由于数据安全和隐私保护的考虑，企业通常不愿意将敏感数据上传到线上大型 AI 模型 ( ......
使用单卡v100 32g或更低显存的卡，使用peft工具qlora或lora混合精度训练大模型chatGLM2-6b，torch混合精度加速稳定训练,解决qlora loss变成nan的问题！
最近新换了工作，以后的工作内容会和大模型相关，所以先抽空跑了一下chatGLM2-6b的demo，使用Qlora或lora微调模型 今天简单写个文档记录一下，顺便也是一个简单的教程，并且踩了qlora loss变成nan训练不稳定的问题 本教程并没有写lora的原理，需要的话自行查阅 1.chatG ......
转：ChatGLM3-6B测评
全新ChatGLM3-6B针对七项RAG能力的评测，谁最适合RAG？ 原创 这个男人来自千祥 土猛的员外 2023-10-30 17:32 发表于浙江 https://mp.weixin.qq.com/s/6fnZt2sBTakfXZMcS-scPA 1.实体提取 实体和关系提取当然也可以使用NER ......
LangChain实战
1.概述 最近，在研究LangChain时，发现一些比较有意思的点，今天笔者将给大家分享关于LangChain的一些内容。 2.内容 2.1 什么是LangChain？ LangChain是一项旨在赋能开发人员利用语言模型构建端到端应用程序的强大框架。它的设计理念在于简化和加速利用大型语言模型（LL ......
Langchain语言模型提问请求，提问使用非标准的sse请求获取流式数据，java后台版解决方式
问题描述：请求后接收的数据流，不走EventSourceListener的onEvent事件，但onOpen onClosed都是正常走的。 问题原因：默认的接口返回是StreamingResponse不是EventSourceResponse，无法走标准sse协议的onEvent()方法 目标需求 ......
python 部署chatglm2b
下载模型实现 然后手动下载模型 GIT_LFS_SKIP_SMUDGE=1 git clone https://huggingface.co/THUDM/chatglm2-6b cd ChatGLM2-6B mkdir modelsglm && cd modelsglm vim downs.py # ......
Langchain使用自己定义的tool
Langchain使用自己定义的tool 快速开始 tool是agent可用于与世界交互的功能。这些工具可以是通用实用程序（例如搜索）、其他链，甚至是其他代理。 目前，可以使用以下代码片段加载工具： from langchain.agents import load_tools tool_names ......
基于LangChain的LLM应用开发3——记忆
此情可待成追忆，只是当时已惘然。我们人类会有很多或美好或痛苦的回忆，有的回忆会渐渐模糊，有的回忆午夜梦醒，会浮上心头。 然而现在的大语言模型都是没有记忆的，都是无状态的，大语言模型自身不会记住和你对话之间的历史消息。根本用不着“时时勤拂拭”，天然就是“本来无一物”。每一次的请求交互、api调用都是独 ......