langchain llm
解密Prompt系列17. LLM对齐方案再升级 WizardLM & BackTranslation & SELF-ALIGN
这一章介绍通过扩写，改写，以及回译等半监督样本挖掘方案对种子样本进行扩充，提高种子指令样本的多样性和复杂度，这里我们分别介绍Microsoft，Meta和IBM提出的三个方案。 ......
七个 LLM 的狼人杀之夜；马斯克的星链残骸会“砸死人”？OpenAI 安全漏洞曝光丨RTE开发者日报 Vol.66
开发者朋友们大家好： 这里是「RTE 开发者日报」，每天和大家一起看新闻、聊八卦。我们的社区编辑团队会整理分享 RTE （Real Time Engagement） 领域内「有话题的新闻」、「有态度的观点」、「有意思的数据」、「有思考的文章」、「有看点的会议」，但内容仅代表编辑的个人观点，欢迎大家留 ......
LLM采样后处理总结：LLM的后处理的cpp实现
LLM采样后处理总结：LLM的后处理的cpp实现 在经过LLM的lm_head之后，会得到[batch, vocab_size]大小的矩阵向量，此时需要对输出的逻辑张量进行采样，除了beam_search的贪心策略，还有repetition_penalty、temperature、top_k、top ......
Graph RAG: 知识图谱结合 LLM 的检索增强
RAG（Retrieval Argumented Generation）这种基于特定任务/问题的文档检索范式中，我们通常先收集必要的上下文，然后利用具有认知能力的机器学习模型进行上下文学习（in-context learning），来合成任务的答案。这次，我们借助 LLM 的力量，强化下 RAG。 ......
Langchain-Chatchat项目：3-Langchain计算器工具Agent思路和实现
本文主要讨论Langchain-Chatchat项目中自定义Agent问答的思路和实现。以"计算器工具"为例，简单理解就是通过LLM识别应该使用的工具类型，然后交给相应的工具（也是LLM模型）来解决问题。一个LLM模型可以充当不同的角色，要把结构化的Prompt模板写好，充分利用LLM的Zero/O ......
Langchain-Chatchat项目：1-整体介绍
基于Langchain与ChatGLM等语言模型的本地知识库问答应用实现。项目中默认LLM模型改为THUDM/chatglm2-6b[2]，默认Embedding模型改为moka-ai/m3e-base[3]。 一.项目介绍 1.实现原理 本项目实现原理如下图所示，过程包括加载文件->读取文本->文 ......
Langchain-Chatchat项目：1.1-ChatGLM2项目整体介绍
ChatGLM2-6B是开源中英双语对话模型ChatGLM-6B的第2代版本，引入新的特性包括更长的上下文(基于FlashAttention技术，将基座模型的上下文长度由ChatGLM-6B的2K扩展到了32K，并在对话阶段使用8K的上下文长度训练)；更高效的推理(基于Multi-QueryAtte ......
Langchain-Chatchat项目：1.2-Baichuan2项目整体介绍
由百川智能推出的新一代开源大语言模型，采用2.6万亿Tokens的高质量语料训练，在多个权威的中文、英文和多语言的通用、领域benchmark上取得同尺寸最佳的效果，发布包含有7B、13B的Base和经过PPO训练的Chat版本，并提供了Chat版本的4bits量化。 一.Baichuan2模型 B ......
Langchain-Chatchat项目：2.1-通过GPT2模型来检索NebulaGraph
在官方例子中给出了通过chain = NebulaGraphQAChain.from_llm(ChatOpenAI(temperature=0), graph=graph, verbose=True)来检索NebulaGraph图数据库。本文介绍了通过GPT2替换ChatOpenAI的思路和实现，暂 ......
【开源项目】AI Vtuber 一个由多LLM驱动的虚拟主播，可以在Bilibili/抖音 直播中与观众实时互动或本地聊天。使用多种TTS技术并可进行AI变声。通过特定指令协同SD绘图。并有循环文案
AI Vtuber是一个由 ChatterBot / GPT / Claude / langchain 本地 or 云端 / chatglm / text-generation-webui / 讯飞星火 / 智谱AI / 谷歌Bard / 文心一言
做为 大脑 驱动的虚拟主播 Live2D / Vt... ......
LLM实践-在Colab上使用免费T4 GPU进行Chinese-Llama-2-7b-4bit推理
一、配置环境 1、打开colab，创建一个空白notebook，在[修改运行时环境]中选择15GB显存的T4 GPU. 2、pip安装依赖python包 !pip install --upgrade accelerate !pip install bitsandbytes transformers_ ......
GPT之路(九) LangChain - Memory
记忆封装 - Memory (langchain memory) Memory：这里不是物理内存，从文本的角度，可以理解为“上文”、“历史记录”或者说“记忆力”的管理 ConversationBufferMemory可也用来保留会话信息 In [ ]: from langchain.memory i ......
论文阅读：iterator zero-shot llm prompting for knowledge graph construction
Abstract 知识图谱，一种相互连接和可解释的结构。 生成需要更多的人力、领域知识、并需要适用于不同的应用领域。 本论文提出借助LLM，通过0-shot和外部知识不可知的情况下生成知识图谱。 主要贡献： 迭代的prompting提取最终图的相关部分 0-shot，不需要examples 一个可扩 ......
解密Prompt系列16. LLM对齐经验之数据越少越好？LTD & LIMA & AlpaGasus
总结下指令微调、对齐样本筛选相关的方案包括LIMA，LTD等。论文都是以优化指令样本为核心，提出对齐阶段的数据质量优于数量，少量+多样+高质量的对齐数据，就能让你快速拥有效果杠杠的模型 ......
Llama2-Chinese项目：7-外延能力LangChain集成
本文介绍了Llama2模型集成LangChain框架的具体实现，这样可更方便地基于Llama2开发文档检索、问答机器人和智能体应用等。 1.调用Llama2类 针对LangChain[1]框架封装的Llama2 LLM类见examples/llama2_for_langchain.py，调用代码如下 ......
文章《Semantic Kernel -- LangChain 的替代品？》的错误和疑问 探讨
微信公众号文章 Semantic Kernel —— LangChain 的替代品?[1] ，它使用的示例代码是Python ，他却发了这么一个疑问：支持的语言对比（因为 Semantic Kernel 是用 C#开发的，所以它对 C#比较支持）如上所示。不清楚 Semantic Kernel 为什 ......
大语言模型LLM推理及训练显存计算方法
一、推理：显存计算 推理的显存大头就是：参数量，参数类型版本一般有以下四种： float 32位 浮点数 4 字节 half / BF16 16位 浮点数 2 字节 int8 8位 整数 1 字节 int4 4位 整数 0.5 字节 以 7B-BF16 版本为例，需要显存 = 数量 * 类型大小 = ......
全新注意力算法PagedAttention：LLM吞吐量提高2-4倍，模型越大效果越好
前言 吞吐量上不去有可能是内存背锅！无需修改模型架构，减少内存浪费就能提高吞吐量！ 本文转载自新智元 仅用于学术分享，若侵权请联系删除 欢迎关注公众号CV技术指南，专注于计算机视觉的技术总结、最新技术跟踪、经典论文解读、CV招聘信息。 CV各大方向专栏与各个部署框架最全教程整理 【CV技术指南】CV ......
本地部署 Langchain-Chatchat & ChatGLM
一、模型&环境介绍 1. ChatGLM github 地址：https://github.com/THUDM 模型地址：https://huggingface.co/THUDM 2. m3e 模型地址：https://huggingface.co/moka-ai/m3e-base/ 3. text ......
LangChain使用fine-tuned GPT-3.5
LangChain使用fine-tuned GPT-3.5 参考： https://openai.com/blog/gpt-3-5-turbo-fine-tuning-and-api-updates https://platform.openai.com/docs/guides/fine-tunin ......
基于本地知识库和LLM的知识库问答难点及解决方案
难点：由于langchain采用的是硬切分文档的方式，导致文档分割不够准确，例如：在文档中若有分点描述的情况，对文档硬性分割后，会把各个重点分隔开，导致后续向量召回时，片段是残缺的。如： 如果硬性分割文档，则在召回阶段拿到所有的通知信息。 解决方案：考虑使用语义分析的方式来分割文档，BERT模型训练 ......
GPT之路(八) LangChain - Models入门
环境：Python 3.11.4， LangChain 0.0.270, Jupyter Models模型简介 官方地址：LangChian - Models Langchain所封装的模型分为两类： 大语言模型 (LLM) 聊天模型 (Chat Models) Langchain的支持众多模型供应 ......
解密Prompt系列15. LLM Agent之数据库应用设计：DIN & C3 & SQL-Palm & BIRD
这一章我们来唠唠大模型和DB数据库之间的交互方案，除了基于Spider数据集的SOTA方案DIN之外，还会介绍两个改良方案C3和SQL-Palm，以及更贴合实际应用的大规模复杂SQL数据集BIRD。 ......
安装langchain-chatchat
1、下载langchain-chatchat git clone https://github.com/chatchat-space/Langchain-Chatchat.git 2、下载llama2-7b-chat-hf git lfs installgit clone https://huggi ......
Javascript版Langchain入门
https://baijiahao.baidu.com/s?id=1769509377621631060&wfr=spider&for=pc 介绍 LangChain是一个开源Python库，用于构建由大型语言模型（LLM）支持的应用程序。它提供了一个框架，将LLM与其他数据源（如互联网或个人文件） ......
从Google开发者大会浅谈LLM的应用
这周参加了在上海世博中心举办Google I/O Connect中国开发者大会，有几年没参加这么高质量的活动，有点感慨。 期间重点听了关于GCP和Google AI大语言模型的主题演讲，发现目前各大厂商仍然还处于大语言模型的早期应用阶段，Google PaLM 2也不例外。作为业界最领先的AI公司之 ......
Langchain的一些问题和替代选择
Langchain因其简化大型语言模型(llm)的交互方面的到关注。凭借其高级的API可以简化将llm集成到各种应用程序中的过程。 但是Langchain乍一看似乎是一个方便的工具，但是它有时候否更像是一个语言迷宫，而不是一个直截了当的解决方案。在本文中，我们将探讨与Langchain相关的一些问题 ......
GPT之路(七) LangChain AI编成框架入门的第一个demo
环境：Python 3.11.4， LangChain 0.0.270 1.Langchain 简介 1.1 Python Langchain官方文档 大型语言模型（LLM）正在成为一种具有变革性的技术，使开发人员能够构建以前无法实现的应用程序。然而，仅仅依靠LLM还不足以创建一个真正强大的应用程序 ......
通过提示大语言模型进行个性化推荐LLM-Rec: Personalized Recommendation via Prompting Large Language Models
论文原文地址：https://arxiv.org/abs/2307.15780 本文提出了一种提示LLM并使用其生成的内容增强推荐系统的输入的方法，提高了个性化推荐的效果。 ## LLM-Rec Prompting ![](https://img2023.cnblogs.com/blog/17994 ......
基于 LLM 的知识图谱另类实践
大语言模型时代，我们有了 few-shot 和 zero-shot 的能力。借助这些 LLM 能力，如何更便捷地实现知识图谱的知识抽取，用知识图谱来解决相关问题。 ......