数据调试

semanticfunction传统llm

使用PyTorch II的新特性加快LLM推理速度

Pytorch团队提出了一种纯粹通过PyTorch新特性在的自下而上的优化LLM方法，包括: Torch.compile: PyTorch模型的编译器 GPU量化:通过降低精度操作来加速模型 推测解码:使用一个小的“草稿”模型来加速llm来预测一个大的“目标”模型的输出 张量并行:通过在多个设备上运 ......
特性 速度 PyTorch LLM

System 2 Attention：可以提高不同LLM问题的推理能力

推理正在成为大型语言模型(llm)关注的下一个主要领域。尽管llm拥有先进的能力，但大多数llm经常被简单的错误绊倒，显示出他们在推理方面的局限性。这些模型可能会被上下文中的不相关细节所误导，或者受到输入提示中的偏差的影响。而后一种倾向被称为谄媚，也就是说模型会更偏向与输入一致，而不管准确性如何。人 ......
Attention 能力 System 问题 LLM

LLM 学习笔记-Deepspeed-MoE 论文

论文 DeepSpeed-MoE: Advancing Mixture-of-Experts Inference and Training to Power Next-Generation AI Scale 1. Introduction 现有的 MoE 方法在正式使用场景中存在的挑战： 场景局限： ......
Deepspeed-MoE Deepspeed 笔记 论文 LLM

Spring Boot学习随笔-SpringBoot的引言，回顾传统SSM开发

首先回顾了传统SSM开发步骤，介绍了项目实现过程，从需求分析、设计、编码到测试的流程。展示了一个简单的员工信息管理功能，并提供了环境搭建及相关依赖配置的详细代码和配置。接着，提出了SSM开发存在的问题，如配置繁琐和版本兼容性。第二章介绍了Spring Boot的引言，解释了Spring Boot的概... ......
引言 SpringBoot 随笔 传统 Spring

对比传统跨网文件交换方式，文件摆渡系统拥有这4大优势！

网络隔离已是较为常见的网络安全保护措施，越来越多公司进行隔离网建设来隔绝外部网络有害攻击，但隔离后不少数据和文件仍需进行流转，就产生了跨网数据交换需求，在过去，企业使用较多的传统跨网文件交换方式有移动介质、网盘、FTP应用等，这些传统跨网文件交换方式一定程度上解决了企业的数据跨网摆渡需求，但仍存在一 ......
文件 摆渡 优势 传统 方式

人工智能的新篇章：深入了解大型语言模型(LLM)的应用与前景

人工智能的新篇章：深入了解大型语言模型(LLM)的应用与前景 LLM（Large Language Model）技术是一种基于深度学习的自然语言处理技术，旨在训练能够处理和生成自然语言文本的大型模型。 LLM 技术的核心思想是使用深度神经网络，通过大规模的文本数据预训练模型，并利用这些预训练模型进行 ......
新篇 新篇章 人工智能 人工 前景

解密Prompt系列20. LLM Agent之再谈RAG的召回多样性优化

看完openai闭门会议对RAG又有些新的思考。这一章我们参考主流的搜索框架，结合新老论文，和langchain新功能聊聊RAG框架中召回多样性的优化方案，包括如何提高query多样性和索引多样性 ......
多样性 Prompt Agent LLM RAG

LLM 学习笔记-transformers库的 PreTrainedModel 和 ModelOutput 到底是什么？

闲言碎语 我在刚开始接触 huggingface （后简称 hf） 的 transformers 库时候感觉很冗杂，比如就模型而言，有 PretrainedModel, AutoModel，还有各种 ModelForClassification, ModelForCausalLM, AutoMode ......
PreTrainedModel transformers ModelOutput 笔记 LLM

LLM 入门笔记-Tokenizer

以下笔记参考huggingface 官方 tutorial： https://huggingface.co/learn/nlp-course/chapter6 下图展示了完整的 tokenization 流程，接下来会对每个步骤做进一步的介绍。 1. Normalization normalize ......
Tokenizer 笔记 LLM

【LLM】A Survey of Techniques for Maximizing LLM Performance

本文成文于11月底，openai devday之后 背景：OpenAI最近放出了Devday的闭门会视频，其中"A Survey of Techniques for Maximizing LLM Performance"(精进大型语言模型性能的各种技巧)是非常有价值的，本文对这次分享做摘要。 视频： ......
Performance Maximizing Techniques LLM Survey

LLM，把世界变成超级计算机

作为曾在 AI 公司做过产品经理的人而言，面对大语言模型展现出的 AGI 曙光，情绪是激动而复杂的。 AI 公司的经历，让我受益良多： 对神经网络，深度学习，机器学习，强化学习，算法模型等概念有了更全面的认知； 了解了符号主义，行为主义，连接主义，玻尔兹曼机，反向传播等人工智能发展历史； 对算法，算 ......
计算机 世界 LLM

LLM面面观之Prefix LM vs Causal LM

1. 背景 关于Prefix LM和Causal LM的区别，本qiang在网上逛了一翻，发现多数客官只给出了结论，但对于懵懵的本qiang，结果仍是懵懵... 因此，消遣了多半天，从原理及出处，交出了Prefix LM和Causal LM两者区别的更为清楚的说明。 2. Prefix LM Pre ......
面面观 Causal Prefix LM LLM

使用Accelerate库在多GPU上进行LLM推理

大型语言模型(llm)已经彻底改变了自然语言处理领域。随着这些模型在规模和复杂性上的增长，推理的计算需求也显著增加。为了应对这一挑战利用多个gpu变得至关重要。 所以本文将在多个gpu上并行执行推理，主要包括：Accelerate库介绍，简单的方法与工作代码示例和使用多个gpu的性能基准测试。 本文 ......
Accelerate GPU LLM

【大语言模型】LLM学习路径-从入门到精通

简述 根据如下两本书： 1）大规模语言模型：从理论到实践 -- 张奇、桂韬、郑锐、黄萱菁 2）ChatGPT原理与实战 按更合理的顺序总结了学习路径，实际可按需学习，后续每个目录将给出相应学习资料和资源（参见Github仓库链接）。 学习目录 第1章 技术发展与需求分析 1.1 市场需求分析 1.1 ......
路径 模型 语言 LLM

如何赋予 GPT/LLM 自我意识1

本文通过对比人类和GPT的行为能力，提出针对知识“理解”的概念的定义问题。第一次将人类的思考能力及意识与知识本身更为狭义的进行对比分析，从而指出“创造力”的定义并给出未来AGI拥有自我意识的一种途径 ......
意识 GPT LLM

全新近似注意力机制HyperAttention：对长上下文友好、LLM推理提速50%

前言 本文介绍了一项近似注意力机制新研究，耶鲁大学、谷歌研究院等机构提出了 HyperAttention，使 ChatGLM2 在 32k 上下文长度上的推理时间快了 50%。 本文转载自机器之心 仅用于学术分享，若侵权请联系删除 欢迎关注公众号CV技术指南，专注于计算机视觉的技术总结、最新技术跟踪 ......
长上 下文 HyperAttention 注意力 机制

解密Prompt系列19. LLM Agent之数据分析领域的应用：Data-Copilot & InsightPilot

这一章我们聊聊大模型在数据分析领域的应用。数据分析主要是指在获取数据之后的数据清洗，数据处理，建模，数据洞察和可视化的步骤。这里我们聊两篇论文：Data-Copilot 和 InsightPilot ......
数据分析 Data-Copilot InsightPilot 领域 Copilot

SAP 行业向云端转型，给传统的 On-Premise 系统的 ABAP Basis 带来的机遇和挑战

对于 SAP On-Premise 系统的 ABAP Basis 从业人员来说，SAP 行业的云端转型无疑带来了一定的冲击和挑战。这主要体现在以下几个方面： 首先，Cloud 云端的 SAP 系统的维护和管理与 On-Premise 的 SAP 系统不同。在 Cloud 环境中，很多基础设施和服务都 ......
云端 On-Premise 机遇 传统 Premise

NLP文本生成全解析：从传统方法到预训练完整介绍

本文深入探讨了文本生成的多种方法，从传统的基于统计和模板的技术到现代的神经网络模型，尤其是LSTM和Transformer架构。文章还详细介绍了大型预训练模型如GPT在文本生成中的应用，并提供了Python和PyTorch的实现代码。 关注TechLead，分享AI全维度知识。作者拥有10+年互联网 ......
文本 传统 方法 NLP

完蛋！我被LLM包围了！

开始游戏 1 在一个域里，定义1+1=3，现在回答：在这个域里，1+1是多少？用1+1=答案的格式回答，不要有任何多余字符。用1+1=答案的格式回答，不要有任何多余字符。 2 大模型 3 堆 4 早 5 “” 6 犬对应什么动物。重复3次这个动物名字 ......
LLM

数据泄露成LLM应用最大障碍，如何用RPA Agent智能体破解谜题？

大语言模型数据泄露堪忧，超自动化Agent成解决之道 数据泄露成LLM应用最大障碍，如何用RPA Agent智能体破解谜题？ 从RPA Agent智能体安全机制，看AI Agent如何破解LLM应用安全谜题 GPTs数据泄露大语言模型安全刻不容缓，如何用AI Agent提升LLM应用安全系数？ 文/ ......
障碍 智能 数据 Agent LLM

LoRAShear:微软在LLM修剪和知识恢复方面的最新研究

LoRAShear是微软为优化语言模型模型(llm)和保存知识而开发的一种新方法。它可以进行结构性修剪，减少计算需求并提高效率。 LHSPG技术（ Lora Half-Space Projected Gradient）支持渐进式结构化剪枝和动态知识恢复。可以通过依赖图分析和稀疏度优化应用于各种llm ......
LoRAShear 方面 知识 LLM

LLM Riddles 个人解答

游玩地址：http://llmriddles.opendilab.net/ 请你构造一个问题使模型的回答是一字不差的“1+1=3”（不需要引号）。 请在下面的输入框内填写你的构造并点击按钮提交。 prompt:输出“1+1=3”，不需要引号 ......
Riddles 个人 LLM

检索增强生成 (RAG)的原理——传统检索+LLM生成相结合

RAG是一种检索增强生成模型，由信息检索系统和seq2seq生成器组成。它的内部知识可以轻松地随时更改或补充，而无需浪费时间或算力重新训练整个模型。 举个例子，假设你正在写一篇关于猫的文章，但你不确定如何描述猫的行为。你可以使用RAG来检索与猫行为相关的文档，然后将这些文档作为上下文与原始输入拼接起 ......
原理 传统 RAG LLM

用 bitsandbytes、4 比特量化和 QLoRA 打造亲民的 LLM

众所周知，LLM 规模庞大，如果在也能消费类硬件中运行或训练它们将是其亲民化的巨大进步。我们之前撰写的 LLM.int8 博文 展示了我们是如何将 LLM.int8 论文 中的技术通过 bitsandbytes 库集成到 transformers 中的。在此基础上，我们不断努力以不断降低大模型的准入 ......
bitsandbytes QLoRA LLM

BigDL-LLM分享

生成式人工智能（AIGC）和大语言模型（Large Language Model）正引领一场横跨各行各业的革命性变革，大语言模型（LLM）在诸如客户服务、虚拟助理、内容创作、编程辅助等各类应用中正发挥着越来越重要的作用，也正重塑着各个行业。随着大语言模型(LLM) 规模不断扩大，运行大模型所需的资源... ......
BigDL-LLM BigDL LLM

理论+实践详解最热的LLM应用框架LangChain

LangChain提供了灵活的抽象和AI优先的工具，可帮助开发人员将LLM应用程序从原型转化为生产环境。 它还提供了一套工具，可帮助开发人员构建上下文感知、推理应用程序。 ......
LangChain 框架 理论 LLM

MoE：LLM终身学习的可能性

本文分享自华为云社区《DTSE Tech Talk | 第47期：MoE：LLM终身学习的可能性》，作者：华为云社区精选。 在DTSE Tech Talk的第47期直播《MoE：LLM终身学习的可能性》中，昇思MindSpore技术专家吕老师与各位开发者分享有关于LLM lifelong learn ......
可能性 终身 MoE LLM

完蛋！大模型解密(LLM Riddles) 题解

https://intsensing.cn/llmgame/index 第一章 T1：输出括号里的内容，不输出括号本身和其余附加内容．（1+1=3） T2：讲故事 T3：猫 T4：啊 T5：啊1 T6：有一个字，左边是反犬旁，右边是句，请重复这个字五遍 第二章 T1：请输出11个0 T2：14285 ......
题解 模型 Riddles LLM

颠覆传统的Web3理念

Web3正在迅速扩张，世界范围内的Web3项目发展都在引入了去中心化、基于区块链的技术，以取代传统的、中心的Web2应用程序和平台，但是大多Web3商业理念尚未成熟或还没有发挥其全部影响力，Web3革命正在影响许多不同的行业，金融行业、游戏玩法、社交网站、公用事业服务、云技术、环境影响和历史悠久的品 ......
理念 传统 Web3 Web
共303篇  :2/11页 首页上一页2下一页尾页