范文 初中chinese teacher
Chinese strategy for tackling water pollution
"Water saving priority, spatial balance, system management, two hands hair force" principle, carry out the "safety, clean, health" policy, strengthen ......
初中平面几何定理汇总
射影定理 条件：\(AB\perp BC,BD\perp AC\)。 结论： \(AB^2=AD\times AC\) \(BC^2=CD\times CA\) \(BD^2=DA\times DC\) 线束定理 条件：\(DE//BC\)。 结论：\(\dfrac{DF}{FE}=\dfrac{B ......
论文阅读：InstructIE： A Chinese Instruction-based Information Extraction Dataset
主要提出了一种数据集Instruction-based IE，要求模型根据指令来提取信息。 1. Instruction 为IE任务创建特定的数据集式消耗事时间与资源的。 面对这些挑战的常见方法： Seq2seq提出 TANL将其视为自然语言增强的翻译任务。 UIE提出一种text-to-struc ......
关于英语的语言规范问题——美式英语、英式英语和Chinese English到底哪个才是正宗
因为日常生成生活中总是会使用英语进行阅读、写作、学习和交流表达，由于小的时候是学传统正宗英语（英式英语），后来长大后因为美国实力强又开始学这个时候的正宗英语（美式英语），但是由于个人的能力问题（农村娃长大的，英语这东西没有学习环境）最后美式英语和英式英语都没有学明白，最后就学了个中式英语。 ......
Math teacher's homework 题解
preface 网上的题解看不懂，看代码看懂了 ：） solution 考虑 \(\mathrm{x_i}\) 的倒数第 \(\mathrm{low_i - 1}\) 位到倒数第 \(\mathrm{1}\) 位可以乱选（选 \(\mathrm{0/1}\) 都满足 \(\mathrm{x_i \l ......
GitHub 3个初中生开源了windows 12网页版，目前5k+ star！
国内3个初中生开源了 Windows 12 网页版，尽管项目基本涉及前端，对于大多数开发者来说可能没什么太高的技术含量，可是想到他们才上初中，真的是后生可畏呀！目前项目已经获得了 5k+ star。 GitHub：https://github.com/tjy-gitnub/win12 在线体验：ht ......
【读论文】CM-Gen: A Neural Framework for Chinese Metaphor Generation with Explicit Context Modelling
为了更好的阅读体验，请点击这里 由于发不出论文，所以找点冷门方向做一做。从汉语比喻开始。 读完这篇论文之后我觉得 COLING 这方向我上我也行（ε=ε=ε=┏(゜ロ゜;)┛ 题目：CM-Gen: A Neural Framework for Chinese Metaphor Generation ......
pip 手动安装 jieba包 | [babyllama2-chinese]
在复现 babyllama2-chinese 项目时，jieba 无论是用 pip 还是 conda 进行安装都会报错，遂尝试手动安装，步骤如下： 先参考一篇博客 以及我自己的博客:conda、pip从本地安装包 我直接进入pip官网： https://pypi.org 搜索jieba包 这里需要注 ......
【babyllama2-chinese】项目 | 环境配置
所用计算节点： 中科曙光 异构节点-4D1-2 单节点： 每个节点是32核 128G 4张dcu卡，dcu卡显存每张16G 作业调度系统： slrum requirements.txt: 自动安装 使用 pip install -r requirements.txt 报错，遂尝试手动安装所有包 手动 ......
开启中文智能之旅：探秘超乎想象的 Llama2-Chinese 大模型世界
“开启中文智能之旅：探秘超乎想象的 Llama2-Chinese 大模型世界” 1.国内Llama2最新下载地址 本仓库中的代码示例主要是基于Hugging Face版本参数进行调用，我们提供了脚本将Meta官网发布的模型参数转换为Hugging Face支持的格式，可以直接通过transforme ......
Chinese-Text-Classification-PyTorch
Chinese-Text-Classification Github项目地址： https://github.com/JackHCC/Chinese-Text-Classification-PyTorch 作者：JackHCC 链接：https://www.jianshu.com/p/9438fd0 ......
【差分约束】P7624 [AHOI2021初中组] 地铁 题解
P7624 令 \(d_i\) 表示 \(1\) 号车站到 \(i\) 号车站的距离，\(len\) 表示环形地铁的总长度。 考虑题中给的条件： \(type_i = 0\) 时，若 \(u_i < v_i\)，即可表示为 \(d_{v_i} - d_{u_i} \ge L_i \iff d_{u_ ......
LLM实践-在Colab上使用免费T4 GPU进行Chinese-Llama-2-7b-4bit推理
一、配置环境 1、打开colab，创建一个空白notebook，在[修改运行时环境]中选择15GB显存的T4 GPU. 2、pip安装依赖python包 !pip install --upgrade accelerate !pip install bitsandbytes transformers_ ......
Llama2-Chinese项目：8-TRL资料整理
TRL（Transformer Reinforcement Learning）是一个使用强化学习来训练Transformer语言模型和Stable Diffusion模型的Python类库工具集，听上去很抽象，但如果说主要是做SFT（Supervised Fine-tuning）、RM（Reward ......
Llama2-Chinese项目：7-外延能力LangChain集成
本文介绍了Llama2模型集成LangChain框架的具体实现，这样可更方便地基于Llama2开发文档检索、问答机器人和智能体应用等。 1.调用Llama2类 针对LangChain[1]框架封装的Llama2 LLM类见examples/llama2_for_langchain.py，调用代码如下 ......
Llama2-Chinese项目：4-量化模型
一.量化模型调用方式 下面是一个调用FlagAlpha/Llama2-Chinese-13b-Chat[1]的4bit压缩版本FlagAlpha/Llama2-Chinese-13b-Chat-4bit[2]的例子： from transformers import AutoTokenizerfro ......
Llama2-Chinese项目：5-推理加速
随着大模型参数规模的不断增长，在有限的算力资源下，提升模型的推理速度逐渐变为一个重要的研究方向。常用的推理加速框架包含lmdeploy、FasterTransformer和vLLM等。 一.lmdeploy推理部署 lmdeploy由上海人工智能实验室开发，推理使用C++/CUDA，对外提供pyth ......
Llama2-Chinese项目：6-模型评测
测试问题筛选自AtomBulb[1]，共95个测试问题，包含：通用知识、语言理解、创作能力、逻辑推理、代码编程、工作技能、使用工具、人格特征八个大的类别。 1.测试中的Prompt 例如对于问题"列出5种可以改善睡眠质量的方法"，如下所示： [INST] <<SYS>>You are a helpf ......
Llama2-Chinese项目：3.2-LoRA微调和模型量化
提供LoRA微调和全量参数微调代码，训练数据为data/train_sft.csv，验证数据为data/dev_sft.csv，数据格式为"<s>Human: "+问题+"\n</s><s>Assistant: "+答案。本文主要介绍Llama-2-7b模型LoRA微调以及4bit量化的实践过程。 ......
Llama2-Chinese项目：2.3-预训练使用QA还是Text数据集？
Llama2-Chinese项目给出pretrain的data为QA数据格式，可能会有疑问pretrain不应该是Text数据格式吗？而在Chinese-LLaMA-Alpaca-2和open-llama2预训练使用的LoRA技术，给出pretrain的data为Text数据格式。所以推测应该pre ......
Llama2-Chinese项目：3.1-全量参数微调
提供LoRA微调和全量参数微调代码，训练数据为data/train_sft.csv，验证数据为data/dev_sft.csv，数据格式如下所示： "<s>Human: "+问题+"\n</s><s>Assistant: "+答案 举个例子，如下所示： <s>Human: 用一句话描述地球为什么是独 ......
Llama2-Chinese项目：1-项目介绍和模型推理
Atom-7B与Llama2间的关系：Atom-7B是基于Llama2进行中文预训练的开源大模型。为什么叫原子呢？因为原子生万物，Llama中文社区希望原子大模型未来可以成为构建AI世界的基础单位。目前社区发布了6个模型，如下所示： FlagAlpha/Atom-7B FlagAlpha/Llama ......
Llama2-Chinese项目：2.1-Atom-7B预训练
虽然Llama2的预训练数据相对于第一代LLaMA扩大了一倍，但是中文预训练数据的比例依然非常少，仅占0.13%，这也导致了原始Llama2的中文能力较弱。为了能够提升模型的中文能力，可以采用微调和预训练两种路径，其中： 微调需要的算力资源少，能够快速实现一个中文Llama的雏形。但缺点也显而易见， ......
Llama2-Chinese项目：2.2-大语言模型词表扩充
因为原生LLaMA对中文的支持很弱，一个中文汉子往往被切分成多个token，因此需要对其进行中文词表扩展。思路通常是在中文语料库上训练一个中文tokenizer模型，然后将中文tokenizer与LLaMA原生tokenizer进行合并，最终得到一个扩展后的tokenizer模型。国内Chinese ......
Llama2-Chinese项目：3.1-全量参数微调
提供LoRA微调和全量参数微调代码，训练数据为data/train_sft.csv，验证数据为data/dev_sft.csv，数据格式如下所示： "<s>Human: "+问题+"\n</s><s>Assistant: "+答案 举个例子，如下所示： <s>Human: 用一句话描述地球为什么是独 ......
初中生都能看懂的 LCT 学习笔记
初中生都能看懂的 LCT 学习笔记 这篇文章偏向入门，旨在尽可能解决一类问题——动态树，主要讲述并且整理 LCT 算法及其一些变式。 目前其变式例题作者还在整理之中，编者保证会把变式例题持续更新。 0.前置知识 splay。 我可以猜测一下，你们可能看到 splay，然后就可能去学了 splay 树 ......
Knowledge Distillation from A Stronger Teacher
目录概DIST代码 Huang T., You S., Wang F., Qian C. and Xu C. Knowledge distillation from a stronger teacher. NIPS, 2022. 概 用 Pearson correlation coefficient ......
Llama2-Chinese项目：2.3-预训练使用QA还是Text数据集？
Llama2-Chinese项目给出pretrain的data为QA数据格式，可能会有疑问pretrain不应该是Text数据格式吗？而在Chinese-LLaMA-Alpaca-2和open-llama2预训练使用的LoRA技术，给出pretrain的data为Text数据格式。所以推测应该pre ......
Teacher Forcing
Teacher forcing 是一种在序列任务重的技术。它最初提出的动机是使得RNN的训练得以并行，加快模型训练。 简单来说Teacher forcing就是将数据集中的标签作为模型输入。 首先，以RNN为例，介绍Teacher forcing的技术细节。下图为RNN展开的计算图。 如图所示，Te ......
初中数学 - 无理数，以及各种数之间的关系
无理数 无限不循环小数，比如：π，它的小数部分无限长，但是并不循环。 但是：1/3是有理数，他的小数部分无限长，但是是循环的。 数之间的关系 参考 有理数无理数实数的区别 (baidu.com) ......