总和 回文 训练营 随想
（lora训练补充数据）父目录镜像
import os from PIL import Image def flip_and_duplicate_image(image_path, output_path): """ Flip an image horizontally and save a copy with a suffix. " ......
2023秋季综合训练(三)
问题 G: 夜刀与黑角 如果两个人全部访问则 ans = 4*（n-1） 考虑删除没有遍历的节点 对于角色A: 1.对于以u为根的节点，如果存在A需要访问的节点，则u必须要访问 2.对于以u为根的节点，如果存在B需要访问的节点x,dep[x]-dep[u]>=D,则u须要访问 3.其他情况，可以不用 ......
代码随想录算法训练营第十天 | ●28. 实现 strStr() ●459.重复的子字符串 ●字符串总结 ●双指针回顾
今日学习的文章链接和视频链接 https://programmercarl.com/字符串总结.html#什么是字符串 https://programmercarl.com/双指针总结.html#数组篇 ●28. 实现 strStr() var strStr = function (haystack ......
代码随想录算法训练营第八天 | ● 344.反转字符串 ● 541. 反转字符串II ● 卡码网：54.替换数字 ● 151.翻转字符串里的单词 ● 卡码网：55.右旋转字符串
今日学习内容 ● 344.反转字符串 var reverseString = function(s) { // return s.reverse(); for(let i = 0 , j = s.length-1;i < Math.floor(s.length/2) ; i++,j--){ [s[i ......
深度学习笔记1：在小型数据集上从头开始训练一个卷积神经网络
本文将介绍如何在一个小型的数据集上使用卷积神经网实现图片的分类。在这个例子中，我们将使用一个经典的数据集，包含24000张猫狗图片（12000张猫的图片和12000张狗的图片），提取2000张用于训练和验证，1000张用于测试。我们将首先在2000个训练样本上训练一个简单的小型卷积神经网络模型，然后... ......
自然语言处理预训练——预训练BERT
原始的BERT有两个版本，其中基本模型有1.1亿个参数，大模型有3.4亿个参数。 在预训练BERT之后，我们可以用它来表示单个文本、文本对或其中的任何词元。 在实验中，同一个词元在不同的上下文中具有不同的BERT表示。这支持BERT表示是上下文敏感的。 ......
自然语言处理预训练——用于预训练BERT的数据集
为了预训练 14.8节中实现的BERT模型，我们需要以理想的格式生成数据集，以便于两个预训练任务：遮蔽语言模型和下一句预测。一方面，最初的BERT模型是在两个庞大的图书语料库和英语维基百科（参见 14.8.5节）的合集上预训练的，但它很难吸引这本书的大多数读者。另一方面，现成的预训练BERT模型可能 ......
自然语言处理预训练—— 来自Transformers的双向编码器表示（BERT）
我们已经介绍了几种用于自然语言理解的词嵌入模型。在预训练之后，输出可以被认为是一个矩阵，其中每一行都是一个表示预定义词表中词的向量。事实上，这些词嵌入模型都是与上下文无关的。让我们先来说明这个性质。 从上下文无关到上下文敏感 ELMo（Embeddings from Language Models） ......
代码随想录算法训练营第七天 | ● 454.四数相加II ● 383. 赎金信 ● 15. 三数之和 ● 18. 四数之和
今日学习的文章链接和视频链接 https://programmercarl.com/链表理论基础.html ● 454.四数相加II var fourSumCount = function(nums1, nums2, nums3, nums4) { let count = 0 let map = n ......
自然语言处理预训练——词的相似性和类比任务
在 14.4节中，我们在一个小的数据集上训练了一个word2vec模型，并使用它为一个输入词寻找语义相似的词。实际上，在大型语料库上预先训练的词向量可以应用于下游的自然语言处理任务，这将在后面的 15节中讨论。为了直观地演示大型语料库中预训练词向量的语义，让我们将预训练词向量应用到词的相似性和类比任 ......
自然语言处理预训练——子词嵌入
在英语中，“helps”“helped”和“helping”等单词都是同一个词“help”的变形形式。“dog”和“dogs”之间的关系与“cat”和“cats”之间的关系相同，“boy”和“boyfriend”之间的关系与“girl”和“girlfriend”之间的关系相同。在法语和西班牙语等其他 ......
代码随想录算法训练营第六天 |● 哈希表理论基础 ● 242.有效的字母异位词 ● 349. 两个数组的交集 ● 202. 快乐数 ● 1. 两数之和
今日学习的文章链接和视频链接 https://programmercarl.com/哈希表理论基础.html 242.有效的字母异位词 var isAnagram = function(s, t) { if(s.length !== t.length) return false let map = ......
代码随想训练营第三十七天（Python）｜ 738.单调递增的数字、968.监控二叉树
738.单调递增的数字 class Solution: def monotoneIncreasingDigits(self, n: int) -> int: # 主要思路当前数字比前面数字小时。前面数字 -1，当前数字变2为 9 str_n = str(n) for i in range(len(s ......
代码训练营第三十八天（Python）｜ 509. 斐波那契数、70. 爬楼梯、746. 使用最小花费爬楼梯
509. 斐波那契数 1、动态规划 class Solution: def fib(self, n: int) -> int: if n <= 1: return n # dp[i] 代表第 i 个数的斐波那契值 dp = [0] * (n+1) dp[0] = 0 dp[1] = 1 for i ......
自然语言处理预训练——全局向量的词嵌入
带全局语料统计的跳元模型 GloVe模型 从条件概率比值理解GloVe模型 总结 诸如词-词共现计数的全局语料库统计可以来解释跳元模型。 交叉熵损失可能不是衡量两种概率分布差异的好选择，特别是对于大型语料库。GloVe使用平方损失来拟合预先计算的全局语料库统计数据。 对于GloVe中的任意词，中心词 ......
自然语言处理预训练——用于预训练词嵌入的数据集
读取数据集 下采样 提取中心词和上下文词 下面的get_centers_and_contexts函数从corpus中提取所有中心词及其上下文词。它随机采样1到max_window_size之间的整数作为上下文窗口。对于任一中心词，与其距离不超过采样上下文窗口大小的词为其上下文词。 #@save de ......
自然语言处理预训练——近似训练
近似训练是一种用于加速训练过程的技术。 负采样 负采样是在训练过程中对目标函数进行简化的一种方法。在传统的训练中，需要计算整个词汇表的概率分布，这在大规模任务中会非常耗时。负采样的思想是通过随机采样一小部分负例来近似计算全局的目标函数。具体来说，对于每个正例（例如一个正确的词对应的上下文），从词汇表 ......
自然语言处理预训练——词嵌入(word2vec)
自然语言是用来表达人脑思维的复杂系统。 在这个系统中，词是意义的基本单元。顾名思义， 词向量是用于表示单词意义的向量， 并且还可以被认为是单词的特征向量或表示。 将单词映射到实向量的技术称为词嵌入。 近年来，词嵌入逐渐成为自然语言处理的基础知识。 为何独热向量是一个糟糕的选择？ 自监督的word2v ......
使用FP8加速PyTorch训练
现代的人工智能硬件架构(例如，Nvidia Hopper, Nvidia Ada Lovelace和Habana Gaudi2)中，FP8张量内核能够显著提高每秒浮点运算(FLOPS)，以及为人工智能训练和推理工作负载提供内存优化和节能的机会。 在这篇文章中，我们将介绍如何修改PyTorch训练脚本 ......
ChatGPT的训练费用以及成功原因
参考： https://baijiahao.baidu.com/s?id=1772914234034992726&wfr=spider&for=pc 关于ChatGPT的成功原因，引用中的回答： 益于ChatGPT商业和营销方面的成功，能够瞬间让人们目睹了大模型的可落地性，而不是继续隐匿在漫长的技术 ......
pytorch训练过程中显存爆掉
之前学c/c++，for循环中的变量只在for循环内部有效，for循环结束，则变量也被销毁。 for(int i = 0; i < 10; ++i){ int x = i + 1; } cout << x << "\n"; //error: ‘x’ was not declared in this ......
最长回文子串
题目： 给你一个字符串 s，找到 s 中最长的回文子串。 如果字符串的反序与原始字符串相同，则该字符串称为回文字符串。 示例 1： 输入：s = "babad" 输出："bab" 解释："aba" 同样是符合题意的答案。 示例 2： 输入：s = "cbbd" 输出："bb" 提示： 1 <= s. ......
（链表）13-判断一个链表是否为回文结构
1 import java.util.*; 2 3 /* 4 * public class ListNode { 5 * int val; 6 * ListNode next = null; 7 * } 8 */ 9 public class Solution { 10 /** 11 * 12 * ......
[整理]赛前训练
第一场 A 是简单题，注意到矩形形成的是一个单调的阶梯，我们只需要排序然后枚举计算即可。需要注意处理一下完全包含的情况，用二维数点即可。（找单调性） B 见到树上路径，想到拆分成点到根的异或和。注意到每个点的异或和确定了，边权就都确定了（钦定 1 的异或和是 0），这样就和树的结构无关了，直接变成了 ......
代码随想训练营第三十六天（Python）｜ 435. 无重叠区间、763.划分字母区间、56. 合并区间
435. 无重叠区间 class Solution: def eraseOverlapIntervals(self, intervals: List[List[int]]) -> int: intervals.sort(key=lambda x: x[0]) count = 0 for i in r ......
损失函数---训练集降低，验证集升高
损失函数在训练集下降而在验证集上升，通常被称为过拟合（overfitting）的现象。 这意味着模型在训练数据上表现得很好，但在新的、未见过的数据上表现较差。过拟合可能是由于模型过于复杂，以至于学到了训练数据中的噪声或细微特征，而这些特征在验证数据中并不普遍存在。 我通过降低学习率，统一的方向 ......
青少年CTF训练平台 — CRYPTO通关WP
🚩A2-Crypto Caesar vxshyk{g9g9g099-hg33-4f60-90gk-ikff1f36953j} 凯撒解码 qsnctf{b9b9b099-cb33-4a60-90bf-dfaa1a36953e} 一组BASE cXNuY3RmezY4NjkwOGJjLTFiZjItN ......
个人编程助手: 训练你自己的编码助手
在编程和软件开发这个不断演变的领域中，对效率和生产力的追求催生了许多卓越的创新。其中一个显著的创新就是代码生成模型的出现，如 Codex、StarCoder 和 Code Llama。这些模型在生成类似人类编写的代码片段方面表现出惊人能力，显示出了作为编程助手的巨大潜力。 然而，虽然这些预训练模型在 ......
基于时间频率一致性对时间序列进行自监督对比预训练《Self-Supervised Contrastive Pre-Training for Time Series via Time-Frequency Consistency》(时序、时频一致性、对比学习)
2023年11月10日，今天看一篇论文，现在17:34，说实话，想摆烂休息，不想看，可还是要看，拴Q。 论文：Self-Supervised Contrastive Pre-Training for Time Series via Time-Frequency Consistency 或者是：Sel ......
初学者如何上手服务器训练模型
拿到一个服务器很迷茫，不知道如何使用，写一份本实验室的服务器使用方法： 1下载Xshell和Xftp 现在提供了家庭/学习免费版 2安装后新建会话 3 bash命令 切换到bash界面 bash，全称Bourne Again Shell，是绝大多数Linux系统默认的命令解释器，能够处理用户所输入的 ......