实战seq seq2seq pytorch
Pytorch distributed overview
torch.distributed 包 v1.6.0后包括三个主要的部分： 1.Distributed Data-Parallel Training(DDP):单程序多数据训练范式。模型被复制到每个进程中，每个模型副本被提供一组不同的输入数据，并将其梯度计算累加以加快训练速度。（collective ......
MySQL运维实战（1.3）安装部署：源码编译安装
作者：俊达 引言 在大多数情况下，我们不需要自己编译MySQL源码，因为编译的MySQL和二进制包的内容基本一致。然而，有些特殊情况可能需要我们采用源码编译的方式安装MySQL： 安装非标准版本的MySQL：有些特殊的应用场景会使用到MySQL的非标准版本，这时候我们就需要编译源码来安装。 安装社区 ......
分布式日志追踪ID实战 | 京东物流技术团队
本文通过介绍分布式应用下各个场景的全局日志ID透传思路，以及介绍分布式日志追踪ID简单实现原理和实战效果，从而达到通过提高日志查询排查问题的效率。 背景 开发排查系统问题用得最多的手段就是查看系统日志，相信不少人都值过班当过小秘吧：给下接口和出入参吧，麻烦看看日志里的有没有异常信息啊等等，但是在并发 ......
MySQL运维实战（1.2）安装部署：使用二进制安装部署
作者：俊达 引言 上一篇我们使用了RPM进行安装部署，这是一种安装快速、简化部署和管理过程、与操作系统提供的包管理工具紧密集成的部署方法。此外，当你需要更高的灵活性和自定义性，并且愿意承担一些额外的手动配置和管理工作，那么二进制安装是一个值得考虑选择。 以下是二进制安装的一些优势： 处理单机多实例： ......
深度解析 PyTorch Autograd：从原理到实践
本文深入探讨了 PyTorch 中 Autograd 的核心原理和功能。从基本概念、Tensor 与 Autograd 的交互，到计算图的构建和管理，再到反向传播和梯度计算的细节，最后涵盖了 Autograd 的高级特性。 关注TechLead，分享AI全维度知识。作者拥有10+年互联网服务架构、A ......
MySQL运维实战（1.1）安装部署：使用RPM进行安装部署
作者：俊达 我们在生产环境部署mysql时，一般很少使用RedHat Package Manager(RedHat软件包管理工具)。用rpm或或者其他包管理器安装mysql有其好处，例如安装简单，并且许多系统可能已经自带了某个版本的MySQL。 当然，使用RPM安装也存在一些缺点： 1、rpm依赖包 ......
大模型实战营第一课心得笔记
1、了解专用模型和通用大模型，以及书生浦语大模型开源历程、轻量级、中量级以及重量级三种不同大模型系列，和其他大模型的性能对比。 2、了解从模型到应用的主要步骤以及书生大模型各步骤采取的主要技术，如训练数据，预训练、微调、开源评测体系等。 3、现有的疑问：书生中量级的使用商业成本以及具体功能性能表现， ......
使用pytorch构建图卷积网络预测化学分子性质
在本文中，我们将通过化学的视角探索图卷积网络，我们将尝试将网络的特征与自然科学中的传统模型进行比较，并思考为什么它的工作效果要比传统的方法好。 https://avoid.overfit.cn/post/7cfa0930651b4b4cac912952d8c53d54 ......
ASR项目实战-交付过程中遇到的内核崩溃问题
当前参与交付的语音识别产品服务，算法模块基于经典的Kaldi，算法中的一部分运行在GPU之上。 算法团队采用的是声学模型+语言模型的1-pass方案。这个方案的特点在于，语言模型数据文件（HCLG文件）的大小，和训练语料的丰富程度正相关，即语言文本的语料越多，经过训练、转换后得到的语言模型文件越大。 ......
基于Pytorch的网络设计语法4
import torch.nn as nn import torch.functional as F import torch.optim as optim from collections import OrderedDict class Net4(nn.Module):# 从nn.Module ......
基于Pytorch的网络设计语法3
import torch.nn as nn import torch.functional as F import torch.optim as optim from collections import OrderedDict class Net3(nn.Module):# 从nn.Module ......
企业级微服务项目实战《学成在线》学习日志（一）
项目架构 先来看看项目架构图： 我们主要搞的就是微服务层和数据层。 而这个项目比较大，框架就分成了三个端： 环境搭建 在开发这个项目前，你需要了解java,ssm,.springboot,springcloud,springcloudAlibaba,nacos,mysql,虚拟机,docker,SS ......
基于Pytorch的网络设计语法2
import torch.nn as nn import torch.functional as F import torch.optim as optim from collections import OrderedDict class Net2(nn.Module):# 从nn.Module ......
基于Pytorch的网络设计语法1
第一种语法： 层层堆叠 import torch.nn as nn import torch.functional as F import torch.optim as optim from collections import OrderedDict class Net1(nn.Module):# ......
商智C店H5性能优化实战
前言 商智C店，是依托移动低码能力搭建的一个应用，产品面向B端商家。随着应用体量持续增大，考虑产品定位及用户体验，我们针对性能较差页面做了一次优化，并取得了不错的效果，用户体验值（UEI）从一般提升到良好。本文详细记录了优化思路及过程，期望给正在或打算做用户体验提升的小伙伴提供一些参考。 一、性能优 ......
【pytorch深度学习报错】AttributeError: module 'torch' has no attribute '_six'
1.AttributeError: module 'torch' has no attribute '_six'报错： 答：指的是安装的pytorch版本里面没有_six.py文件，因为在pytorch2.0版本以后不在具有此文件。 2.两个解决方法 答：①将2.0版本以前的_six.py文件复制到 ......
ASR项目实战-交付过程中遇到的疑似内存泄漏问题
基于Kaldi实现语音识别时，需要引入一款名为OpenFST的开源软件，本文中提到的内存问题，即和这款软件相关。 考虑到过程比较曲折，内容相对比较长，因此先说结论。 在做长时间的语音识别时，集成了Kaldi和OpenFST的进程将会占用远超出预期的内存，这个现象可能和OpenFST、glibc的实现 ......
Redis 性能优化实战
Redis 作为内存数据库，其性能表现非常出色，单机 OPS 很容易达到 10万以上，这主要得益于其高效的内存数据结构、单线程无锁设计、IO 多路复用等技术实现。但是在线上生产环境的使用中，我们仍然会发现在使用 Redis 的时候其性能和预期是不符的，例如出现了明显的延迟等，如果我们能从 Redis ......
Python性能测试框架Locust实战教程
01、认识Locust Locust是一个比较容易上手的分布式用户负载测试工具。它旨在对网站（或其他系统）进行负载测试，并确定系统可以处理多少个并发用户，Locust 在英文中是 蝗虫 的意思：作者的想法是在测试期间，放一大群 蝗虫 攻击您的网站。当然事先是可以用 Locust 定义每个蝗虫（或测试 ......
实战博彩站点-从弱口令到提权
0x00 前言我们的小团队对偶然发现的bc站点进行的渗透,从一开始只有sqlmap反弹的无回显os-shell到CS上线,到配合MSF上传脏土豆提权,到拿下SYSTEM权限的过程,分享记录一下渗透过程0x01 登录框sql注入看到登录框没什么好说的,先试试sqlmap一把梭burp抓包登录请求,保存 ......
记一次被骗花呗背后骗局的渗透实战
0X00 事情起因 大街上偶遇预存话费3999送平板被套路，支付宝被一顿操作又套现又转账的把我花呗都套走了。回到家越发越觉得不对劲，越发越后悔，网上一搜关于这类的活动一抓一大把而且一模一样越看是越生气啊。 最主要的呢，送的平板也是八百多的根本不值预存话费的这个价，且居然有卡死的现象，于是乎我决定深挖 ......
记一次BC推广渗透实战
0x00 信息搜集朋友给了我一个站，算一个比较大的bc，主站看了一下，没有入口，就换了他的一个推广平台然后首先大致扫了一下目录，希望可以看见一些有用的东西。这个时候我可以推荐大家一个接口，可以快速大致看看他重要的文件https://scan.top15.cn/web/infoleak例如探针，网站源 ......
记一次帮助粉丝渗透某盘反诈骗的实战
0X00 事情由来了解完事情的经过，经过我的经验判断，这应该是个杀猪诈骗案例诈骗份子通过一些手段让受害人相信，通过他们可以赚钱并诱导充值杀猪盘赌博0X01 渗透过程-大概二十分钟左右就拿下了渗透过程简单枯燥：看了一眼IP和端口，判断了下应该不存在云waf，直接开始扫目录过了几分钟扫到一个http:/ ......
【积微成著】性能测试调优实战与探索（存储模型优化+调用链路分析）| 京东物流技术团队
一、前言 性能测试之于软件系统，是保障其业务承载能力及稳定性的关键措施。以软件系统的能力建设为主线，系统能力设计工作与性能测试工作，既有先后之顺序，亦有相互之影响。以上，在性能测试的场景决策，架构分析、流量分析、压测实施和剖解调优等主要环节中，引发对于系统能力底盘夯实和测试策略改进的诸多思考。 在性 ......
DeepSpeed 学习 [2]: 从 0 开始 DeepSpeed 实战
从 0 开始 DeepSpeed 实战，Get Start 目录从 0 开始 DeepSpeed 实战，Get StartDDP 初探Minimum DDP ExampleMULTI GPU TRAINING WITH DDP (Single to Multi)Install初始化TrainingM ......
PyTorch 神经网络基础
模型构造 在代码里 任何一个层或者神经网络都应该是Module的子类 通过继承nn.Module 可以更灵活的去自定义我们的操作 参数管理 自定义层 带参数的层需要给出输入的维度和输出的维度 读写文件 ......
2023CANN训练营第2季————Ascend C算子Tiling切分原理与实战
使用Ascend C进行昇腾AI芯片算子开发，开发者仅需要把关注点放在数据切分和计算逻辑实现上。固定shape算子切分相对简单，动态shape的算子需要如何去实现呢？本篇笔记从复习切分的基本概念出发，讲述了一种动态shape的切分方法，并编程进行了验证。 ......
vue 2实战系列 —— 复习Vue
复习Vue 近期需要接手 vue 2的项目，许久未写，语法有些陌生。本篇将较全面复习 vue 2。 Tip: 项目是基于 ant-design-vue-pro ant-design-vue-pro 由于 cms 是基于这个项目开发的，所以笔者就将其下载下来。 下载后运行 // 按照依赖 yarn i ......
ASR项目实战-任务队列在文件转写特性中的应用
转写时长超出60秒的语音文件，业界的竞品通常会使用创建异步转写任务的方式来提供支持。 一个简单、直接的实现方案，即： 网关服务接收到来自客户的转写请求时，将任务信息持久化至任务队列中。 由算法服务的实例从任务队列中提取任务，并执行转写操作。 待执行完毕之后，将转写结果保存至DB中，供调用方查询。 本 ......
【xss实战】BurpSuite-XssValidator插件 -xss自动化测试
所需软件： 1、burpsuite 2、xssvalidator 源码：https://github.com/nVisium/xssValidator（按照编译指导编译） burpsuite_BApp：https://portswigger.net/bappstore/bapps/download/ ......