robustness similarity improving attention
利用不可识别的人脸来增强人脸识别性能Harnessing Unrecognizable Faces for Improving Face Recognition
灰色标记：可以日后引用的观点 红色标记：好的写法、语句、单词 紫色标记：文章重点 黄色标记：寻常突出 文章评论：： 创新点：： 主要内容：： gallery中的样本通常是人为采集并精心挑选的，它们具有较好的可识别性；然而，query通常来自于真实场景，它们受多种因素干扰如像素等等。 针对“检测器能检 ......
详细了解Transformer：Attention Is All You Need
--> 原文链接：Attention Is All You Need 1. 背景 在机器翻译任务下，RNN、LSTM、GRU等序列模型在NLP中取得了巨大的成功，但是这些模型的训练是通常沿着输入和输出序列的符号位置进行计算的顺序计算，无法并行。 文中提出了名为Transformer的模型架构，完全依 ......
Attention
注意力实现: import math import torch from torch import nn import matplotlib.pyplot as plt from d2l import torch as d2l def sequence_mask(X, valid_len, valu ......
【NIPS2021】Focal Self-attention for Local-Global Interactions in Vision Transformers
来自微软（*^____^*） 论文地址：[2107.00641] Focal Self-attention for Local-Global Interactions in Vision Transformers (arxiv.org) 代码地址：microsoft/Focal-Transforme ......
Attention Mixtures for Time-Aware Sequential Recommendation
目录概符号说明MOJITO代码 Tran V., Salha-Galvan G., Sguerra B. and Hennequin R. Attention mixtures for time-aware sequential recommendation. SIGIR, 2023. 概 本文希望 ......
[论文速览] SDXL@ Improving Latent Diffusion Models for High-Resolution Image Synthesis
Pre title: SDXL: Improving Latent Diffusion Models for High-Resolution Image Synthesis accepted: arXiv 2023 paper: https://arxiv.org/abs/2307.01952 co ......
【CVPR2022】Shunted Self-Attention via Multi-Scale Token Aggregation
来自CVPR2022 基于多尺度令牌聚合的分流自注意力 论文地址：[2111.15193] Shunted Self-Attention via Multi-Scale Token Aggregation (arxiv.org) 项目地址：https://github.com/OliverRensu ......
Paper reading: Improving Deep Forest by Exploiting High-order Interactions
为了对深度森林设计出信息量更大、计算成本更低的特征表示，本文提出了一种新的深度森林模型——高阶交互深度森林(hiDF)，利用输入特征的稳定高阶交互来生成信息丰富且多样化的特征表示。具体而言，本文设计了一个广义版本的随机交叉树(gRIT)来发现稳定的高阶相互作用，并应用激活线性组合(ALC)将这些相互... ......
【学习笔记】Self-attention
最近想学点NLP的东西，开始看BERT，看了发现transformer知识丢光了，又来看self-attention；看完self-attention发现还得再去学学word embedding... 推荐学习顺序是：word embedding、self-attention / transform ......
论文解读（LR2E）《Learning to Reweight Examples for Robust Deep Learning》
Note：[ wechat：Y466551 | 可加勿骚扰，付费咨询 ] 论文信息 论文标题：Learning to Reweight Examples for Robust Deep Learning论文作者：Mengye Ren、Wenyuan Zeng、Bin Yang、Raquel Urta ......
【论文阅读】CAT: Cross Attention in Vision Transformer
论文地址：[2106.05786] CAT: Cross Attention in Vision Transformer (arxiv.org) 项目地址：https://github.com/linhezheng19/CAT 一、Abstract 由于Transformer在NLP中得到了广泛的应 ......
1360C - Similar Pairs
## C. Similar Pairs https://codeforces.com/problemset/problem/1360/C ```python """ 思路: 1.因为n为偶数, 所以偶数如果有偶数个的话, 那么奇数也有偶数个, 正好可以两两配对 2.如果偶数为奇数个, 那么奇数也是有 ......
【ICML2022】Understanding The Robustness in Vision Transformers
来自NUS&NVIDIA 文章地址：[2204.12451] Understanding The Robustness in Vision Transformers (arxiv.org) 项目地址：https://github.com/NVlabs/FAN 一、Motivation CNN使用滑动 ......
A Contextualized Temporal Attention Mechanism for Sequential Recommendation
[TOC] > [Wu J., Cai R. and Wang H. D\'ej\`a vu: A contextualized temporal attention mechanism for sequential recommendation. WWW, 2020.](http://arxiv. ......
Proj CDeepFuzz Paper Reading: Invariance-inducing regularization using worst-case transformations suffices to boost accuracy and spatial robustness
## Abstract 本文： Task: 1. prove invariance-inducing regularizers can increase predictive accuracy for worst-case spatial transformations 2. prove that ......
Self-Attention
# Self-Attention - 参考:https://zhuanlan.zhihu.com/p/619154409 在Attention is all you need这篇论文中，可以看到这样一个公式： $Attention(Q,K,V)=softmax(\frac{QK^{T}}{\sqrt ......
Attention
``` #include #include #include #include #include #include #include #include #include #include #include #include #include #include #include #include #i ......
How to use Javascript JSON.stringify similar method in Python All In One
How to use Javascript JSON.stringify similar method in Python All In One
如何在 Python 中使用类似 JavaScript JSON.stringify 的方法
......
SIAMHAN:IPv6 Address Correlation Attacks on TLS E ncrypted Trafic via Siamese Heterogeneous Graph Attention Network解读
1. Address 论文来自于USENIX Security Symposium 2021 2. Paper summary 与ipv4地址采用nat掩盖不同，ipv6地址更加容易关联到用户活动上，从而泄露隐私。但现在已经有解决隐私担忧的方法被部署，导致现有的方法不再可靠。这篇文章发现尽管在有防护 ......
A Novel Noise Injection-based Training Scheme for Better Model Robustness
郑重声明：原文参见标题，如有侵权，请联系作者，将会撤销发布！ https://arxiv.org/abs/2302.10802 ......
论文翻译：SSI-Net: A MULTI-STAGE SPEECH SIGNAL IMPROVEMENT SYSTEM FOR ICASSP 2023
摘要 ICASSP 2023语音信号改善(SSI)挑战赛的重点是提高实时通信(RTC)系统的语音信号质量。本文介绍了提交ICASSP 2023 SSI挑战赛的语音信号改进网络(SSI-Net)，该网络满足实时条件。提出的SSI-Net具有多阶段体系结构。在语音恢复的第一阶段，我们提出了时域恢复生成对 ......
Attention机制竟有bug？Softmax是罪魁祸首，影响所有Transformer
前言 「大模型开发者，你们错了。」 本文转载自机器之心 仅用于学术分享，若侵权请联系删除 欢迎关注公众号CV技术指南，专注于计算机视觉的技术总结、最新技术跟踪、经典论文解读、CV招聘信息。 CV各大方向专栏与各个部署框架最全教程整理 【CV技术指南】CV全栈指导班、基础入门班、论文指导班 全面上线! ......
Improved deep reinforcement learning for robotics through distribution-based experience retention
 **发表时间：**2016（IROS 2016） **文章要点：**这篇文章提出了experience repl ......
机器翻译 | Improving Neural Machine Translation Robustness via Data Augmentation: Beyond Back Translation论文总结
论文地址：https://arxiv.org/abs/1910.03009 ### 动机 神经机器翻译(NMT)模型在翻译**干净文本**时已被证明是强大的，但它们**对输入中的噪声非常敏感**。改进NMT模型的鲁棒性可以看作是对噪声的“域”适应的一种形式。 最先进的方法严重依赖于大量的反向翻译数据 ......
论文阅读笔记：Quasi-Newton solver for robust non-rigid registration
论文题目：[Quasi-Newton solver for robust non-rigid registration](https://openaccess.thecvf.com/content_CVPR_2020/html/Yao_Quasi-Newton_Solver_for_Robust_N ......
wsqmcons代表Windows Customer Experience Improvement Program (CEIP) Console，它是用于管理和配置CEIP的命令行工具。CEIP是一项可选的功能，旨在通过收集匿名化的用户数据，帮助改进Windows操作系统的性能和可靠性
wsqmcons是Windows操作系统中的一个命令行工具，它用于收集和上传用户体验改进数据。 具体来说，wsqmcons代表Windows Customer Experience Improvement Program (CEIP) Console，它是用于管理和配置CEIP的命令行工具。CEIP ......
斯坦福博士一己之力让Attention提速9倍！FlashAttention燃爆显存，Transformer上下文长度史诗级提升
前言 FlashAttention新升级！斯坦福博士一人重写算法，第二代实现了最高9倍速提升。 本文转载自新智元 仅用于学术分享，若侵权请联系删除 欢迎关注公众号CV技术指南，专注于计算机视觉的技术总结、最新技术跟踪、经典论文解读、CV招聘信息。 CV各大方向专栏与各个部署框架最全教程整理 【CV技 ......
self-attention
Self attention考虑了整个sequence的资讯【transfermer中重要的架构是self-attention】 解决sequence2sequence的问题，考虑前后文 I saw a saw 第一个saw对应输出动词 第二个输出名词 如何计算相关性【attention score ......
机器翻译 | Improving Neural Machine Translation Robustness via Data Augmentation: Beyond Back Translation论文翻译
## 摘要 **神经机器翻译(NMT)模型在翻译干净文本时已被证明是强大的，但它们对输入中的噪声非常敏感**。改进NMT模型的鲁棒性可以看作是对噪声的“域”适应的一种形式。**最近创建的基于噪声文本的机器翻译任务语料库为一些语言对提供了噪声清洁的并行数据，但这些数据在大小和多样性方面非常有限**。最 ......