小记flink
Flink on Yarn安装部署
引言 Apache Flink 是一款用于大规模数据处理和分析的分布式流处理框架，它提供了高性能、容错性和灵活性，广泛应用于实时数据处理和批处理场景。Flink 的核心特性包括事件驱动、状态管理、窗口操作等，使其成为处理实时和离线数据的理想选择。 本文档将引导您在 YARN（Yet Another ......
HBase Shell操作&Flink写入HBase
一、HBase Shell操作 1、基本操作 1）进入HBase客户端命令行 [root@bigdata1 hbase]$ bin/hbase shell 2）查看帮助命令 hbase(main):001:0> help 3）查看当前数据库中有哪些表 hbase(main):002:0> list ......
聊聊Flink必知必会(七)
What is State 虽然数据流中的许多操作一次只查看一个单独的事件（例如事件解析器），但某些操作会记住多个事件的信息（例如窗口算子）。 这些操作称为有状态的(stateful)。 有状态操作的一些示例： 当应用程序搜索某些事件模式(event patterns)时，状态(state)将存储迄 ......
聊聊Flink必知必会(六)
Flink是一个分布式系统，需要有效地分配和管理计算资源才能执行流应用程序。它集成了所有常见的集群资源管理器，如Hadoop YARN和Kubernetes，但也可以设置为作为一个独立的集群运行，甚至作为一个库。 Flink集群的剖析 Flink运行时由两种类型的进程组成:一个JobManager和 ......
Flink处理函数解析（ProcessFunction和KeyedProcessFunction）
Flink中的处理函数（ProcessFunction和KeyedProcessFunction）在对于数据进行颗粒化的精确计算时使用较多，处理函数提供了一个定时服务（TimerService），可以向未来注册一个定时服务， ......
Flink 在风控场景实时特征落地实战
背景介绍 风控简介 二十一世纪，信息化时代到来，互联网行业的发展速度远快于其他行业。一旦商业模式跑通，有利可图，资本立刻蜂拥而至，助推更多企业不断的入场进行快速的复制迭代，企图成为下一个“行业领头羊”。 带着资本入场的玩家因为不会有资金的压力，只会更多的关注业务发展，却忽略了业务上的风险点。强大如拼 ......
好题小记
CF838D Airplane Arrangements 题目传送门 很高妙的题。 直接计算不太好做，考虑把链首尾接起来拼成环，但注意到直接拼就无法判不合法，所以在 $1$ 和 $n$ 中间插入一个 $n+1$ 号点，若 $n+1$ 号点被覆盖则不合法。 考虑对于所有方案计算 $n+1$ 号点被覆盖 ......
flink在linux上运行成功但是无法访问webUI界面
本文参考博主：Flink Web UI不能访问_flink启动后web页面打不开-CSDN博客 首先我在finallshell上运行成功flink之后长这样： 然后再web界面上输入：localhost：8081显示无法进入： 然后我把防火墙关闭了： hdfs dfsadmin -safemode ......
C++ 反向遍历 array 小记
有时候需要逆向循环，例如从字符串的最右端遍历到最左端，需要注意一些细节！初学遇到一些 bug 记录在这里。 首先 arr.size() 的数据类型为 size_t，为无符号整型 对于 for (int idx = arr.size() - 1; idx >= 0; idx--): 使用 int 作为 ......
[2023.12.14] 大学 & XCPC小记
说起来 OI 退役多年，已经很久没有维护过这个博客。 上一周打完 ICPC 杭州站，也是大三赛季的最后一站，总觉得应该记一些什么……不止是记录我的 XCPC 生涯，也是给大学的前面快要 5 个学期做一个大体上的总结吧~ 一切都还要从高考结束开始说起。 2021.6 高考 & 暑假篇 高考结束，估分给 ......
阿里云AnalyticDB基于Flink CDC+Hudi实现多表全增量入湖实践
湖仓一体（LakeHouse）是大数据领域的重要发展方向，提供了流批一体和湖仓结合的新场景。阿里云AnalyticDB for MySQL基于 Apache Hudi 构建了新一代的湖仓平台，提供日志、CDC等多种数据源一键入湖，在离线计算引擎融合分析等能力。本文将主要介绍AnalyticDB fo ......
使用Flink完成流数据统计
Flink程序构建的基本单元是stream和transformation（DataSet实质上也是stream）。stream是一个中间结果数据，transformation对数据的加工和操作，该操作以一个或多个stream为输入，计算输出一个或多个stream为结果，最后可以sink来存储数据。 ......
flink事件时间的水印延迟不会导致延迟数据在上一个窗口内
设窗口为5，延迟为3。 假如数据为：0 1 2 5 6 7 3 4 8 则两个窗口为 ： window = TimeWindow{start=0, end=5} 0 1 2 3 4 window = TimeWindow{start=5, end=10} 5 6 7 8 即：5 6 7 的数据不会包 ......
博弈论小记
博弈论是好文明喵！ 博弈论入门提单喵 阶梯博弈 讲解 例题 POJ1704 评价：证明简单，特征比较明显，基本是铜/银牌题 斐波那契博弈 讲解 例题 HDU2516 评价：证明困难，但特征十分明显，直接打表找规律 Nim游戏的有趣题目 D-HihoCoder - 1172 题意：有一行n个硬币，有的 ......
kafka数据入paimon（flink-sql）
1.创建CATALOG CREATE CATALOG paimon_hive WITH ( 'type' = 'paimon', 'metastore' = 'hive', 'uri' = 'thrift://hadoopm111:9083', 'warehouse' = 'hdfs:///apps ......
Flink State 状态原理解析
State 用于记录 Flink 应用在运行过程中，算子的中间计算结果或者元数据信息。运行中的 Flink 应用如果需要上次计算结果进行处理的，则需要使用状态存储中间计算结果。如 Join、窗口聚合场景。 ......
[OpenVR] OpenVR 驱动开发调试的方法小记
OpenVR 驱动开发调试方法 VR 也许是下一个风口，也许只是一场耀眼的烟花晚会。这年轻的平台还有许多未成形的构建，其中恰好就包括一个完整的调试架构。这使得 VR 开发，尤其是驱动层的开发，变得十分得痛苦。 因为我个人的习惯，我会尽可能避免调用 Visual Studio. 但是由于在 Windo ......
科研小记——画箱型图
数据： a 1000*1 表示1000个脑区各自的值 b 1000*1cell 表示1000个脑区各自属于的脑网络 c 1*7cell Color=[219 2 10;231 95 27;238 146 43;246 191 65;246 236 84;202 222 169;147 205 137 ......
mysqlsh备份恢复小记
参考文档: https://mp.weixin.qq.com/s/SGWgecxrpLNhnQzQMwh_Ew https://opensource.actionsky.com/20221012-mysql/ https://blog.csdn.net/m0_67261762/article/det ......
QLib安装小记
先搜索了gitee , 发现没有合适的复制版本。 还是取github 上看readme.md 提示python多个版本的支持功能（踩坑开始）.似乎3.8 比较合适，而我电脑上装了 两个版本，3.10，3.11 . 为了简单起见，装aconda. 创建conda 环境。 conda info -e # ......
可持久化线段树小记
可持久化线段树小记 首先你需要完成这两个模板：P3919 【模板】可持久化线段树 1（可持久化数组） P3834 【模板】可持久化线段树 2 T1 P1383 高级打字机 题意： \(n\) 个询问，\(3\) 种操作： 1.T x：在文章末尾打下一个小写字母 \(x\)。 2.U x：撤销最后的 ......
大型数据库实验八--Flink初级编程实践
  { super.onResume(); requestPermission(); } @Targ ......
【python小记】---PE8规范简述
【补充点】PE8规范 > [Python注释补充之PE8规范](https://www.cnblogs.com/Jack-ze/p/17401922.html) 【一】PEP 8规范 - PEP是Python Enhancement Proposal的缩写，代表Python增强提案。其中第8号增强提 ......
【python入门之常量与变量】---常量与变量小记
【一】变量 【1】什么是变量 变量是用于存储数据值的标识符，可以通过变量名访问和操作这些数据。 在程序中，变量就像一个容器，用于存储和管理数据。 变量就是可以变化的量，量指的是事物的状态 比如人的年龄、性别，游戏角色的等级、金钱等等 【2】为什么要有变量 变量的存在使得程序能够更灵活地处理数据，而不 ......
博客园美化小记
参考以下博友的代码，感谢分享！ 爱学习的刘刘^ Quaint's Blog 需要开申请开通JS权限（必须） 博客皮肤需要先择SimpleMemory才能生效 将下面的代码贴到对应的位置就可以了 博客侧边栏公共 <script type="text/javascript"> window.cnblog ......
Flink实战(11)-Exactly-Once语义之两阶段提交
0 大纲 [Apache Flink]2017年12月发布的1.4.0版本开始，为流计算引入里程碑特性：TwoPhaseCommitSinkFunction。它提取了两阶段提交协议的通用逻辑，使得通过Flink来构建端到端的Exactly-Once程序成为可能。同时支持： 数据源（source） 和 ......
NOI2023 补题小记
Day1 T1 方格染色 \(t=1/2\) 的操作可以维护矩形面积并．当 \(n,m \le 1e5\) 时考虑直接将每条斜线拆成 \(x_2-x_1\) 个矩形．所以朴素的矩形面积并即可通过 \(95\%\) 的测试数据． 当 \(n, m \le 1e9\) 时，先沿用之前的思路将 \(t=1 ......
Flink源码解析(六)——数据分区解析
一、数据分区概念 对分布式计算引擎来说，数据分区的主要作用是将现环节的数据进行切分，交给下游位于不同物理节点上的Task计算。 二、Flink数据分区接口体系 1、顶层接口ChannelSelector (1).setup()方法设置下游算子的通道数量。从该接口中可以看到，算子里的每一个分区器都知道 ......