算子barrier时候flink
什么时候用ExecutorService，什么时候用ThreadPoolExecutor?
如果不需要对线程池参数应用任何自定义微调，并且希望使用预配置的线程池实例，则应该选择ExecutorService。ExecutorService提供了几种方法来创建不同类型的线程池，例如固定的、缓存的、单个的或调度的。 如果需要对线程池行为进行更多的控制和灵活性，并且希望自定义线程池的各种参数，例 ......
高可用K8S集群中Master加入集群的时候报错：error execution phase check-etcd：解决方法
报错信息： 报错原因： 1、这个问题我找了两天没找到，最后找到网络的问题，我做的有双网卡，导致Master02和Master03服务器抢一个虚拟IP。 2、Master02先抢到这个IP，Master03就没有这个IP了，所以就会报错。 3、配置文件中指定了eth1的网卡，但在加入集群的时候，Mas ......
克隆了一套测试环境和docker容器，在docker build的时候，alpine镜像的apk update一直出现ERROR: http://mirrors.ustc.edu.cn/alpine/v3.9/main: temporary error (try again later)
【问题描述】 网管从开发环境克隆了四台虚拟机及docker容器过来，作为uat环境使用，但是在配置好uat环境的流水线脚本后，每次执行uat分支就报错，其它分支可以正常执行； fetch http://mirrors.ustc.edu.cn/alpine/v3.9/main/x86_64/APKIN ......
oracle插入数据的时候 要插入对应为字符串类型的字段 我这边输入单纯数字111，然后就会转化为字符串，如果带中文就不会成功，比如插入 我我我 这样子就不成功。 后面如果是几个null，null中间已经最后一个null可以省略掉逗号。
oracle插入数据的时候 要插入对应为字符串类型的字段 我这边输入单纯数字111，然后就会转化为字符串，如果带中文就不会成功，比如插入 我我我 这样子就不成功。 后面如果是几个null，null中间已经最后一个null可以省略掉逗号。 ......
远程连接数据库时候报Mysql has gone away的错误
连接远程服务器的MySQL的时候报了The server has gone away的错误，网上找了很多方法都没发现问题 最后使用 sudo netstat -an | grep 3306 发现3306端口只运行在ipv6上，这下找到原因了， 一开始在设置对外开发远程登录的时候修改了/etc/mys ......
Activity推送活动的时候引发的并发异常org.activiti.engine.ActivitiOptimisticLockingException: ProcessInstance[d38c3a8f-b0c2-11ed-b989-525400a941cf] was updated by another transaction concurrently
这是在推送任务的时候工作流并没有修改成功数据库内容所以抛出的异常，异常原因是是因为工作流事件中有修改工作流表数据的操作，然后推送任务的时候也有修改工作流表数据的操作，所以引发了并发冲突，在工作流监听事件的实现类中不可以调用工作流相关变更数据的操作 把事件中的这些操作去除掉就好了 ......
docker进行run镜像的时候提示：IPv4 forwarding is disabled. Networking will not work. 解决方法
1、当你使用docker容器的时候有可能出现以下情况：IPv4转发已禁用。网络是行不通的。是因为IPv4转发被禁用了，只需要开启就可以了。 [root@zheng prometheus]# docker run -d -p 9090:9090 -v /opt/prometheus/prometheu ......
Flink安装部署
一、Local本地模式 1、下载安装包 https://archive.apache.org/dist/flink/ 使用的版本为 flink-1.13.2-bin-scala_2.11.tgz 2、准备文件 vi /xx/work/words.txt 3、启动Flink本机集群 cd /xx/wo ......
记录VUE开发遇到异常el-select绑定值为对象的时候报key重复的异常问题
最近在用el-select时发现渲染出来的选项全部被激活了，一开始以为时v-for的key重复了，后来发现不是。 又以为时v-model绑定的数据不是响应式的，发现也不是。 查询Element UI 官方文档得到解决方案 <el-form :model="form2" ref="form2" siz ......
使用PHP curl请求https的时候出现错误“SSL certificate problem: self signed certificate in certificate chain”
https://www.likecs.com/show-305773892.html ......
Flink模式
Per-job Cluster 该模式下，一个作业一个集群，作业之间相互隔离。 在Per-Job模式下，集群管理器框架用于为每个提交的Job启动一个 Flink 集群。Job完成后，集群将关闭，所有残留的资源也将被清除。 此模式可以更好地隔离资源，因为行为异常的Job不会影响任何其他Job。另外，由 ......
重磅！flink-table-store 将作为独立数据湖项目重新加入 Apache
数据湖是大数据近年来的网红项目，大家熟知的开源数据湖三剑客 Apache hudi、Apache iceberg 、Databricks delta 近年来野蛮生长，目前各自背后也都有商业公司支持，投入了大量的人力物力去做研发和宣传。然而今天我们要讲的是数据湖界的后起之秀 —— flink-tabl ......
基于FLink实现的实时安全检测（一段时间内连续登录失败20次后，下一次登录成功场景）
研发背景 公司安全部目前针对内部系统的网络访问日志的安全审计，大部分都是T+1时效，每日当天，启动Python编写的定时任务，完成昨日的日志审计和检测，定时任务运行完成后，统一进行企业微信告警推送。这种方案在目前的网络环境和人员规模下，呈现两个痛点，一是面对日益频繁的网络攻击、钓鱼链接，T+1的定时 ......
关于我在学习LFU的时候，在开源项目捡了个漏这件事。
你好呀，我是歪歪。 这篇文章带大家盘一下 LFU 这个玩意。 为什么突然想起聊聊这个东西呢，因为前段时间有个读者给我扔过来一个链接： 我一看，好家伙，这不是我亲爱的老朋友，Dubbo 同学嘛。 点进去一看，就是一个关于 LFU 缓存的 BUG： https://github.com/apache/d ......
《关于我因为flink成为spark源码贡献者这件小事》
各位读者老爷请放下手上的板砖，我可真没有标题党，且容老弟慢慢道来。 spark和flink本身相信我不用做过多的介绍，后端同学不管搞没搞过大数据，应该都多多少少听过。 如果没听过，简单说，spark和flink之于大数据，就好比vue和react之于前端，就好比spring家族之于java。 从20 ......
[DuckDB] 多核算子并行的源码解析
DuckDB 是近年来颇受关注的OLAP数据库，号称是OLAP领域的SQLite，以精巧简单，性能优异而著称。笔者前段时间在调研Doris的Pipeline的算子并行方案，而DuckDB基于论文《Morsel-Driven Parallelism: A NUMA-Aware Query Evalua ......
Flink mini-batch "引发" 的乱序问题
问题描述 近期业务反馈， 开启了 mini-batch 之后， 出现了数据不准的情况， 关掉了 mini-batch 之后， 就正常了， 因此业务方怀疑，是不是 Flink 的 mini-batch 存在 bug ？ 问题排查 初步分析 mini-batch 已经在内部大规模使用， 目前没有发现一例 ......
Flink SQL管理平台flink-streaming-platform-web安装搭建
文章都在个人博客网站：https://www.ikeguang.com/ 同步，欢迎访问。 最近看到有人在用flink sql的页面管理平台，大致看了下，尝试安装使用，比原生的flink sql界面确实好用多了，我们看下原生的，通过bin/sql-client.sh命令进入那个黑框，一只松鼠，对，就 ......
Flink同步Kafka数据到ClickHouse分布式表
公众号文章都在个人博客网站：https://www.ikeguang.com/ 同步，欢迎访问。 业务需要一种OLAP引擎，可以做到实时写入存储和查询计算功能，提供高效、稳健的实时数据服务，最终决定ClickHouse。 什么是ClickHouse？ ClickHouse是一个用于联机分析(OLAP ......