小记hive
HIVE库查看版本号
查看hive版本号（web） 1、进入hadoop的CM控制台，找到左边的hive点击进入 2、在hive中，找到状态摘要：Hive Metastore Server 3、在Hive Metastore Server ( Cluster 1 Hive hadoop05 )中，点击‘hadoop05 ......
第六章.Hive组件安装配置
第六章.Hive组件安装配置 1.1. 实验目的 完成本实验，您应该能够： 掌握 Hive 组件安装配置 掌握 Hive 组件格式化和启动 1.2. 实验要求 熟悉 Hive 组件安装配置 了解 Hive 组件格式化和启动 1.3. 实验环境 本实验所需之主要资源环境如表 1-1 所示。 | 服务器 ......
互异关系容斥&集合幂级数小记
最近碰见了一些互异关系容斥的题目，而这类题目往往要配合集合幂级数的一些技术使用，所以简单记记。 内容很杂，行文很乱，作者水平很低，酌情观看。 互异关系容斥 思想其实很基本，应用范围其实很广。 原论文。 思想就是对于 $x_i\neq x_j$ 这样的限制，经典对于限制的子集容斥是钦定违反 $S$ 中 ......
hive引入partition和bucket的概念，中文翻译分别为分区和桶
https://www.cnblogs.com/cxzdy/p/5524477.html hive引入partition和bucket的概念，中文翻译分别为分区和桶（我觉的不是很合适，但是网上基本都是这么翻译，暂时用这个吧），这两个概念都是把数据划分成块，分区是粗粒度的划分桶是细粒度的划分，这样做为 ......
2023/3/23小记
距离省选还有8天 因为睡了太久所以摆烂，整理了一下自己的blog。以后打算好好写一写了awa。 中午打arc被光老师抓了。 下午打算水点题，听说有体育课。 做题记录 ......
测开小记
基于前期DRF学习成果。 1、认证与授权 1.1 Django的登录接口 设置认证授权的类： 在全局urls里设置登录退出路由（rest_framework自带的，返回的是html页面，不是借口）： 命令行创建超级管理员账户： python manage.py createsuperuser 根据提 ......
hive和kudu数据之间的互相迁移存在的坑
一、为什么要进行数据迁移 背景：我现在有个需求：需要修改kudu表的主键，主键由1个字段增加为2个字段。因为不能影响下游系统使用kudu表，kudu表表名不能做修改。需要将原kudu表删除后再建新kudu表。 这里存在几个潜在知识点： 1.kudu表修改主键不能使用命令直接修改，必须重新删表然后建表 ......
工良出品：包教会，Hadoop、Hive 搭建部署简易教程
导读 最近一个数据分析朋友需要学习 Hive，刚好我也想学，便利用手头的服务器搭建一个学习环境，但是搭建过程中，发现网上的教程很多过时了，而且部署过程中，很多地方走不通，博主也没有给出对应的说明。花了大力气才从各种资料中完成 Hadoop、Mysql、Hive 三者的部署。 因此，本文记录在 Win ......
Sqoop导出ClickHouse数据到Hive
背景 公司采购了外部服务，其存储为ClickHouse，按照公司要求需要将其数据采集到Hive。 验证环境 CDH: 6.3.2 ClickHouse: 19.15.4.10 Sqoop: 1.4.7 Driver 需要在脚本中明确指明所使用的Driver完整签名。 ClickHouse使用自定义协 ......