小记hive

nebula小记

为什么要用GraphDB 1、图数据库是专门用于存储和检索庞大信息网的存储引擎,能够高效将数据存储为点和边,并允许对这些点边结构进行高性能的检索。 2、关系型数据库在处理复杂数据关联运算上表现很差,数据库建模复杂,数据量大时有性能问题,多度关系查询开销大。 3、图数据库相对关系型数据库的优点:建模简 ......
小记 nebula

python小记

特殊变量 双下划线开头,双下划线结尾的变量和方法 双下划线开头,双下划线结尾的变量是特殊变量,特殊变量是可以直接访问的,不要随意取这种形式的变量名。 双下划线开头,双下划线结尾的方法是特殊方法,有特殊用途,比如__init__会在初始化实例的时候被调用,__del__在引用计数为0时被调用,__eq ......
小记 python

redis小记

redis 1、redis是一款c语言编写的基于内存的kv存储,是目前市面上最流行的nosql开源项目,常用于缓存场景(优点高性能/寻址更快,缺点易失存储/价格更高) 2、redis快的原因:纯内存操作、单线程避免上下文切换、采用非阻塞IO多路复用机制(1个线程监控多个连接,一旦某个连接就绪,就能够 ......
小记 redis

scala小记

scala和java 1、scala是基于java开发的,以jvm为运行环境,将面向对象和函数式编程结合起来的静态编程语言。 2、scala是面对对象的语言,万物皆对象,对象的本质是对数据和行为的封装(对象/属性/行为) 3、scala是函数式的语言,万物皆函数,函数是将解决问题的一个个步骤的封装, ......
小记 scala

spark小记

Spark介绍 1、Spark 是一种由 Scala 语言开发的基于内存的快速/通用/可扩展的大数据分析计算引擎。 2、Spark Core中提供了Spark最基础与最核心的功能。Spark SQL 是 Spark 用来操作结构化数据的组件。 3、MLlib 是 Spark 提供的一个机器学习算法库 ......
小记 spark

一些小记

美剧: 艾米丽在巴黎 刘瑜 观念的水位 李银河:女性主义 《看见成长的自己》 复旦大学 沈奕裴老师 讲座:是什么阻挡了我们相亲相爱 张悦然 顿悟的时刻 纪录片 河西走廊、神秘的西夏 博尔赫斯 诗 我用什么才能留住你 黄灿然 奇迹集 樊登解读: 恰如其分的自尊 人生有很多象限。 很多成功人士其实也是低 ......
小记

hive小记

Hive介绍 1、Hadoop是由java语言编写的,在分布式服务器集群上存储海量数据并运行分布式分析应用的开源框架 2、Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射成一张表,并提供类SQL查询功能 3、Hive处理的数据存储在HDFS,底层实现是MapReduce,执行 ......
小记 hive

python小记

特殊变量 双下划线开头,双下划线结尾的变量和方法 双下划线开头,双下划线结尾的变量是特殊变量,特殊变量是可以直接访问的,不要随意取这种形式的变量名。 双下划线开头,双下划线结尾的方法是特殊方法,有特殊用途,比如__init__会在初始化实例的时候被调用,__del__在引用计数为0时被调用,__eq ......
小记 python

flink小记

Flink核心概念 1、Flink是为分布式、高性能、随时可用以及准确的流处理应用程序打造的开源流处理框架 2、Flink底层是以Java编写的,并为开发人员同时提供了完整的Java和Scala API。 3、Flink运行时包括JobManager(Master)和TaskManager(Work ......
小记 flink

nebula小记

为什么要用GraphDB 1、图数据库是专门用于存储和检索庞大信息网的存储引擎,能够高效将数据存储为点和边,并允许对这些点边结构进行高性能的检索。 2、关系型数据库在处理复杂数据关联运算上表现很差,数据库建模复杂,数据量大时有性能问题,多度关系查询开销大。 3、图数据库相对关系型数据库的优点:建模简 ......
小记 nebula

redis小记

redis 1、redis是一款c语言编写的基于内存的kv存储,是目前市面上最流行的nosql开源项目,常用于缓存场景(优点高性能/寻址更快,缺点易失存储/价格更高) 2、redis快的原因:纯内存操作、单线程避免上下文切换、采用非阻塞IO多路复用机制(1个线程监控多个连接,一旦某个连接就绪,就能够 ......
小记 redis

scala小记

scala和java 1、scala是基于java开发的,以jvm为运行环境,将面向对象和函数式编程结合起来的静态编程语言。 2、scala是面对对象的语言,万物皆对象,对象的本质是对数据和行为的封装(对象/属性/行为) 3、scala是函数式的语言,万物皆函数,函数是将解决问题的一个个步骤的封装, ......
小记 scala

spark小记

Spark介绍 1、Spark 是一种由 Scala 语言开发的基于内存的快速/通用/可扩展的大数据分析计算引擎。 2、Spark Core中提供了Spark最基础与最核心的功能。Spark SQL 是 Spark 用来操作结构化数据的组件。 3、MLlib 是 Spark 提供的一个机器学习算法库 ......
小记 spark

Hive理论知识

1、什么是Hive? Hive是基于Hadoop的一个数据仓库工具,它提供了类似SQL的查询语言来进行大规模的数据分析和处理。Hive将结构化的数据映射到Hadoop分布式文件系统(HDFS)上,并通过MapReduce任务执行查询操作。 2、数据模型有哪些? 星形模式(Star Schema):星 ......
理论 知识 Hive

Hive事务表转换为非事务表

环境:hive3.1.0 由于建表时默认会建为非事务表 CREATE TABLE bucket_text_table2(column1 string,column2 string,column3 int) CLUSTERED BY (column3) into 5 BUCKETS STORED AS ......
事务 Hive

Hive的存储格式

一、简介 1、hive建表时存储格式 一般情况下hive在创建表时默认的存储格式是textfile,hive常用的存储格式有五种,textfile、sequencefile、rcfile、orc、parquet。 2、五种存储格式的区别 hive五种存储格式的区别 存储格式文件存储编码格式建表指定 ......
格式 Hive

使用-数据湖Iceberg和现有hive数仓打通并使用

一、集群配置 1、版本使用 技术 版本 iceberg 1.3.1 flink 1.16.1 spark 3.2.1 hive 2.3.7 dlc-presto 待定 2、集群配置调整 (1)使用hive查询的话所有hiveserver2节点修改hive-site.xml文件,添加jar包,添加如下 ......
Iceberg 数据 hive

Hive的表类型

在Hive的学习中,有一个非常重要的知识点,那就是Hive的表类型。 Hive的表类型主要有四种:内部表(受控表)、外部表、分区表、分桶表。 一:内部表 ......
类型 Hive

Hive基本操作

Hive的基本操作很简单,与SQL的写法很类似,总结如下: 进入Hive环境 $HIVE_HOME/bin/hive 数据库操作 CREATE (DATABASE|SCHEMA) [IF NOT EXISTS] database_name [COMMENT database_comment] [LO ......
基本操作 Hive

2023-2024元旦联欢会小记

Day -2 gg 说放假,终于能确定回来了。 Day -1 开始摆烂,但是还是在学习淀粉质。 怎么说看了付姐的朋友圈,看到大家在包饺子,又错过一个活动怎么说。 gg 说开茶话会。高一同学:茶话会?不,是鸿门宴。 真的是晚会!唱了首《稻香》。感觉回到了高一在班里一起唱歌。晚会在情侣合体的时候达到了高 ......
联欢会 小记 2023 2024

【2023.12.29】修复服务器小记录,重装Proxmox

半年没碰服务器了,没想到还是挂了,卡在BIOS过不去 NUC因为没有主板电池,所以还特地找了下怎么重置,没想到是拔出主板上的黄色保护器,使两个针脚空接 和我想象中的不太一样,照理来说应该是针脚对接,才能重置才对 因为这样子的话,这个黄色保护套就不能随意丢弃了,感觉这个主板的设计有问题 折腾了两小时怒 ......
小记 Proxmox 服务器 2023 12

华为云耀云服务器L实例--Hive的部署

华为云耀云服务器L实例--Hive的部署 产品官网:https://www.huaweicloud.com/product/hecs-light.html 今天我们采用可靠更安全、智能不卡顿、价优随心用、上手更简单、管理特省心的华为云耀云服务器L实例为例,继续Hive的部署 Hive 是建立在 Ha ......
实例 服务器 Hive

华为云耀云服务器L实例-大数据学习-Hive的部署-1

华为云耀云服务器L实例-大数据学习-Hive的部署-1 产品官网:https://www.huaweicloud.com/product/hecs-light.html 今天我们采用可靠更安全、智能不卡顿、价优随心用、上手更简单、管理特省心的华为云耀云服务器L实例为例,介绍Hive的部署 Hive  ......
实例 服务器 数据 Hive

mac日志小记

目录: /var/log 1 -rw-r--r-- 1 root wheel 1.7M Dec 29 10:31 daily.out 2 -rw-r--r-- 1 root wheel 2.8K Dec 11 14:06 monthly.out 3 -rw-r--r-- 1 root wheel 1 ......
小记 日志 mac

【反射】反射获取私有字段小记

问题: // 直接按类字面量获取 Class<?> myClass = ClassTestA.class; // 全类名反射获取 Class<?> myClass = Class.forName("com.cambrianwenjie.demo.ClassTestA"); // 获取私有字段 Fie ......
小记 字段

Hive ACID笔记

环境:hive 3.1.0 执行引擎:hive on tez 什么是hive ACID? hive官网对于ACID的介绍: https://cwiki.apache.org/confluence/display/Hive/Hive+Transactions 中文文档关于ACID的介绍: https: ......
笔记 Hive ACID

Hive安装部署

引言 Apache Hive 是一款建立在 Hadoop 生态系统之上的数据仓库工具,它提供了一种 SQL 类似的查询语言(HiveQL)来查询和分析存储在 Hadoop 分布式文件系统(HDFS)中的大规模数据。Hive 的设计目标是让用户可以在大规模数据集上执行复杂的查询,而无需深入了解 Map ......
Hive

nlog使用小记(日志文件分割备份循环)

nlog使用小记(日志文件分割备份循环) fileName: 当前记录日志的文件名 archiveFileName:归档日志文件名 archiveAboveSize:文件达到多大进行归档 maxArchiveFiles:归档的日志文件保留数量 archiveNumbering:归档文件名称的保留方式 ......
小记 备份 文件 日志 nlog

MRS基础组件之HBase与Hive开发应用_tyt2023

MRS基础组件之HBase与Hive开发应用 本实验基于MRS环境,介绍如何利用HBase与Hive来进行相关操作。其中,HBase主要介绍包括如何利用Java API创建数据表、写入数据、查看数据以及删除数据;而Hive则通过介绍UDF、UDTF和UDAF等自定义函数的基本操作,讲解如何进行自定义 ......
组件 基础 HBase 2023 Hive

web访问hive

配置 <property> <name>hive.server2.thrift.port</name> <value>10000</value> </property> <property> <name>hive.server2.thrift.bind.host</name> <value>slav ......
hive web
共672篇  :2/23页 首页上一页2下一页尾页