特点spark
docker 搭建大数据集群（hive、hbase、ZooKeeper、Scala、Spark）
1）本机系统设置 电脑设置虚拟缓存（设置为自动管理） 虚拟机设置内存和CPU 内存设置为8G（或以上） CPU稍微设置高一点（三个虚拟化能开就开） 虚拟机系统配置阿里源 wget -O /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun. ......
第二篇 Vue 基础 - 什么是 Vue 及 vue 的基本特点
什么是 Vue Vue (发音为 /vjuː/，类似 view) 是一款用于构建用户界面的 JavaScript 框架 它基于标准 HTML、CSS 和 JavaScript 构建，并提供了一套声明式的、组件化的编程模型，可以高效地开发用户界面 无论是简单还是复杂的界面，Vue 都可以胜任 最基本的 ......
minio server pool 的一些特点
minio server pool 是目前minio 官方推荐的集群扩容方案，使用上简单，算是做到了真的集群扩容能力，操作简单，维护成本并不是很大以下说明一些特点 特点 多个server pool 的都是可以上传的以及下载操作的，而且server pool 内的都可以看见所有文件 多个server ......
Spark任务调试（Scala开发语言）
// 将dataframe存储到hdfs myDF.write.orc("hdfs://nsxxxx/user/admin/dir") // 读取操作 val mdf = spark.read.orc("hdfs://nsxxxx/user/admin/dir") ......
说一下JVM常用垃圾回收器的特点、优劣势、使用场景和参数设置
新生代回收器 Serial ParNew parallel 老年代回收器 Serial Old CMS Parallel Old 新生代和老年代回收器 G1 Serial 新生代/复制算法/单线程 特点 Serial收集器是最基本、发展历史最悠久的收集器。JDK1.3.1前是HotSpot新生代收集 ......
Spark入门到精通
一、Spark简介 1. 概念 Apache Spark 是一个开源的分布式计算系统，最初由加州大学伯克利分校的AMPLab（Algorithms, Machines, and People Lab）开发，并于2010年加入Apache基金会进行开源。Spark 提供了一种统一的数据处理引擎，支持在 ......
大数据之—Spark环境搭建
前言 参考：https://blog.csdn.net/wzb1983/article/details/125761231 官网：http://spark.apache.org/downloads.html 软件仓库：https://archive.apache.org/dist/spark/ 软件 ......
一次spark任务提交参数的优化
起因 新接触一个spark集群，明明集群资源（core,内存）还有剩余，但是提交的任务却申请不到资源。 分析 环境 spark 2.2.0 基于yarn集群 参数 spark任务提交参数中最重要的几个： spark-submit --master yarn --driver-cores 1 --dr ......
微信小程序管理软件有哪些特点？
微信小程序管理软件在提高小程序的安全性、稳定性和可扩展性方面具有重要作用。选择一款优质的微信小程序管理软件，可以帮助企业更好地管理和维护小程序，提高小程序的效率和用户体验，实现企业数字化转型和智能化升级的目标。然而，随着市场上微信小程序管理软件的不断增多，企业在选择时需要根据自身的实际需求和预算进行... ......
HTTP协议特点
HTTP协议特点 支持客户/服务器模式 客户/服务器模式工作的方式是由客户端向服务器发出请求，服务器端响应请求，并进行相应服务 简单快捷 客户向服务器请求服务时，只需要传送请求方法和路径 请求方法常用的有GET、EHAD、POST。每种方式规定了客户与服务器联系的类型不同 由于HTTP协议简单，使用 ......
Hbase学习二：Hbase数据特点和架构特点
转载请注明出处： 1.Hbase数据特点 大：一个表可以有上亿行，上百万列。 面向列：面向列表（簇）的存储和权限控制，列（簇）独立检索。 稀疏：对于为空（NULL）的列，并不占用存储空间，因此，表可以设计的非常稀疏。 无模式：每一行都有一个可以排序的主键和任意多的列，列可以根据需要动态增加，同一张表 ......
《关于我因为flink成为spark源码贡献者这件小事》
各位读者老爷请放下手上的板砖，我可真没有标题党，且容老弟慢慢道来。 spark和flink本身相信我不用做过多的介绍，后端同学不管搞没搞过大数据，应该都多多少少听过。 如果没听过，简单说，spark和flink之于大数据，就好比vue和react之于前端，就好比spring家族之于java。 从20 ......
微软外服札记④——Spark中的那些坑...
Spark中的那些坑 Spark中的那些坑 前言 读取配置文件 时区陷阱 怪异的DayOfWeek substring陷阱 IP地址解析 枚举的数值 posexplode函数 为什么我的程序运行那么慢？慎用Count()和Show() 为什么我的程序运行那么慢？（2）优化、优化 其它 题外话 前言 ......