环境spark
在Linux环境下安装docker
在Linux环境下安装docker docker desktop和docker engine 在官网下载docker时有两种选择:docker engine 和 docker desktop docker desktop docker desktop是一种一键式安装的应用程序,适用于Mac、Linu ......
安装pytorch/安装jupyterlab并添加已创建环境的kernel
安装pytorch 先创建一个环境,去pytorch官网查找环境所用python版本对应的torch版本,并选择合适的下载命令,在已激活的环境中运行命令,即可安装成功。 安装jupyter jupyter可以按cell运行代码,并且可以边写代码边做笔记。运行conda install jupyter ......
作业7 Spark
一. 多选题(共5题,71.4分) 1. (多选题)Spark具有的主要特点包括: A. 容易使用 B. 运行模式多样 C. 运行速度快 D. 通用性 我的答案: ABCD:容易使用; 运行模式多样; 运行速度快; 通用性;正确答案: ABCD:容易使用; 运行模式多样; 运行速度快; 通用性; 1 ......
vscode的c++环境配置
请先安装gcc,同时建议gcc安装在默认位置。复制并建立以下文件,在对应目录下(如SampleDirectory)新建cpp文件,则可按ctrl+F5编译运行,F5调试运行。exe文件将会生成在bin文件夹中,故注意不要缺少建立bin文件夹。 文件结构: C:. + .vscode | launch ......
Segment Anything(SAM)环境安装&代码调试
引子 Segment Anything是前阵子大火的CV领域模型,之前也有尝试,只是没有整理。OK,让我们开始吧 一、拉取下载docker镜像 docker pull cnstark/pytorch:2.0.1-py3.9.17-cuda11.8.0-ubuntu20.04 二、安装SAM环境 do ......
Linux Debian11使用国内源安装Podman环境
一、Podman简介 Podman 是一个开源的容器运行时项目,可在大多数 Linux 平台上使用。Podman 提供与 Docker 非常相似的功能。正如前面提到的那样,它不需要在你的系统上运行任何守护进程,并且它也可以在没有 root 权限的情况下运行。 Podman 可以管理和运行任何符合 O ......
spring-boot之Maven多环境配置
spring-boot之Maven多环境配置 项目默认只会打包classpath下的资源文件 1、在src/main/resource/config/zbj-fwApp下添加相关环境配置文件 · application.yml · application-dev.yml · application- ......
Spark任务存在大量Task失败记录分享
最近Spark任务调度任务跑的时间比平时慢很多,查看SparkUI发现有大量的Task被异常终止,查看日志发现了有几个问题,记录一下。 根据日志,主要涉及任务被终止、YARN集群中的抢占问题以及网络连接错误。 1、任务被终止的警告: WARN Lost task 87.0 in stage 6.0 ......
Jax报错:Windows系统环境下WSL中运行Jax会导致nvidia-smi报错退出,无法使用nvidia-smi和gpustat
环境: Window11下的WSL: 运行jax,导致nvidia-smi无法使用,不过经过测试发现虽然nvidia-smi报错无法使用,但是GPU已经可以正常使用,调用jax的GPU运行也保持正常,只不过无法使用nvidia-smi对GPU状态进行查询。 ......
Mysql环境配置与安装
一、下载Mysql 从官网下载MySQL,这里我选用的是Mysql8.0.34版 选择Windows(x86,32-bit),MSI Instraller,进行下载: 选择No thanks,just start my diwnload,进行下载 二、安装MYSQL 下载完成后直接双击进行安装,打开 ......
Flink Sql线上环境踩坑记录
背景:Flink Sql程序本机测试执行没问题,上到生产环境就报各种诡异得问题,搞得头都大了。。。特此记录下解决过程。 问题原因主要两点: 1.JDK版本问题 2.Flink Sql相关jar包冲突 问题一 2020-09-27 06:06:33,125 INFO org.apache.flink. ......
Java环境配置
前言(文章摘抄如:https://blog.csdn.net/xhmico/article/details/122390181)java 环境配置,网上教程很多,那我为什么还要写? 首先为了完善我的知识体系 今后一些软件的安装教程也可能会用到 想写一个更加详细的,因为这并不仅仅是写给 IT 行业的, ......
支持NVIDIA GPU —— 如何运行docker环境下的Jax环境
项目地址: https://github.com/NVIDIA/JAX-Toolbox 具体的安装命令: 地址: https://github.com/NVIDIA/JAX-Toolbox/pkgs/container/jax linux/amd64 docker pull ghcr.io/nvid ......
手把手教你在 Windows 环境中搭建 MQTT 服务器
前言 前些天要对接一家硬件商的设备数据,对方使用的 MQTT 协议点对点透传,所以又赶紧搭建 MQTT 服务器,写 .NET 程序接收数据等等,今天分享一下如何搭建 MQTT 服务器。 MQTT 协议是什么? MQTT(Message Queuing Telemetry Transport)是一种轻 ......
oneforall配置环境,报错cannot import name 'sre_parse' from 're' 解决方法
高版本python中re模块没有了sre_parse模块, 可以修改python中的exrex.py 代码,直接导入sre_parse模块 ......
CentOS7 Suricata生产环境部署
一、部署PF_RING step1:安装依赖 [root@localhost ~]# yum install -y flex bison kernel-devel kernel-headers gcc gcc-c++ make wget [root@localhost ~]# git clone h ......
查看虚拟环境中安装包位置
1 确保你已经激活了虚拟环境。你可以在终端或命令提示符中运行虚拟环境的激活命令,例如: 在Windows上,使用以下命令激活虚拟环境: venv\Scripts\activate 在Linux或macOS上,使用以下命令激活虚拟环境: source venv/bin/activate 2 显示当前虚 ......
Window 环境安装Redis ,并配置为开启自启动
前言:本文章只讲解如何在Window 环境下安装以及配置Redis,其它教程会在另外的文章详细介绍。 1、我们先来大致了解一下什么是Redis Redis (全称:REmote DIctionary Server) 是一个由 Salvatore Sanfilippo 写的 key-value 存储系 ......
使用docker搭建deepspeed多机多卡分布式微调大模型环境
前置环境:两台可以互通的centos服务器(服务器1、服务器2),docker,NVIDIA驱动 docker创建overlay共享网络 1)选用服务器1作为manage节点进行初始化,执行docker swarm init Swarm initialized: current node (ly4d ......
Springboot 多环境配置、${key:default_value}的作用与使用
多环境配置 方式一 创建多个配置文件 application.yml #主配置文件 application-dev.yml #开发环境的配置 application-prod.yml #生产环境的配置 application-test.yml #测试环境的配置 # application.yml s ......
Running Spark on YARN
Support for running on YARN (Hadoop NextGen) was added to Spark in version 0.6.0, and improved in subsequent releases. spark自0.60版本开始支持在YARN上运行,并在后续版本 ......
测试环境使用问题及其优化对策实践
一、前言 我们经常听到研发人员和测试人员抱怨:“测试环境怎么又不能用了!”、“测试环境现在部署的是master包!”、“测试环境数据又被人改了?”、“测试环境怎么部署的这么慢!”、“测试环境里的公共服务,你用的时候我只能等着?”、“测试环境挂了,我自动化脚本全失败了!”测试环境是是测试实施的基础,测 ......
Qt Windows环境下如何添加MYSQL数据库驱动
问题现象 使用Qt提供的数据库驱动列表函数,获取数据库驱动时,没有MYSQL数据库,因此无法正常使用这个数据库 想使用这个数据库,该如何操作呢?以下内容就是实现数据库驱动添加的方法 1.准备数据库软件 step1 在MySQL官网下载MySQL Community Server软件,选择适合自己的版 ......
New!DevExpress WPF v23.2系统环境配置要求
DevExpress WPF 拥有120+个控件和库,将帮助您交付满足甚至超出企业需求的高性能业务应用程序。通过DevExpress WPF能创建有着强大互动功能的XAML基础应用程序,这些应用程序专注于当代客户的需求和构建未来新一代支持触摸的解决方案。 无论是Office办公软件的衍伸产品,还是以 ......
spark-cdh学习
Spark: 1.Apache Spark是用于大规模数据处理的统一分析引擎 2.一款分布式内存计算的分析引擎 源数据层: 1.sdk日志埋点 2.日志文件:爬虫日志,业务日志 3.关系型数据库:mysql,oracle等 数据采集层: 1.离线:flume,sqoop,Nifi 2.实时:file ......
k8s环境设置-pod下载及重启策略
k8s环境设置 在我们开始使用k8s之前,我们可以先做一些环境配置,使k8s更加的方便使用 第一个要做的就是kubectl命令的补全 在使用kubectl的时候你会发现参数你是Tab不出来的,这时候我们可以操作一下,让他可以补全 # 在/etc/bashrc里面写入 [root@master ~]# ......
大数据本地环境搭建-Linux基础环境搭建
1.安装VMware 下载 VMware Workstation Pro | CN 2.配置虚拟网卡 3.Windows网络配置 4.安装centos7.9 Download (centos.org) 4.1 新建虚拟机 如果开机的时候电脑蓝屏使用Windows+R输入optionalfeature ......
大数据本地环境搭建-Zookeeper/Hadoop/Hive搭建
1. Zookeeper环境安装 链接:https://pan.baidu.com/s/1wzbCiDxP7H5G_llwjSS3Rw?pwd=wgal 提取码:wgal 1.1 上传tar包 zookeeper-3.4.6.tar 注意:上传文件位置为 /export/server目录 1.2 解 ......
kafka源码阅读之MacBook Pro M1搭建Kafka2.7版本源码运行环境
原创/朱季谦 最近在阅读Kafka的源码,想可以在阅读过程当中,在代码写一些注释,便决定将源码部署到本地运行。 日常开发过程中,用得比较多一个版本是Kafka2.7版本,故而在MacBook Pro笔记本上用这个版本的源码进行搭建,进行Kafka源码的阅读学习。在搭建的过程当中,遇到不少坑,顺便记录 ......
Spark运行模式之——local模式与Standalone模式
Spark有多种运行模式,可以运行在一台机器上,称为本地(单机)模式——local模式;可以使用Spark自带的资源调度系统,称为Spark Standalone模式;也可以以YARN或Mesos作为底层资源调度系统以分布式的方式在集群中运行,称为Spark On YARN模式。本文就介绍前两种运行 ......