星辰大数据的博客

前言最近工作有个需求，用kettle run了好几天的数据，最终产生了1W个文件，94G的大小公司作为供应商需要提供处理之后的数据给甲方，虽然提供了VPN，但是网络不稳定会有数据丢失的情况，数据分卷压缩可以很好地解决这个问题10G的数据，使用好压分卷压缩，每个分卷1G，压缩之后只有6.1G然后再通过VPN上传到服务器就相对容易能保证数据的完整性数据分卷压缩1、右键点击文件，选择“添加到压缩文件”2、压缩文件格式选择“7Z”，压缩分卷大小这里选择了1G压缩之每个分卷..

一、安装准备下载地址：http://archive.apache.org/dist/hbase/参考文档：http://hbase.apache.org/book.htmlssh免密登录：https://blog.csdn.net/qq262593421/article/details/105325593zookeeper安装：https://blog.csdn.net/qq262593421/article/details/106955485hadoop集群安装：https://blo

一、修改hostnamehostnamectl set-hostname hadoopxx二、修改网络配置ifconfigcat /etc/sysconfig/network-scripts/ifcfg-ens33cp /etc/sysconfig/network-scripts/ifcfg-ens33 /etc/sysconfig/network-scripts/ifcfg-ens33.tempaltevim /etc/sysconfig/network-scri...

一、添加新磁盘二、查看新挂载点查看已挂载点df -h查看所有挂载点fdisk -l三、为挂载点创建分区fdisk /dev/sdbm命令(输入 m 获取帮助)：m命令操作 a toggle a bootable flag b edit bsd disklabel c toggle the dos compatibility flag d delete a partition g cr...

# /etc/profile# System wide environment and startup programs, for login setup# Functions and aliases go in /etc/bashrc# It's NOT a good idea to change this file unless you know what you# are doing. It's much better to create a custom.sh shell script.

1、Linux 查看CPU核心数cat /proc/cpuinfo | grep "model name" && cat /proc/cpuinfo | grep "physical id"2、Linux查看内存大小cat /proc/meminfo | head -n 163、Linux查看磁盘占用df -h...

前言什么是cygwin？cygwin大量GNU和开源工具的集合，它们提供的功能类似于Windows上的Linux发行版。一个提供大量POSIX API功能的DLL (cygwin1.dll)。1、Cygwin 下载http://www.cygwin.com/setup-x86_64.exe2、Cygwin 安装点击setup-x86_64.exe安装选择 I...

createtb.sh#!/bin/bash#string="tablename;field1,field2,field3,field4;partition1,partition2,partition3"string=$*group=(${string//;/ })for i in ${group[@]};do ((m++)) if [[ m -eq 1 ]]...

job.propertiesnameNode=hdfs://cdh01:8020resourceManager=cdh01:8032queueName=defaultexamplesRoot=examplesoozie.wf.application.path=${nameNode}/user/${user.name}/${examplesRoot}/apps/sshexec...

#!/bin/bash# $1:表名 $2:分区1 $3:分区2 $4-$n:基础字段# 数据库名称，这里不作为参数用自变量写了database="observation"# hive 拼接语句,分为h1,h2,h3 # h1是建表语句的前半部,h2是参数列表中间部分,h3是建表语句的后半部h1="create external table $database.$1("# ...

# 在当前目录下创建文本文件temp，如果文件存在则清空文件$(> tempfile)# for 循环将参数追加到当前目录的temp文件，逗号分隔，echo -n 不换行for ((i=4;i<$#;i++));do echo -n ${i}, >> tempfile done# h2取tempfile文本里的字符串h2=$(cat tempfile)# ...

ls --full-time -lt | tail -n -$(ls | wc -l) | awk '{print $6,$7}'

# 当前目录有四个文件ll# 查看目录下文件日期的详细信息ls --full-timemonitor.sh#!/bin/bashecho "-----------------"let "total=$(ls | wc -l)"list=$(ls --full-time -lt | tail -n -$total | awk '{print $6,$7}'...

vim exall.sh#!/bin/bashecho "------start execyting the shell script------"# awk 读取hosts文件的第二部分hosts=$(cat /etc/hosts | tail -n +3 | awk '{print $1}')# 传递的指令（参数）cmd=$*# for循环读取文件for host ...

1、root用户登录，每台机器生产公钥和密钥ssh-keygen输入之后回车键，再输入两次root用户密码，Linux会生成两个密钥：公钥和私钥公钥文件：/root/.ssh/id_rsa.pub私钥文件：/root/.ssh/id_rsa2、查看生成的公钥和私钥cd ~/.ssh/llpwd# 查看公钥cat /root/.ssh/id_rs...

shell脚本赋权chmod 777 file.sh1、for循环打印数组arr1=(20 21 23 24 25)arr2=(a b c d e f g)for i in ${arr1[*]};do echo -e $i "\c"doneechofor i in ${arr2[@]};do echo -e $i "\c"doneecho# -e：...