dengxl2009-CSDN博客

转载 ffmpeg添加水印

ffmpeg -i $in -i fitness.png -filter_complex 'overlay=80:60' -c:v libx264 $out -y >/dev/null 2>&1 && echo success 转载于:https://www.cnblogs.com/lihuanghao/p/10637266.html

2019-04-01 16:38:00 183

[root@hadoop01 ~]# hdfs haadmin -getServiceState nn1 active [root@hadoop01 ~]# hdfs haadmin -getServiceState nn2 standby [root@hadoop01 ~]# 转载于:https://www.cnblogs.com/lihuanghao/p/1...

2019-01-05 21:45:00 5161

转载 spark.shuffle调优

1.1.1spark.shuffle.managerSpark1.2.0官方支持两种方式的Shuffle，即Hash Based Shuffle和Sort Based Shuffle。其中在Spark 1.0之前仅支持Hash Based Shuffle。Spark 1.1的时候引入了Sort Based Shuffle。Spark 1.2的默认Shuffle机制从Hash变成了So...

2018-12-05 19:41:00 303

转载大数据学习之sparksql-JDBC到其他数据库

jdbcDF = spark.read \ .format("jdbc") \ .option("url", "jdbc:postgresql:dbserver") \ .option("dbtable", "schema.tablename") \ .option("user", "username") \ .option("passw...

2018-08-06 14:08:00 209

转载大数据学习之sqoop

点击下载sqoop：http://mirror.bit.edu.cn/apache/sqoop/ 解压缩:tar -xvf sqoop-1.4.7.bin__hadoop-2.6.0.tar 重命名:mv sqoop-1.4.7.bin__hadoop-2.6.0 sqoop 配置环境变量　　export SQOOP_HOME=/data/bigdata/sqoop 　　ex...

2018-07-20 15:58:00 107

转载大数据学习之spark

首先安装scala 　　scala-2.11.7下载　　　　wgethttps://downloads.lightbend.com/scala/2.11.7/scala-2.11.7.tgz 　　下载之后解压　　　　tar -zxvf scala-2.11.7.tgz 　　解压之后删除源文件　　　　rm -rf scala-2.11.7.tgz ...

2018-07-19 20:42:00 111

转载大数据学习之hive

参考：http://www.cnblogs.com/hmy-blog/p/6506417.html Hive是基于Hadoop的数据仓库解决方案。由于Hadoop本身在数据存储和计算方面有很好的可扩展性和高容错性，因此使用Hive构建的数据仓库也秉承了这些特性。简单来说，Hive就是在Hadoop上架了一层SQL接口，可以将SQL翻译成MapReduce去Hadoop上执行，...

2018-07-19 20:28:00 149

转载大数据学习之hadoop(完全分布式)

参考:https://blog.csdn.net/hliq5399/article/details/78193113 准备三台虚拟机，并在每台机子上，分别在/etc/hosts里面加入　　192.168.16.103 node1 　　192.168.16.188 node2 　　192.168.16.189 node3 　　192.168.16.45 mysql 服务器功能...

2018-07-19 19:57:00 83