qq_27474277的博客

val spark = SparkSession .builder .appName("StructuredNetworkWordCount") .config("spark.executor.memory", "2048m") .config("spark.driver.memory", "4096m") .config("spark.default.parallelism", "4")// .config("spark.driver.cores", "..

hiveserver2 发生gc以后导致远程jdbc连接hive会连接超时，解决办法在hive-env.sh中修改HS2Heapsize的大小在hive/bin/hive脚本里修改# to initialize logging for all services# export HADOOP_CLIENT_OPTS="$HADOOP_CLIENT_OPTS -Dlog4j.configurationFile=hive-log4j2.properties "if [ x$SERVICE == x"m

streamx编译先贴个官网链接，配合官网使用。steamx官网官网上有几个环境的准备，版本要对应上，我装的时候特意装了新的maven和nodejs，把原来的nodejs卸载掉，并且在bin目录搞了个软连接，不卸载原来的nodejs，会一直版本不对。编译前改一下streamx/streamx-console/streamx-console-service/src/main/resources/db/migration/V1_2__upgrade_db.sql里面的一个建表语句。ROW_FORMAT=

urihive://username@ip:port/default?auth=NONEdriver安装下面三条命令可以都试试，最终pyhive=0.6.3pip install -U pyhivepip install pyhive[presto]pip install pythrifthiveapi

目录1.pyhont3.6以上版本安装（略过）2.安装python依赖模块3.创建python虚拟环境4.安装和初始化supersetCreate an admin user (you will be prompted to set a username, first and last name before setting a password)Load some data to play withCreate default roles and permissionsTo start a develop

目录1.点击sqllab里面的SQL Editor2.sql Editor 介绍3.在sql编辑框里编写sql，点击run 执行sql语句，在results里查看结果1.点击sqllab里面的SQL Editor2.sql Editor 介绍3.在sql编辑框里编写sql，点击run 执行sql语句，在results里查看结果1.点击sqllab里面的SQL Editor2.sql Editor 介绍3.在sql编辑框里编写sql，点击run 执行sql语句，在results里查看结果1.点击sql

1.设置tez-ui需要先安装Tomcat1.找到war包因为我安装的是bin所以在安装包中就有tez-ui-0.9.0.war自己编译的话也有生成，在这里不做过多赘述。#2.将tez-ui部署在tomcat#在webapps下创建tez-ui目录mkdir /usr/local/apache/apache-tomcat-8.5.31/webapps/tez-ui#进入文件cd /usr/local/apache/apache-tomcat-8.5.31/webapps/tez-ui

nput split 分片依据block大小，一般64m，一个分片就是一个mapmapcombiner map端的合并shuffle 输出到内存 到达阈值 spill到磁盘 partitioner reduece的输入，一个reduce对应一个partitioner，排序 合并 复制Reduce

今日按照官方文档，装了一下cdh5 hadoop ，分享一下经验及用到的命令cm 官方中文版地址 http://www.cloudera.com/content/www/zh-CN/documentation/enterprise/5-3-x/topics/search_solrctl_ref.html cdh 安装包 http://archive-primary.cloudera.com/c