- 博客(275)
- 资源 (19)
- 收藏
- 关注
RSS订阅原创 java.lang.NullPointerException:com.cloudera.server.cmf.cluster.RulesCluster createServicesIfNeeded
在CM添加组件是遇到如下错误：发生服务器错误。将以下信息发送至 Cloudera。路径: http://10.0.41.131:7180/cmf/clusters/1/add-service/roleAssignments版本: Cloudera Express 5.7.0 (#76 built by jenkins on 20160401-1334 git:
2017-06-19 20:09:27
2790
原创 cloudera manager - Error while committing the transaction
现象：在用cloudera manager编辑各个组件配置的时候有可能会出现报错信息：Error while committing the transactioncloudera server 端日志：Caused by: java.sql.BatchUpdateException: Incorrect string value: '\xE5\xB7\x
2017-05-09 10:38:23
9921
原创 Invalid value set for db.setupType, the valid values are EMBEDDED or EXTERNAL
最近尝试了下 CDH ：cloudera manager 当前最新版本 5.10 数据库用的是自建的 其他配置都是默认无修改：启动server 会报错：2017-03-06 00:02:44,675 ERROR MainThread:com.cloudera.server.cmf.Main: Server failed.java.lang.IllegalArgumentEx
2017-03-08 11:28:56
3394
原创 splitVector "errmsg" : "not authorized on test to execute command
mongodb开启权限之后 splitVector 需要的权限。user: test_dadb: test拥有管理元权限 都不能执行成功：> db.system.users.find();{ "_id" : "admin.dba", "user" : "dba", "db" : "admin", "credentials" : { "SCRAM-SHA-1" : { "
2016-11-10 19:20:41
3179
原创 spark编译失败 PermGen space
最近 spark2.0 出来了 mvn 编译了下 ：报错：[ERROR] PermGen space -> [Help 1][ERROR] [ERROR] To see the full stack trace of the errors, re-run Maven with the -e switch.[ERROR] Re-run Maven using the -X
2016-08-01 19:23:52
1510
原创 hive & hue 中文乱码的问题
2个的乱码问题 都是由元数据库的 某些字段的字符集导致的。一、HIVE的乱码问题在元数据库执行以下语句：alter database hive character set latin1;alter table COLUMNS_V2 modify column COMMENT varchar(256) character set utf8;alter table TA
2016-07-01 11:48:29
10647
原创 FAILED: InvalidConfigurationException hive.server2.authentication can't be none in non-testing mode
在cloudera manager里面配置hive + sentry启动hiveserver2 执行命令 show roles 报错： Caused by: org.apache.hive.service.cli.HiveSQLException: Error while compiling statement: FAILED: InvalidConfigurationExce
2016-05-22 18:26:56
5527
原创 hive错误：Exception in thread "main" java.lang.RuntimeException: java.io.IOException: Permission denied
用不同用户去登录hive 可能会报如下错误：Exception in thread "main" java.lang.RuntimeException: java.io.IOException: Permission denied at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.ja
2016-04-27 21:58:41
15445
原创 error while loading shared libraries: libreadline.so.5: cannot open shared object file
错误信息：mysql: error while loading shared libraries: libreadline.so.5: cannot open shared object file: No such file or directory解决办法： yum install readline-devel readlinecd /usr/lib64
2015-12-15 10:48:58
11072
原创 error while loading shared libraries: libssl.so.6
执行 scripts/mysql_install_db --user=mysql 安装mysql的时候报错：./bin/my_print_defaults: error while loading shared libraries: libssl.so.6: cannot open shared object file: No such file or directoryFATA
2015-12-15 10:26:59
7638
原创 kettle用xstart打开报错failed to write core dump & the crash happend outside 解决办法
用xstart打开报错the crash happend outsidefailed to write core dump.Core dumps have been disabled.....老是会报错 crash 看日志也没看出什么缘故只是换了下操作系统 由centos5 -> centos6 jdk环境没有改变 。解决办法： vi /root/.kettle
2015-11-23 20:14:06
1885
原创 xmanager - xstart - The X11 forwarding request was rejected
安装xmanager启动xstart的时候报错： The X11 forwarding request was rejected 。。 查询了下 ssh的设置参数都正常，再次重装了下桌面环境 就恢复了解决办法： 在linux 机器上执行语句yum groupinstall -y "Desktop" "Desktop Platform" "De
2015-11-23 20:03:16
3820
原创 org.apache.hive.com.esotericsoftware.kryo.kryoexception: encountered unregistered class id 错误解决办法
执行hive 任务的时候 有些任务会报下列错误 hive 0.14 + 版本才会有这个问题，任务重做之后可能又会成功。1.错误信息：hdfs://nameservice1/tmp/hive/dbs/9c29873a-664f-45a4-87f5-aab6601b9661/hive_2015-09-22_14-51-49_927_648109380558598376-11/-mr-100
2015-09-22 15:32:38
20479
原创 mysql分区表简单例子
mysql分表可以有三种办法实现：1.直接物理表实现分区 （主要由程序控制）；2.通过merge存储引擎3.通过分区字段进行分区当然也可以通过上面3种方式进行自由组合下面的例子说的是第三种-分区表： a--创建分区表create table test_log( id bigint(20) not null AUTO_INCREMENT, name
2015-09-15 17:50:10
1913
原创 mysql基准测试 -benchmarks
测试环境 基准测试结果 ： [root@192-168-103-43 sql-bench]# ./test-insert --server=mysql --user=root --password=hive --logTesting server 'MySQL 5.6.25 73.1 log' at 2015-07-28 18:08:52Testing the speed of i
2015-07-28 18:26:55
1097
原创 诡异的Linux磁盘空间被莫名其妙占用问题
前段时间 收到kafka服务器磁盘空间满的报警邮件。在删除机器上多余的文件之后 发现。有近200G的存储空间莫名奇妙的被占用了逐个目录的du 都没找到相应的文件。 于是就想到了 是不是有同事删除了文件 但是对应的进程并没有被杀掉lsof |grep delete 发现了端倪 居然有4个近50G的文件 被删除了 但是对应的进程还在 于是kill掉文件对应的进程号 再 d
2015-07-21 16:07:45
6831
1
原创 InnoDB: Check that you do not already have another mysqld process 错误解决办法
非正常关机之后 再次启动mysql 失败 错误信息如下：150721 15:45:27 mysqld_safe Starting mysqld daemon with databases from /opt/mysql/data150721 15:45:27 [Note] Flashcache bypass: disabled150721 15:45:27 [Note] Flash
2015-07-21 15:55:21
17804
3
原创 hadoop2 JAVA_HOME is not set and could not be found
启动yarn的报错JAVA_HOME not set的处理办法问题： JAVA_HOME is not set解决办法：yarn-env.sh 中添加：export JAVA_HOME=/usr/java/jdk1.7.0_55 问题： JAVA_HOME is not set and could not be found （hadoop2 sh 的一个小bug
2015-04-23 18:25:35
8982
原创 hive中 日期格式转化办法小记
hive中 日期格式转化办法：2014-11-10 和 20141110相互转化的办法：1.from_unixtime && unix_timestamp-- 20141110select from_unixtime(unix_timestamp('2014-11-10','yyyy-mm-dd'),'yyyymmdd') from default.dual;-- 2014-1
2014-11-10 15:42:37
16766
原创 mysql的常用出错代码
mysql的常用出错代码1005：创建表失败 1006：创建数据库失败 1007：数据库已存在，创建数据库失败 1008：数据库不存在，删除数据库失败 1009：不能删除数据库文件导致删除数据库失败 1010：不能删除数据目录导致删除数据库失败 1011：删除数据库文件失败 1012：不能读取系统表中的记录 1020：记录已被其他用户修改 1021：硬盘剩余
2014-09-27 12:03:24
988
原创 hive 日期函数小结
1.to_date(expr) - Extracts the date part of the date or datetime expression expr
2014-09-16 16:14:32
52025
原创 hive函数 -- stddev , stddev_pop , stddev_samp , var_pop , var_samp
标准差是方差开方后的结果(即方差的算术平方根)假设这组数据的平均值是m 方差公式s^2=1/n[(x1-m)^2+(x2-m)^2+...+(xn-m)^2]
2014-09-16 15:12:57
47804
原创 mysqlbinlog 查看执行的sql (row模式)
当bin-log的模式设置为 row时 binlog_format=row 直接
2014-09-16 14:19:05
35979
1
原创 hive函数 -- regexp_extract
regexp_extract(str, regexp[, idx]) - extracts a group that matches regexp
2014-09-11 10:17:48
58702
2
原创 org.apache.hadoop.hive.ql.metadata.HiveException: Hive Runtime Error while processing row
java.lang.RuntimeException: org.apache.hadoop.hive.ql.metadata.HiveException: Hive Runtime Error while processing row (tag=0) {"key":{"reducesinkkey0":"00.26.37.E3.07.D3","reducesinkkey1":"2014-07-07
2014-09-03 12:00:46
28520
原创 浅析mysql内存参数之-- binlog_cache_size
binlog_cache_size含义：服务器配置了 log-bin的情况下
2014-08-09 12:35:27
40653
原创 mysql中char,varchar,text区别
char： char最大长度是255字符，注意是字符数和字符集没关系。可以有默认值，尾部有空格会被截断。varchar： varchar的最大长度65535是指能存储的字节数，其实最多只能存储65532个字节，还有3个字节用于存储长度。注意是字节数这个和字符集有关系。一个汉字字符用utf8占用3字节，用gbk占用2字节。可以有默认值，尾部有空格不会截断。text
2014-07-26 13:58:39
1230
原创 Hadoop异常处理 Bad connect ack with firstBadLink (No route to host )
java.io.IOException: Bad connect ack with firstBadLink as 192.168.1.178:50010Continuing ...java.io.IOException: Bad connect ack with firstBadLink as 192.168.102.178:50010Continuing ...
2014-07-17 09:59:24
6888
原创 java.io.IOException: java.lang.reflect.InvocationTargetException 问题的解决
执行select * from tb where createtime >= '2014-02-13' and createtime 抱下列错误： Error during job, obtaining debugging information...Job Tracking URL: http://192-168-102-155:50030/jobdetails.js
2014-02-17 19:34:09
24151
原创 hive函数 -- split 字符串分割函数
hive字符串分割函数split(str, regex) - Splits str around occurances that match regexTime taken: 0.769 seconds, Fetched: 1 row(s)返回值为一个数组例1：split('a,b,c,d',',')得到的结果：["a","b","c","d"] 当然，我们也可
2014-01-23 19:03:16
269534
3
原创 hive的几种文件格式
hive文件存储格式1.textfiletextfile为默认格式存储方式：行存储磁盘开销大 数据解析开销大压缩的text文件 hive无法进行合并和拆分2.sequencefile二进制文件,以的形式序列化到文件中存储方式：行存储可分割 压缩一般选择block压缩优势是文件和hadoop api中的mapfile是相互兼容的。3.rcfile
2014-01-20 14:31:51
19926
原创 hive 小文件的合并 hive.merge.mapredfiles
起因：最近仓库里面新建了一张分区表，数据量大约是12亿行，分区比较多，从2008年7月开始 一天一个分区。配置了一个任务 对这个表进行group by 的时候 发现启动了2800多个maps .执行的时间也高大10分钟。然后我在hdfs文件里面看到 这个表的每个分区里面都有20多个小文件，每个文件都不大 300KB--1MB 之前的hive的参数：hive.merg
2014-01-03 16:15:04
13481
原创 hive函数 -- asin
反正弦函数asin(x) - returns the arc sine of x if -1asin(x)定义域 [-1,1] x在其它区间的话 得到的值是null值域 [-pi/2,pi/2]实例： asin(-1) = -pi/2asin(1)=pi/2
2014-01-02 18:52:40
1743
原创 hive 函数参数产生的错误：Hive Runtime Error while processing row {"sys":"0"}
函数参数用错 产生的错误：select from_unixtime(unix_timestamp(),'YYYY-mm-dd') from default.dual; Diagnostic Messages for this Task:java.lang.RuntimeException: org.apache.hadoop.hive.ql.metadata.HiveExcep
2013-12-24 13:56:14
27999
原创 hadoop datanode 磁盘坏掉之后的解决办法
之前发了一篇文章：http://blog.csdn.net/lxpbs8851/article/details/17241551记录的是由于开启了 坏掉磁盘的datanode，导致集群部分功能无法使用的现象。上次的解决办法是 直接暴力kill掉了坏掉磁盘的DataNode && TaskTracker 修复的节点记录为 slave143过程如下：1.下线slave143
2013-12-23 14:18:13
14813
2
原创 hive中的wm_concat 同列非数字字符串的拼接
oracle:http://blog.csdn.net/lxpbs8851/article/details/7179291 之前写了个中oracle 不支持 wm_concat 的解决办法。 现在在hive中遇到同样的问题，该如何解决？sys_region(id,name)1 a 1 b 2 c 2 d
2013-12-19 17:22:19
12369
原创 hadoop balance 需要在退出安全模式的情况下进行
执行balance的时候 集群的安全模式需要关闭 不然会有下面的错误信息，并且balance不会成功的执行。Received an IO exception: org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot create file/system/balancer.id. Name node is in safe
2013-12-11 17:39:42
2330
原创 hadoop 异常 reduce长时间卡住停滞不前的问题
起因： datanode的磁盘挂掉了2个 昨天的任务跑完了之后，检查了下dfsadmin -report 监测到集群之中有个节点的 Configured Capacity 比其它的节点少了差不多2个磁盘的容量；然后去检查了下这个节点 发现确实有2个磁盘出了问题。 于是。重启 换磁盘 ，重新启动了节点。然后在此节点上 执行了balancer 问题出现了：
2013-12-10 11:33:21
12756
原创 hive函数 -- ascii
ascii 码函数ascii(str)ascii(str) - returns the numeric value of the first character of str返回 str 第一个字符的ascii 码值 实例：ascii('123') = 49 附录：ascii 码表：http://blog.csdn.net/lxpbs8851/art
2013-12-05 17:29:29
6956
X-Win32 2012 安装文件
2012-11-06
zookeeper 3.4.3安装包
2012-11-30
深入理解MySQL核心技术（中文PDF）
2013-03-22
redis安装包
2012-10-23
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人