云计算
关注
分享
扫一扫
lbxhappy
这个作者很懒，什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
hadoop Text编码问题
Hadoop写map/reduce作业开始，就遇到了输入数据是GBK编码的问题，hadoop的writable默认是以utf-8进行编码，如果输入数据时GBK编码的话，则进行转码操作如：String line=new String(value.getBytes(),0,value.getLength(),"GBK");String line=value.toString();之所以会把GB...原创 2012-06-01 17:33:15 · 269 阅读 · 0 评论 -
hive 安装运行权限错误Permission denied: user=hive, access=WRITE,
在安装hive过程中遇到了hive权限错误： : Error in metadata: MetaException(message:Got exception: org.apache.hadoop.security.AccessControlException Permission denied: user=hive, access=WRITE, inode="/":hdfs:hadoo...原创 2013-07-24 17:10:56 · 2633 阅读 · 1 评论 -
hadoop 运行任务超时
在默认指定的10分钟或具体在配置文件指定的时间内没有报告状态，会出现任务超时的异常，最好的解决办法： 1、设置更长的等待时间 mapred.task.timeout设置该属性 2、增加计数器的值 3、...原创 2012-08-29 15:08:46 · 572 阅读 · 0 评论 -
Task process exit with nonzero status of 1.
在平时跑mapReduce程序时，经常会遇到这样的错误，网上也有好多针对该错误的解决办法，但是我遇到的并不是因为hadoop环境配置出的错，错误可能会是自己的代码或hadoop资源紧张导致的该错误。我有次log4.xml配置文件有问题也报这个错误，这个问题 挺二的，希望有遇到这种错误的把解决方案奉献下！！！！！java.lang.Throwable: Child Error at org....2012-08-28 11:08:36 · 177 阅读 · 0 评论 -
mahout中bayes分类分析—2
2、模型以上训练部分的四个job执行完毕后，整个bayes模型就建立完毕了，总共生成并保存三个目录文件：trainer-tfIdftrainer-weightstrainer-thetaNormalizer我们可以将模型从分布式上Sequence文件导成本地的txt文件进行查看。3、测试调用类：Test...原创 2012-11-27 17:40:13 · 145 阅读 · 0 评论 -
mahout中bayes分类分析—1
根据http://blog.163.com/jiayouweijiewj@126/blog/static/17123217720113115027394/进行了bayes学习分析，部分内容做了更改：首先解释下 TFIDF原理： TF-IDF（term frequency–inverse document frequency）是一种用于资讯检索与资讯探勘的常用加权技术。TF-IDF是一种...原创 2012-11-26 14:57:42 · 151 阅读 · 0 评论 -
谷歌开源 Supersonic 查询引擎
谷歌近日开源了其Supersonic项目。据谷歌描述，Supersonic是一个超快速的、针对列存储数据库（Column-oriented DBMS）的查询引擎库，使用C++编写。Supersonic提供了一组大量使用缓存相关算法、SIMD指令和矢量化操作的转换原语，并可以利用现代的超线程CPU的优势。Supersonic主要被用来作为各种数据仓库项目的后端。它的主要特性包括：1....原创 2012-11-21 11:25:41 · 486 阅读 · 0 评论 -
hadoop 源码编译 导入eclipse
hadoop 源码编译 导入eclipse hadoop2版本出来后，突然心血来潮想编译下hadoop2的代码并导入eclipse，以备以后有时间了进行代码研究用，现在总结了下编译过程以及如何导入到elipse。一下是必备条件hadoop版本：hadoop的尝鲜版release-2.0.3-alpha，svn地址：http://svn.apache.org/repos/as...原创 2013-04-25 18:23:24 · 221 阅读 · 0 评论 -
Cloudera Impala：基于Hadoop的实时查询开源项目
摘要：号外！Cloudera发布了实时查询开源项目Impala！多款产品实测表明，比原来基于MapReduce的Hive SQL查询速度提升3～90倍。Impala是Google Dremel的模仿，但在SQL功能上青出于蓝胜于蓝。CSDN报道 文/刘江 正在纽约进行的大数据技术会议Strata Conference + Hadoop World传来消息，Cloudera发布了实时查询开...原创 2012-11-13 11:08:34 · 146 阅读 · 0 评论 -
导出excel2007 poi3.8
poi3.8默认情况下，用到的临时目录是系统自带的临时目录，在本次项目中遇到临时目录超限，所以需要修改源代码指定需要设置的临时目录需要修改的类为：GZIPSheetDataWriter，SheetDataWriter GZIPSheetDataWriter压缩时候用到，如在构造workbook时：wokbook = new SXSSFWorkbook(new XSSFWorkbook...原创 2012-07-27 19:17:11 · 222 阅读 · 0 评论 -
hbase 导出 excel报表 jxl
package sina.hive.vipfaninfo;import java.io.File;import java.util.Iterator;import jxl.Workbook;import jxl.write.Label;import jxl.write.WritableSheet;import jxl.write.WritableWorkbook;...2012-07-27 18:58:19 · 262 阅读 · 0 评论 -
hbase 导入导出
[b]hbase导入导出第一方案：[/b]hbase已经自带了这个命令，下面就说一下怎么使用这个命令(一)设置环境变量在hadoop-0.20.2/conf/hadoop-env.sh 中添加export HBASE_HOME=/home/rain/hbase/hbase-0.90.0export HADOOP_CLASSPATH=$HBASE_HOME/hba...原创 2012-07-12 19:17:10 · 203 阅读 · 0 评论 -
hive函数大全
1.内置运算符1.1关系运算符运算符 类型 说明A = B 所有原始类型 如果A与B相等,返回TRUE,否则返回FALSEA == B 无 失败，因为无效的语法。 SQL使用”=”，不使用”==”。A B 所有原始类型 如果A不等于B返回TRUE,否则返回FALSE。如果A或B值为”NULL”，结果返回”NULL”。A < B 所有原始类型 如果A小于...原创 2012-06-29 19:14:55 · 299 阅读 · 0 评论 -
Hadoop Job Scheduler作业调度器
Hadoop Job SchedulerHadoop的作业调度器，可以以插件的方式加载，常见的作业调度器有三种：默认调度算法FIFO计算能力调度算法Capacity Scheduler(Yahoo!开发)公平份额调度算法Fair Scheduler(Facebook开发)默认调度算法FIFO简介:最早的Hadoop Map/Reduce计算架构中，JobTracke...原创 2012-06-21 11:46:04 · 152 阅读 · 0 评论 -
关于hadoop2.0自定义计数器
最近写了个mapReduce进行数据分析，发现数据不合理，想写一个计数器对某些发生异常的记录进行计数，但是查看了《hadoop权威指南》后发现使用的API是1点几 ，在网上搜到的也是1点几的例子，都用到了reporter，但是现在2.0后已经不用他，map 和reduce也是从mapReuce.Mapper或mapReduce.Reducer来继承，一下是使用计数器的例子，map方法内部分代码：...2012-06-07 11:38:01 · 105 阅读 · 0 评论 -
hive null 和空值
hive的数据源是基于hdfs的数据文件，如果文件的某一个字段是空值，那么hive查询出来是什么值呢，具体动手实验了下数据：2458，24723，1698，226，，如果在表中字段定义是字符类型，那么查询出的是空值如果在表中字段定义是数字类型，那么查询出的是NULL值...原创 2013-02-28 09:46:01 · 331 阅读 · 0 评论