- 博客(12)
- 收藏
- 关注
原创 Hadoop自定义InputFormat
本文定义的InputFormat主要用于处理不需要分割的文件(例如视频,音频等),并将并将key值定为文件名,value值定为文件路径 代码如下: public class videoInputFormat extends FileInputFormat{ private static class videoRecordReader extends RecordReader{
2013-01-23 17:16:31
681
原创 MapReduce编程练习(一)
蒙特卡罗概率算法求π值的MapReduce并行实现 分析:我们可以按如下方法让计算变得可并行化: 1. 在正方形内随机地生成一些点 2. 计算这些点在圆形内的个数 3. p = 圆形内的点的个数 正方形内的点的个数 4. π = 4p 代码:(注:为了简单起见,我选用正方形1/4区域计算) (1)Driver: public class piDriver { pu
2013-01-09 21:24:30
932
转载 Ganglia监控Hadoop
Ganglia集群监控配置 操作系统环境:ubuntu-11.04-server-i386 集群环境: namenode 192.168.1.1 datanode1 192.168.1.2 datanode2 192.168.1.3 安装步骤 1.ganglia的服务端安装在namenode上 $ sudo apt-get install ganglia-moni
2013-01-04 10:11:12
1317
1
原创 值得分享学习的网站和博客
Python学习: 简明Python教程:http://woodpecker.org.cn/abyteofpython_cn/chinese/ Hadoop学习: Hadoop学习记录:http://lory-yang.com/2012/08/31/hadoop%e7%9a%84%e8%b5%b7%e6%ba%90/ Sed学习: Sed简明教程:http://coolshell.cn/
2013-01-03 10:22:37
641
原创 Fuse-dfs on Ubuntu 11.04
首先需要有Hadoop环境和java(sun-java6-jdk)。(此处不再详述) 1.环境需求 sudo apt-get install gcc g++ make gawk ant automake 2.安装Fuse 下载Fuse,这里我用的是Fuse-2.8.4 tar xvf Fuse-2.8.4.tar.gz ./configure --prefi
2012-12-29 16:56:04
1127
转载 MapReduce组合式,迭代式,链式
1.迭代式mapreduce 一些复杂的任务难以用一次mapreduce处理完成,需要多次mapreduce才能完成任务,例如Pagrank,Kmeans算法都需要多次的迭代,关于mapreduce迭代在mahout中运用较多。有兴趣的可以参考一下mahout的源码。 在map/reduce迭代过程中,思想还是比较简单,就像类似for循环一样,前一个mapreduce的输出结果,作为下一个ma
2012-11-09 20:58:07
624
原创 解决Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/commons/logging/LogFactory
在eclipse运行某些关于hdfs的Java API时,可能会遇到如下问题: Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/commons/logging/LogFactory at org.apache.hadoop.conf.Configuration.(Configuration.java:
2012-10-24 11:24:33
5999
转载 eclipse+makefile开发hadoop
注:此篇文章是我在别的地方转载过来的,原文出处:http://trac.nchc.org.tw/cloud/wiki/waue/2009/0617#a2.1安裝hadoop的eclipseplugin。在eclipse下开发hadoop程序很方便,但之前试了很多版本的eclipse都没有成功。有幸找到这篇文章,按照其一步一步配置,最后成功了。希望能给看到的人一些帮助。还有文中提到的hadoop-0
2012-09-20 15:33:56
1016
转载 启动tomcat无法访问http://localhost:8080/的解决方案
当在eclipse中启动tomcat后,在浏览器器输入http://localhost:8080/,无法打开我们熟悉的tomcat默认主页,而http://localhost:8080/projectpath却可以进入项目主页,这是为什么呢? 其实很简单,几步就解决问题: 首先,找到servers标签(别告诉我你找不到啊,这样我就无话可说了),找到你已经配置好的tomcat,看看t
2012-09-18 21:54:52
3354
转载 Hadoop Map/Reduce教程
目的 这篇教程从用户的角度出发,全面地介绍了Hadoop Map/Reduce框架的各个方面。 先决条件 请先确认Hadoop被正确安装、配置和正常运行中。更多信息见: Hadoop快速入门对初次使用者。 Hadoop集群搭建对大规模分布式集群。 概述 Hadoop Map/Reduce是一个使用简易的软件框架,基于它写出来的应用程序能够运行在由上千个商用机器组成的大型集群上,并
2012-05-31 17:37:36
893
原创 Hadoop集群搭建
一 配置环境 ubuntu 11.04 4台ubuntu11.04的虚拟机 IP地址分别为:server1:59.64.158.209(指定为namenode) server2:59.64.159.145;server3:59.64.159.89;server4:59.64.159.156 二 配置步骤 1 使用VMware Workstation安装ubuntu11.04过程略去
2012-05-24 10:36:20
462
转载 UBUNTU 下编译安装opencv 2.3.1
1.首先在终端运行下列命令进行必要的编译环境安装。 sudo apt-get installbuild-essential libgtk2.0-dev libavcodec-dev libavformat-dev libjpeg62-dev libtiff4-dev cmake libswscale-dev libjasper-dev 2.下载相应的版本到电脑里面,这里我们以下载Ope
2012-05-24 09:35:51
509
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人