自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(12)
  • 收藏
  • 关注

原创 Hadoop自定义InputFormat

本文定义的InputFormat主要用于处理不需要分割的文件(例如视频,音频等),并将并将key值定为文件名,value值定为文件路径 代码如下: public class videoInputFormat extends FileInputFormat{ private static class videoRecordReader extends RecordReader{

2013-01-23 17:16:31 681

原创 MapReduce编程练习(一)

蒙特卡罗概率算法求π值的MapReduce并行实现   分析:我们可以按如下方法让计算变得可并行化: 1. 在正方形内随机地生成一些点 2. 计算这些点在圆形内的个数 3. p = 圆形内的点的个数 正方形内的点的个数 4. π = 4p   代码:(注:为了简单起见,我选用正方形1/4区域计算) (1)Driver: public class piDriver { pu

2013-01-09 21:24:30 932

转载 Ganglia监控Hadoop

Ganglia集群监控配置 操作系统环境:ubuntu-11.04-server-i386 集群环境: namenode 192.168.1.1 datanode1 192.168.1.2 datanode2 192.168.1.3 安装步骤 1.ganglia的服务端安装在namenode上 $ sudo apt-get install  ganglia-moni

2013-01-04 10:11:12 1317 1

原创 值得分享学习的网站和博客

Python学习: 简明Python教程:http://woodpecker.org.cn/abyteofpython_cn/chinese/ Hadoop学习: Hadoop学习记录:http://lory-yang.com/2012/08/31/hadoop%e7%9a%84%e8%b5%b7%e6%ba%90/ Sed学习: Sed简明教程:http://coolshell.cn/

2013-01-03 10:22:37 641

原创 Fuse-dfs on Ubuntu 11.04

首先需要有Hadoop环境和java(sun-java6-jdk)。(此处不再详述) 1.环境需求 sudo apt-get install gcc g++ make gawk ant automake 2.安装Fuse 下载Fuse,这里我用的是Fuse-2.8.4 tar xvf Fuse-2.8.4.tar.gz ./configure --prefi

2012-12-29 16:56:04 1127

转载 MapReduce组合式,迭代式,链式

1.迭代式mapreduce 一些复杂的任务难以用一次mapreduce处理完成,需要多次mapreduce才能完成任务,例如Pagrank,Kmeans算法都需要多次的迭代,关于mapreduce迭代在mahout中运用较多。有兴趣的可以参考一下mahout的源码。 在map/reduce迭代过程中,思想还是比较简单,就像类似for循环一样,前一个mapreduce的输出结果,作为下一个ma

2012-11-09 20:58:07 624

原创 解决Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/commons/logging/LogFactory

在eclipse运行某些关于hdfs的Java API时,可能会遇到如下问题: Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/commons/logging/LogFactory  at org.apache.hadoop.conf.Configuration.(Configuration.java:

2012-10-24 11:24:33 5999

转载 eclipse+makefile开发hadoop

注:此篇文章是我在别的地方转载过来的,原文出处:http://trac.nchc.org.tw/cloud/wiki/waue/2009/0617#a2.1安裝hadoop的eclipseplugin。在eclipse下开发hadoop程序很方便,但之前试了很多版本的eclipse都没有成功。有幸找到这篇文章,按照其一步一步配置,最后成功了。希望能给看到的人一些帮助。还有文中提到的hadoop-0

2012-09-20 15:33:56 1016

转载 启动tomcat无法访问http://localhost:8080/的解决方案

当在eclipse中启动tomcat后,在浏览器器输入http://localhost:8080/,无法打开我们熟悉的tomcat默认主页,而http://localhost:8080/projectpath却可以进入项目主页,这是为什么呢? 其实很简单,几步就解决问题: 首先,找到servers标签(别告诉我你找不到啊,这样我就无话可说了),找到你已经配置好的tomcat,看看t

2012-09-18 21:54:52 3354

转载 Hadoop Map/Reduce教程

目的 这篇教程从用户的角度出发,全面地介绍了Hadoop Map/Reduce框架的各个方面。 先决条件 请先确认Hadoop被正确安装、配置和正常运行中。更多信息见: Hadoop快速入门对初次使用者。 Hadoop集群搭建对大规模分布式集群。 概述 Hadoop Map/Reduce是一个使用简易的软件框架,基于它写出来的应用程序能够运行在由上千个商用机器组成的大型集群上,并

2012-05-31 17:37:36 893

原创 Hadoop集群搭建

一 配置环境 ubuntu 11.04 4台ubuntu11.04的虚拟机 IP地址分别为:server1:59.64.158.209(指定为namenode) server2:59.64.159.145;server3:59.64.159.89;server4:59.64.159.156 二 配置步骤 1 使用VMware Workstation安装ubuntu11.04过程略去

2012-05-24 10:36:20 462

转载 UBUNTU 下编译安装opencv 2.3.1

1.首先在终端运行下列命令进行必要的编译环境安装。 sudo apt-get installbuild-essential libgtk2.0-dev libavcodec-dev libavformat-dev libjpeg62-dev libtiff4-dev cmake libswscale-dev libjasper-dev 2.下载相应的版本到电脑里面,这里我们以下载Ope

2012-05-24 09:35:51 509

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除