后知后觉的it路

    1 The number of live datanodes 2 has reached the minimum number 0   org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.namenode.SafeModeException): Cannot delete /tmp/hadoop...

      1 简介 Hdfs federation实际是把多个hdfs集群统一到一个命名空间下。 Hdfs federation 作用扩大NN容量，共享DN数据，且方便客户端访问。 如何实现federation哪？使用client side mount table。   使用场景： a) 集群一部分对内使用，一部分对外开放 可以做成两个ha下的federation,第一个...

    1 zookeeper  -----> QuorumPeerMain   默认端口： 2181 客户端   2 storm ------> nimbus  supervisor   3 hadoop2 -----> NameNode SecondaryNameNode DataNode ResourceManager NodeManager       ...

        http://www.aboutyun.com/blog-61-62.html    

    0 mapreduce概述：   ◆MapReduce是一种分布式计算模型，由Google提出，主要用于搜索领域，解决海量数据的计算问题. MapReduce合并了两种经典函数： 映射（Mapping）对集合里的每个目标应用同一个操作。即，如果你想把表单里每个单元格乘以二，那么把这个函数单独地应用在每个单元格上的操作就属于mapping。 化简（Reducing ...

      setup cleanup map run   setup 在所有map方法运行之前执行 cleanup 在所有map方法运行之后执行 run 方法包括了 setup    cleanup   map 这三个方法 run 是框架调用，   自定义的MyMapper类 在mapreduce环境会根据 MyMapperl.cass 反射产生 MyMapper实例来...

    运行实例 请看链接 hbase java操作代码简介和NoClassDefFoundError: org/apache/hadoop/hbase/HBaseConfiguratio   最后部分加载hbase包那块，   后通过命令：   hadoop>bin/hadoop classpath   出现classpath 打印hadoop的classpath和包 或者...

      1 http://blog.csdn.net/shoubuliaolebu/article/details/44275897   YARN作业运行机制   2  http://my.oschina.net/u/1434348/blog/193374   YARN应用开发流程

     name  value Description  dfs.default.chunk.view.size 32768 namenode的http访问页面中针对每个文件的内容显示大小，通常无需设置。 dfs.datanode.du.reserved 1073741824 每块磁盘所保留的空间大小，需要设置一些，主要是给非hdfs文件使用，默认是不保留，0字...

        http://www.infoq.com/cn/articles/hadoop-ten-best-practice      

        http://www.tuicool.com/articles/BB3eArJ      

  0 准备文件 test 内容如下，中间用 \t间隔 [root@hadoop3 ~]# cat test hello you hello me      1 找到如下路径 hadoop2.5.2/share/hadoop/mapreduce:  位置下找到 example.jar     2 执行如下命令： [root@hadoop3 mapreduce]#...

      1 关于防火墙配置，ssh这里没有在讲述， 这里仅仅是讲述hadoop配置文件写法，启动命令等也没有描述     2 写法如下：     hadoop 简答分布式安装： 非ha版: a) 修改配置文件etc/hadoop/hadoop-env.sh export JAVA_HOME=/usr/local/jdk1.7 b) 修改配置文件etc...

  0 每一行执行一次map函数   每个组调用一次reduce函数   1 代码：  这里主要看main函数写法 注意和hadoop1写法不同处的对比  使用ant运行     运行集群参看: hadoop2 搭建自动切换的ha集群 yarn集群      注意 Mapper  Reducer类以及 map()  reduce() 方法对应的Context的包的引用      ...

  hdfs yarn 启动成功后访问的地址如下： http://h2master:50070/    hdfs http://h2master:8088/cluster   yarn     0) 自动切换流程简介：FailoverController ActiveFailoverController Standby 分别作为zk集群在namenode集群的代理代理人感知到nam...

    0 ha简介：   high availibility: 高可靠，有两个namenode节点在运行，一个是active状态 一个是standby状态，此两个namenode要保持内部数据一致性通过journalnode集群实现namenode内部数据一致性，active状态的namenode像journalnode集群写入数据，standby状态的namenode从journa...

    name table = fsimage ,  存放namonode中所有数据，运行时数据加载到内存中存放edits_inprogress 类似于LSM树中的Log，在向hdfs写的过程都向此文件存放，                 当存的数据到一定程度/或者定期间隔多久，会把此文件内容跟新到fsimage     刚开始写数据时会同时向namonode内存和edit中写，   ...

    eclipse创建maven项目后，在pom,xml中原来写法如下：   <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org...

        http://www.cstor.cn/textdetail_10211.html   根据Maneesh Varshney的漫画改编，以简洁易懂的漫画形式讲解HDFS存储机制与运行原理。   　　一、角色出演 　　   　　如上图所示，HDFS存储相关角色与功能如下：   　　Client：客户端，系统使用者，调用HDFS API操作文件;与NN交...

        http://www.aboutyun.com/thread-6945-1-1.html    待整理 写的很好

    在命令行里执行hadoop mr时， 打印百分比时  ctrl +c是不一定就关闭这个任务的， 应该用 hadoop job -list    hadoop job -kill jobid来杀死   hive>下执行hive sql跑任务  ctrl +c可以关闭掉     ...

        下面是自己编译hadoop源码， 然后将native库上传覆盖hadoop的过程     0 hadoop native库: 在hadoop压缩时 调用此库文件的jni(.so)来调用linux系统的功能, 一般我们的linux机器都是64位，而官网下载的hadoop安装文件都是32位编译的，因此如果不在你本机编译的话，想使用hadoop压缩功能受限。 ...

    1 简介：               yarn架构：        资源： 运行程序需要的CPU,内存，磁盘，网络        resourceManager: 资源管理，只要需要资源我就协调，不管需要资源的应用是 mapreduce/storm/spark        applicationMaster: 应用管理, 只要是应用，不管是mapreduce...

    0 注意： hadoop2中 不识别 _ 如果你在hadoop2的配置文件中出现_ 会报错，可以改名成 h2single511-115     1 hadoop2下载地址： http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.5.2/ 2 准备环境： a) 设置ip地址   这里设置为192.168.1.114b) ...

  0 简图：         1  命令所在位置： [root@h2single511-115 bin]# pwd /usr/local/hadoop2.4/bin     2 和hadoop1 shell的区别：   hadoop1 hadoop fs -ls /     其余写法类推 hadoop2 hdfs dfs -ls /        ...

      1 ant准备：a) ant安装在window环境下，并在lib下增加包： jsch-0.1.51.jar(没有此包,此包见附件 在hadoop2下回报错)b) 在window环境下运行会依赖很多hadoop2的环境，因此建议使用ant打包部署到hadoop2集群中打包运行c) 在window环境变量中 增加ant的配置路径   2 准备jar： 下载hadoop-2....

        package hdfs; import java.net.URI; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; public class App1 { ...

    hdfs为每一个用户创建一个回收站：目录： /user/用户名/.Trash/  每一个被用户通过shell删除的文件/目录在系统回收站中都有一个周期，周期过后hdfs会自动将这些数据彻底删除周期内 可以被用户恢复。   回收站样子如下： /user/用户名/.Trash/Current/文件 eg: /user/root/.Trash/Current/mydir...

      http://developer.51cto.com/art/201401/426625.htm       http://www.cnblogs.com/yuechaotian/archive/2013/03/08/2949607.html   mr 内存设置   http://developer.51cto.com/art/201401/426625.htm ...