
hadoop yarn 系列
Java蜗牛
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
spark学习十 yarn环境的搭建以及spark程序测试
前期准备 本文所有的操作基于arch linux,保证下述软件已经安装 jdkscalamaven 搭建hadoop hadoop像它的Logo一样,真得是一个体形无比巨大的大象,如果直接入手去搞这个东东的话,肯定会昏上好长一段时间。个人取巧,从storm弄起,一路走来还算平滑。 hadoop最主要的是hdfs和MapReduce Framework,针对第二代的hadoop即had原创 2014-07-22 20:18:17 · 977 阅读 · 0 评论 -
yarn学习心得 yarn上的程序开发
目录[-] 1 概况 2 应用开发 2.1 概述 2.2 客户端开发 2.2.1 提交应用 监控应用运行状态 2.3 AM开发 2.3.1 AM-RM协议 2.3.2 AM-NM协议 2.4 使用YARN编程库开发应用 2.4.1 YARN基础库 2.4.原创 2014-07-22 20:12:48 · 1574 阅读 · 1 评论 -
hadoop hdfs
HDFS API详解 Hadoop中关于文件操作类基本上全部是在"org.apache.hadoop.fs"包中,这些API能够支持的操作包含:打开文件,读写文件,删除文件等。 Hadoop类库中最终面向用户提供的接口类是FileSystem,该类是个抽象类,只能通过来类的get方法得到具体类。get方法存在几个重载版本,常用的是这个: static FileS原创 2014-09-04 23:54:58 · 616 阅读 · 0 评论