- 博客(7)
- 收藏
- 关注
RSS订阅原创 生产环境下 Spark1.3.1 源码编译 thrift功能 及碰到的问题
在此不再赘述hadoop环境搭建默认是搭建好了（我这里用的版本是hadoop2.2+hive0.12，所以需要自己编译）1、下载spark源码git clone git://github.com/apache/spark.git -b branch-1.32、编译spark 1) 建议使用jdk1.7编译，不建议1.6 expor
2015-05-04 18:40:20
666
原创 读取hdfs文件内容导入mysql（续）
现在想单独的写个类实现读取hdfs文件内容导入mysql，也就是使用java api 来写main方法那种形式来实现。Configuration conf = new Configuration(true);conf.set("fs.default.name", "hdfs://cluster2");conf.set("fs.hdfs.impl", "org.apache.ha
2015-04-09 15:40:40
2906
原创 借鉴sqoop实现hdfs文件内容导入mysql
这次需要将hadoop mr的计算结果导入到mysql中，虽然是mr的结果导入db中，为了保险起见，还是存在hdfs上，之后读取hdfs上的结果导入db中，读取失败可重新执行单个读取导入过程。一般先动手前，有个思路，再百度看看是否有更好的实现，大略搜了一下，发现sqoop貌似实现了hdfs和各种dc之间的读取写入。这里，因为业务简单，都是insert语句不涉及事务，只是连接一个db，不
2015-04-07 17:34:18
1328
原创 个人推荐 linux下配置Nutch Solr 视频下载地址
开始学nutch，一般只涉及命令等，不涉及调试，用的是linux环境。有些磕磕碰碰，我也是初学者，建议大家可以看看杨尚川老师的Nutch框架相关视频，如何安装配置操作，讲的很清楚。地址如下：http://pan.baidu.com/share/link?uk=3157595467&shareid=1035458380#dir一般需求看1-10就能满足了，满基
2013-12-21 16:54:26
814
原创 win7下MyEclipse装Nutch1.7
一、下载安装包下载 apache-nutch-1.7-bin.zip 和 apache-nutch-1.7-src.zip 2个包二、基本环境搭建1、解压apache-nutch-1.7-src.zip包到eclipse的工作目录下面，如：D:\Workspaces\MyEclipse 8.5\test\apache-nutch-1.72、解压apache-nutc
2013-12-21 16:17:09
1315
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人