
hadoop
文章平均质量分 74
iteye_15509
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Linux防火墙设置
1) 重启后永久性生效: 开启:chkconfig iptables on 关闭:chkconfig iptables off (2) 即时生效,重启后失效: 开启:service iptables start 关闭:service iptables stop 需要说明的是对于Linux下的其它服务都可以用以上命令执行开启和关闭操作。 (3)在开启了防火墙时,...原创 2013-08-21 16:08:48 · 142 阅读 · 0 评论 -
Hadoop集群的安装与布署
新安装的ubuntu server系统的root没有设置密码,首先修改密码 sudo passwd root centos 在安装时已经设置了root的密码 修改主机名(centos) vim /etc/sysconfig/network 或是 vi /etc/hostname 配制一个固定的IP vim /etc/sysconfig/network-sc...原创 2013-09-03 19:38:33 · 128 阅读 · 0 评论 -
HBase的注意事项
1.各服务器时间要同步 2.hbase与Hive的整合 https://cwiki.apache.org/confluence/display/Hive/HBaseIntegration http://blog.sina.com.cn/s/blog_8026da3a0101e3vy.html原创 2013-10-15 19:16:39 · 181 阅读 · 0 评论 -
Linux文件柄和进程限制数
来自 If you are on Ubuntu you will need to make the following changes: In the file /etc/security/limits.conf add a line like: hadoop - nofile 32768 Replace hadoop with whatever user...原创 2013-10-16 21:23:11 · 150 阅读 · 0 评论 -
Hadoop性能调优
重要参数 name 说明 mapred.task.profile 是否对任务进行profiling,调用java内置的profile功能,打出相关性能信息 mapred.task.profile.{maps|reduces} 对几个map或reduce进行profiling。非常影响速度,建议在小数据量上尝试 mapred.job.reuse.jvm.num.ta...原创 2013-12-12 13:36:40 · 147 阅读 · 0 评论 -
-Djava.library.path
一。如何使用native方法? java一般使用两个path:classpath 和 java.library.path classpath是指向jar包的位置。也就是JDK的lib目录 java.library.path是非java类包的位置如(dll,so) 配制方法: 1:LINUX下的系统变量LD_LIBRARY_PATH来添加java.library.path 2:在vm...原创 2013-12-18 15:23:23 · 4070 阅读 · 0 评论 -
hadoop 集群间数据迁移
将HDFS的路径hadoop.tmp.dir修改 <property> <name>hadoop.tmp.dir</name> <value>/home/tmp</value> </property> num=8 slave=lenovo #for i in {1.....原创 2014-03-12 14:38:09 · 265 阅读 · 0 评论 -
linux jdk ssh
下载download jdk from oracle.com 默认是在Downloads目录,用cp命令拷到/usr/lib/jvm/jdk目录,新建目录用mkdir 删除用rm -r 1) sudo chmod u+x jdk-***-linux.i586.bin 2)sudo -s ./jdk-***-linux.i586.bin 3)sudo g...原创 2013-04-01 11:01:59 · 143 阅读 · 0 评论