自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

天的CSDN

数据与分布式

  • 博客(5)
  • 资源 (9)
  • 收藏
  • 关注

原创 hadoop1.0.4升级到hadoop2.4.1 with HA

hadoop hadoop 升级 hadoop1.0.4升级到hadoop2.4.1 with HA 1、准备 a)、节点 服务器 角色 namenode0 namenode,ResourceManager,zkfc datanode0 namenode,NodeManager,zkfc,datano

2014-08-06 11:04:34 1365

原创 python 线程中join方法的使用

1、作用:让子线程插入主线程,直到子线程结束,可理解为在在join调用处把子线程的code move到了主线程,主线程接着下面的代码运行 2、触发条件:手动调用或主线程要退出时自动调用 3、example a) 主线程代码将要结束时自动调用        from threading import Thread import threading from time import sleep

2014-03-12 15:42:01 1737

原创 日志收集系统解决方案探讨

日志收集系统解决方案探讨                                    [email protected]                   一、        需求背景     公司许多平台系统每天都会产生很多日志,日志的产生是源源不断的流数据(如网页pv,游戏实时在线等),为什么分析数据,需要一套通用的日志系统来传输这些数据,一般而言,这个系统需

2013-05-08 09:59:30 4745

原创 Java BIO,NIO理论总结

IO的方式通常分为几种,同步阻塞的BIO、同步非阻塞的NIO、异步非阻塞的AIO BIO情况下,能支持的连接数有限,一般都采取accept获取Socket以后采用一个thread来处理,one connection one thread。无论连接是否有真正数据请求,都需要独占一个thread,这一定程度上造成了资源浪费。 建立网络连接的时候采用BIO模式,需要先在服务端启动一个ServerSo

2013-04-02 17:30:29 1030

原创 Thrift工具的设计介绍

Thrift工具的设计介绍 1   前言     随着facebook流量的增加与网络结构的扩展,许多在站点操作(如:搜索,广告选择,交付,事件日志)的资源需求所提出的技术要求远远的超出了LAMP架构的范围.并且Facebook团队在开发应用选择编程语言时是基于选择最合适的语言干最适合的事情理念的,这就产生了跨语言访问的问题,这样thrift在facebook被提了出来,最后贡献给Apache

2012-12-14 14:56:02 857

收集的一些百度技术笔试题

完成函数 size_t foo(unsigned int *a1, size_t al1, unsigned int* a2, size_t al2) 其中a1和a2都为无符号数组,al1和al2为数组的长度,数组的长度为偶数。 无符号数组由一对数字区间组成。如下例: a1 为 0,1,3,6,10,20 a2 为 0,1,20,50,4,5 则 a1表示以下区间[0,1] [3,6] [10,20] a2表示以下区间[0,1] [20,50] [4,5] 则a1,a2的重叠部分为[0,1] [4,5],其长度为2 函数foo要求返回重叠区间的长度。上例中为2. 要求: 详细说明自己的解题思路,说明自己实现的一些关键点。 写出函数foo原代码,另外效率尽量高,并给出代码的复杂性分析。 限制: al1和al2的长度不超过100万。而且同一个数组的区间可能出现重重叠。 如a1可能为 0,5, 4,8, 9,100, 70,80 使用的存储空间尽量小。 2 多人排成一个队列,我们认为从低到高是正确的序列,但是总有部分人不遵守秩序。如果说,前面的人比后面的人高(两人身高一样认为是合适的),那么我们就认为这两个人是一对“捣乱分子”,比如说,现在存在一个序列: 176, 178, 180, 170, 171 这些捣乱分子对为 , , , , , , 那么,现在给出一个整型序列,请找出这些捣乱分子对的个数(仅给出捣乱分子对的数目即可,不用具体的对) 要求: 输入: 为一个文件(in),文件的每一行为一个序列。序列全为数字,数字间用”,”分隔。 输出: 为一个文件(out),每行为一个数字,表示捣乱分子的对数。 详细说明自己的解题思路,说明自己实现的一些关键点。并给出实现的代码 ,并分析时间复杂度。 限制: 输入每行的最大数字个数为100000个,数字最长为6位。程序无内存使用限制。

2010-10-14

关于数据仓库的一些资料

数据仓库的基本架构、数据仓库的多维数据模型、BI应用中的三大矛盾、

2011-08-30

数据仓库与数据挖掘课件

数据仓库与数据挖掘综述 概念、体系结构、趋势、应用

2011-08-30

hadoop源码分析

Hadoop源代码分析(六) 既然是RPC,自然就有客户端和服务器,当然,org.apache.hadoop.rpc也就有了类Client和类Server。在这里我们来仔细考察org.apache.hadoop.rpc.Client。下面的图包含了org.apache.hadoop.rpc.Client中的关键类和关键方法。 由于Client可能和多个Server通信,典型的一次HDFS读,需要和NameNode打交道,也需要和某个/某些DataNode通信。这就意味着某一个Client需要维护多个连接。同时,为了减少不必要的连接,现在Client的做法是拿ConnectionId(图中最右侧)来做为Connection的ID。ConnectionId包括一个InetSocketAddress(IP地址+端口号或主机名+端口号)对象和一个用户信息对象。这就是说,同一个用户到同一个InetSocketAddress的通信将共享同一个连接。

2011-10-09

指令与编程(编程中几种寻址方式)

寻址方式; MCS-51指令集; 伪指令; 汇编语言与简单程序设计.

2011-07-16

java sql jdbc库

jdbc链接库 :sql jdbc 用于连接sqlserver数据库的的库函数包

2009-11-23

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除