弩马

转载 Spark相关的projects

1 DryadLINQ, FlumeJavaSimilar “distributed collection” API, but cannot reuse datasets efficiently across queries2 Relational databasesLineage/provenance, logical logging, materialized views3 G

原创 mongodb python driver--pymongo

1,install driverRHEL上无法通过yum安装， 所以：/usr/bin/easy_install pymongoUbuntu上无法通过apt安装，所以：apt-get install python-pip  ;  pip install pymongo2,usage>>>import pymongo>>>client=MongoClient('ip',p

转载 利用Servlet输出PDF

转自  http://www.javait.org在firefox下很正常，可以在chrome里就只是下载，利用Servlet在客户端输出PDF文件其实在很多网站上都有这方面的技术文章，今天我们还是为大家总结一下这个技术。首先，要在客户端输出PDF文件，必须将HTTP的请求头的MIME进行设置。response.setContentType("application/pdf

原创 插入xml文件到mysql

package cn.jn.bq.mawt.test;import java.io.*;import java.sql.*;/* * DB:        bq_test * Table:    tsblob * create table tsblob( *     tid bigint not null auto_increment primary key,

原创 servlet中获取配置参数

在web.xml中添加        secret      marvin  在servlet中使用String admin_secret = this.getServletContext().getInitParameter("secret");之前所所说的application.getInitParameter都无法用了

原创 servlet中重定向后别忘了return

Servlet 中重定向有两种方法：1，RequestDispatcher reqdis = req.getRequestDispatcher("/error.jsp");reqdis.forward(req, resp);    2，resp.sendRedirect("error.jsp");    这两种方法后面如果没有return, 就会出现ja

转载 Giraph支持哪些类型的Graph

Due to the distributed BSP nature of Giraph, all graphs are represented by application code as a Vertex implementation. By subclassing existing Vertex implementations (strongly suggested at this stage

原创 windows下tex环境之Ctex+texmaker

ctex自带的winedt很不爽，毅然决定更换免费又美观的texmaker很轻松地安装了ctex，但是texmaker编辑的tex中如果出现中文总是不对，要么是编译错误，要么就是显示为乱码，有很多人说要把文档保存的编码选为utf-8没用，除了在texmaker中选择我还用其它的工具转换，都不行，后来无意之间将编码换成了gbk,一切都OK，害的我郁闷了好几天。国外的学者论

原创 加密tar.gz文件

将文件夹tex打成tar包 tex.tar.gz 并加密加密tar包并压缩tar czf – tex | openssl des3 -salt -out tex.tar.gz 解密tar包并且解压缩openssl des3 -d -salt -in tex.tar.gz | tar xzf -执行完命令后会提示你输入，加上 -k参数可运用在程序中可自动设置密码。

原创 emacs技巧，不断补充

快捷键1 复制粘贴用Ctrl-@ 设置起点， 然后移动光标到终点， 为了确认你的起点和终点，可以用 C-x C-x 将光标在起点和终点间切换，如果没问题了，可以用 Alt-w 来复制。用 C-y 来来黏贴2 取消 Ctrl-x u3 打开或创建buffer Ctrl-x Ctrl-f4 关闭 Ctrl-x Ctrl-c5 删除到行尾 Ctrl-k6 只保留当前

原创 ubuntu中文latex环境

第一步，安装基本的LaTeX环境：1sudo apt-get install texlive第二步，安装中文字体包。字体包中包含bsmi，bkai，gkai，gbsn四种中文字体。bsmi和bkai是Big5编码的宋体和楷体字；后两者gkai和gbsn分别处理简体中文楷体字和宋体字。1

原创 itext 输出多页PDF

package cn.jn.bq.itext.pdf;import java.io.File;import java.io.FileNotFoundException;import java.io.FileOutputStream;import java.io.IOException;import java.net.MalformedURLException;imp

原创 使用SimpleFramework来序列化对象并解析XML

package cn.jn.bq.itext.test;import java.io.File;import java.util.ArrayList;import java.util.List;import org.simpleframework.xml.*;import org.simpleframework.xml.core.Persister;/**

原创 Apriori算法学习（一）

Apriori核心算法过程如下：扫描数据集合计算出各个1项集的支持度，得 到频繁1项集的集合。连接，由2个只有一个项不同的属于的频集做一 个（k-2）JOIN运算得到的。剪枝，由于是的超集，所以可能有些元素不是频繁的。在 潜在k项集的某个子集不是中的成员是，则该潜在频繁项集不可能是频繁的可以从中移去。通过 单趟扫描数据集合，计算中各个项集的支持度，将中不满足支持度的项集去掉形成。

转载 WCF分布式安全开发:消息安全模式之自定义X509证书验证

09/03/2012 21:27 |作者frankxulei |阅读次数：141|评论:1条今天继续介绍WCF分布式安全开发实践(12):消息安全模式之自定义X509证书验证，Message_CustomX509Certificate_WSHttpBinding 。本文介绍的内容主要是：主要是消息安全模式的自定义证书身份验证方式，基于WSHttpBinding绑定协议的实现过程。主要内容：

原创 考中科大的自动化专业的经历

经历了痛苦的考试，立此存照去年英语的线是50，专业课是60，要命的是矩阵论，用的教材坑跌，写书的老师更坑人，

原创 Scala学习记录（一）

1 import scala.collection.mutable.ArrayBuffer  2 val a = new Array[String](10)  3 val s = Array("Hello","World")  4 val b = ArrayBuffer[Int]()  5   6 b+=1  7 b+=2  8 b+=3  9 println(b)

转载 Extjs，是免费的吗？

转自 ：   http://www.cnblogs.com/liping13599168/archive/2011/01/19/1938781.html很多读者对这个问题感兴趣，实际上Jack已经把答案写在http://www.extjs.com/license 里了，对EXT的授权形式做了详细的说明。EXT的授权形式有3种，如下所示。（1）免费授权     大家先别高兴，

原创 nagios的强大源自于其丰富的组件

nagios的功能实在太强大，它的强大源自于其灵活的可扩展的架构，围绕它的核心已经有相当多的组件来扩从它的功能。以下是我们用到的一些组件，NRPE 客户端，支持主动和被动两种方式，采用的是插件式的架构，你可以按照自己要监控的参数来定制相关的插件。NSCA 它运行一个nsca的服务，允许被监控的客户端通过nsca_send命令将本地的状态发送到服务端，如果要支持被动监

原创 nagios的几种客户端

linux平台首选nrpe,http://exchange.nagios.org/directory/Addons/Monitoring-Agents/NRPE--2D-Nagios-Remote-Plugin-Executor/detailswindows平台1, nrpe_nt配置命令的时候要用check_nrpehttp://exchange.na

原创 Spark, 一个实验的大数据分析项目

斯坦福大学AMP实验室开展的一个研究项目，目的是开发出一种比MR更具有普适性的编程模型。它与MR的区别是MR是批处理型的，它却是内存型的。Spark started as a research project at UC Berkeley in the AMPLab, which focuses on big data analytics.Our goal was to design

原创 用word中的正则表达式批量删除不想要的东西

1，替换空行替换时勾选“正则表达式”然后把所有的 "^$" (不含引号) 替换成没有。2，删除字与字之间的空格在查找框内输入([!a-zA-Z0-9\]]) ([!a-zA-Z0-9\[])，在替换为框中输入\l\2，然后点击全部替换就OK了。上面的意思是查找的内容不包括英文字母、数字和符号]，\1的意思是查找到的第一部分内容，\2的意思是查找到的第二部分内容，第一部分的内

原创 叫不叫大数据无所谓，贵在坚持

欧洲的Unicore项目，从07年开始，已经6年多了，一直在不断的更新，越来越成熟了！UNICORE (Uniform Interface to Computing Resources) offers a ready-to-run Grid system including client and server software. UNICORE makes distributed comp

原创 出差遇到上网受差别对待，自己搞定

今天到合肥参加考试，住在科大西校区的德力华酒店，路上就说有封邮件，到了宾馆急忙打开电脑，设置为自动获取IP，无法上网，叫来大堂经理，她很热情，开始说我们房间的网线可能坏了，换了一根，还是不行，然后说网口坏了，换了个房间还是不行，然后说其它房间的人都能上网。大堂经理没办法了，只能我自己解决了。先看是否分配到IP，OK，分到了，再看是否能ping通网关，OK，再ping

原创 ubuntu PDF中文乱码问题

查了一下，就是缺少cmap，apt-get install poppler-data暂且记录一下，

原创 Nagios又发新版本了

Nagios Core 3.5.0 Released堪称顶级的开源监控系统，好多互联网公司都是采用它作为基础，再加上点上层显示。我也倒腾过1年多，对它的内部机制和代码都很熟悉，07到08年搞的，已经从2.2升级到了3.5， 快5年了，衷心祝愿越来越好。3.5.0 - 03/15/2013FIXESFixed bug #403: The "configuration"

原创 Ubuntu安装ibus google拼音

首先我们要到ibus Google拼音输入法的主页 下载两个安装包到桌面，如下：1. ibus-googlepinyin-0.1.2.tar.bz2   2. libgooglepinyin-0.1.2.tar.bz2 一、使用下面命令将其解压。1. tar jvfx libgooglepinyin-0.1.1.tar.bz2   2. tar jvfx ibus-goog

原创 rdesktop连接windows

使用rdesktop连接Windows远程桌面Windows提供了一种远程桌面系统，可使用户远程登录进行系统管理或作为终端服务器运行各种应用软件。要连接Windows远程桌面，需在Windows客户端安装相应的软件（tsclient）。如果你是Windows服务器管理员肯定使用过该工具，因为远程桌面能大大方便系统管理员远程维护服务器。在Linux系统中，我们也可通过rdesktop工具连接Wi

原创 LinkedIn的使用开源项目

LinkedIn是一个社交网络，为专业人士。它是建立使用开源产品。他们赞助了很多开源的项目。这里是LinkedIn所使用的开源产品的列表。编程语言：LinkedIn使用C + +，Java，scala，Python和Ruby。Hadoop是商品硬件内置的大型集群上运行的应用程序的框架。 http://hadoop.apache.org/zakaban是简单的批处理调

转载 iText的简单应用-图象和文本的绝对位置

地址是： http://hi.baidu.com/suridea/item/f5a76214db95bbf587ad4ef6到目前为止，我们已经使用了简单的iText，我们已经添加了文本、图片、段落、章节、列表、表格等，没有涉及到布局问题。Itext分割文本到每页中，并将每个单词、句子、段落布置到页面上，但有时我们并不需要这种自动格式，有时我们希望将一些图象或者文本放置在某页的指定位置

原创 伯克力的大数据方案

原创 玻璃后面的小蜜蜂

今天阳光明媚，清风阵阵，把窗子打开，一段时间之后，两扇窗户半开半关，再过了一段时间，被一阵嗡嗡声吸引，原来是来了一只小蜜蜂，在关着的窗户的后面，努力地想要飞出去，可是被玻璃遮挡，1次，2次，。。。。它不断地尝试着，甚至有一两次都已经到了窗户的边沿，只要再偏离一点点它就能发现，另一边没有玻璃遮挡，1分钟，2分钟，。。。半个小时过去了，我看着它一次比一次更加努力，一次又一次的失败，或许它很

原创 推荐ubuntu下的两个软件--项目管理和流程图

项目管理用planner,个人感觉跟MS的Project差距不大，很简单方便流程图就用dia,跟visio也差不了太多，

原创 itext5.4在ubuntu下无法显示中文并且编译不报错，换windows字体文件吧

找到了解决办法：用windows的字体文件，搞定tDoc.addTitle("你妹啊");            BaseFont bfChinese = BaseFont.createFont("/home/grid/taobao/files/Fonts/simyou.ttf",BaseFont.IDENTITY_H,false);                        Fo

原创 推荐一个关于科研工作者的搜索引擎

最近有些孤陋寡闻了，才发现清华做的一个东东，arnetminer.org 可以登录搜索一下自己或者自己的老板，能发现他的研究动态，以及他的一些圈子，很好，对我启发很大，今天帮了我大忙。

原创 用itext定制图片背景并输出中文

背景图片搞定了，但是中文还有问题，明天来解决public static void main(String[] args) throws Exception {        // TODO Auto-generated method stub        String TEXT    = "These are the protagonists in 'Hero', a movie

原创 用Sphinx建立静态网站来管理自己的工作

安装sphinx,运行sphinx-quickstart然后编写相应的rst文件，之后make，并放置到建立的httpd的虚拟目录中

原创 推荐一个很好的在线管理文献的工具Zotero

提供免费版本，跟firefox集成，能很方便地管理各种文献，包括笔记哦，传统的EndNote对于笔记管理比较麻烦。如果是专业用户可以稍微花点钱，

原创 符号链接与硬链接

符号链接（Symbolic link）windows下执行命令 mklink link_name target_name， linux下执行 ln -s创建链接后的图标和快捷方式很像在系统中不占用空间在文件系统中不是一个单独的文件在操作系统层解析（！？）如果源文件被删除了，链接就没用了移除源文件不会影响符号链接移除链接文件也不会影响源文件硬链接（Hard link）wind

原创 TCP与UDP混合的传输软件

近期把计算机网络重新复习了一遍，结合当前大数据的研究，发觉数据传输将是大数据的一个瓶颈，目前有很多加速数据传输的软件、硬件。有侧重降低延迟的，有偏向提速的，有把TCP深度挖掘的，如GridFTP,还有转向UDP的，我有一点想法，为什么不将TCP与UDP进行结合呢？对于一个待传输文件，如果将其分片，按照网络的不同情况选择TCP还是UDP进行传输，是不是效果更好呢？我打算在GitHub上开一个项目...