[AWS EXpert Online for JAWS-UG 18] 見せてやるよ、Step Functions の本気ってやつをな
Oct 18, 201316 likes16,282 viewsAI-enhanced description This document summarizes a presentation about using online machine learning with Jubatus for a real estate search service called SUUMO. Toru Shimogaki from NTT DATA Corporation presented on how SUUMO uses Jubatus classifier and multidimensional scaling to learn users' preferences and provide personalized search results. The system presents us
二年経過したので記録として置いておく感じで。 ということで気がついたら設立から二年経過していました。正直、まだ二年しか経過していないのか、という感じがします。この一年は二年分ぐらいの時間感覚でした。まじで時間経過が速すぎて死ぬかと思った。去年の今頃はAsakusaの立ち上げで、特にSI屋向けのサポートに力を入れていた時分で、今と状況がまるで違う状況でした。この一年では大きな試行錯誤を二回ほどやった感じになっていて、現在ではAsakusaの向こう側の違う方向性の模索し始めているところです。 大きな方向性としては、この一年で以下が大きく違ってきていると思います。 1.クラウド・コミットが普通になってきた、とはいえ、一方でまだまだというところも実情。元々クラウド上で構築や作業や環境の獲得は普通にやってきましたが、やはり、春先の西鉄ストアさんの基幹業務系をAWSで動かしたというのは、それなりのイン
2013/03/28 PFIセミナー「（道具としての）データサイエンティストのつかい方」資料 Ustreamの録画はこちらです→http://www.ustream.tv/recorded/37645309
Integration of Hadoop and MongoDB, Big Data’s Two Most Popular Technologies, Gets Significant Upgrade | 10gen, the MongoDB company MongoDB Connector for Hadoopは、Hadoopへの入出力データとしてMongoDBを使えるようにするソフトウェアで、新バージョンでは主に以下の機能が追加されています。 Apache HiveからMongoDBのデータへSQLライクな問い合わせ インクリメンタルなMapReduceジョブのサポートによる、アドホックな分析を容易に実現 MongoDB BSONファイルをHadoop Distributed File System（HDFS）上に保存することで、データの移動を削減 これにより以下のようなメリットが
Hadoop is an open distributed software framework that enables programmers to run an enormous number of nodes handling terabytes of data. One of its most significant abilities is allowing a system to continue to operate even if a significant number of nodes fail. Since Hadoop is continuing to mature, hiring managers and recruiters are finding few Hadoop specialists out there. Consequently, many of
今年も残り僅かとなりました。皆様はやり残したことはありませんか。本連載の第1回で「昨年2011年は日本ではビッグデータ元年であった」と書かせてただきました。では2012年は「ビッグデータ」の成熟の年になったでしょうか。 私は多くの意味で成熟したと考えています。ふわふわしてつかみ所が分からなかった「ビッグデータ」が、ITをビジネスとしている企業である、様々な製品ベンダー、システムインテグレータやコンサルティングファームで浸透し、国内外多種多様なソリューションが発表されました。 多くのユーザー企業では「ビッグデータ」を軸にしたマネタイズやリスク回避での利活用を意識した取り組みが展開されました。特にマーケットの声、顧客の声を掴もうと、CGM（Consumer Generated Media＝消費者生成メディア）活用に関しては、一般企業も継続して大きな関心を抱いています。 そして「ビッグデータ」を
写真1●「社会の頭脳システム」について説明するNTTドコモ 先進技術研究所ネットワークシステム研究グループの田中 聡 主幹研究員 NTTドコモは2012年12月10日、分散処理ソフト「Apache Hadoop」の企業利用に関するセミナーにおいて、1000台を超えるIAサーバーで構成する社内向けHadoopシステムについて解説、Hadoopの有用性と運用時の課題を説明した。 NTTデータが主催したセミナー「Hadoopエンタープライズソリューションセミナー2012」において、NTTドコモ 先進技術研究所 ネットワークシステム研究グループの田中 聡 主幹研究員が『社会の頭脳システムの構築と運用』と題した講演で紹介した（写真1）。この「社会の頭脳システム」は、モバイル通信インフラを活用して社会の様々な課題解決を支援する新サービスを開発・実行する目的で、ドコモが2009年から取り組んでいる社内向
Acroquest Technologyは2012年11月9日、分散処理フレームワークのHadoopや、Hadoop上に構築する分散データベースのHBaseの内部動作を可視化するソフトウエア「halook」をオープンソースソフトウエア（OSS）として公開すると発表した。halookでは、WebブラウザからHadoopで構築したクラスター間のデータの偏りや、クラスターのタスクなどを確認できる。 Hadoopの分散ファイルシステムでは、クラスターを構成するDataNodeにデータを分散させて保存する。各クラスター内に保持しているデータは、できるだけ均等に保つことが望ましい。各クラスターに保存されているデータ量に偏りがあると、データ量が大きいクラスターに処理が集中してしまい、サーバーの台数を増やしても処理能力がスケールしない可能性があるためだ。 halookの「HDFSDataDistribut
Hadoop普及のキモは既存「言語」の取り込みにある：Database Expertイベントレポート（1/2 ページ） Hadoopを使ったビッグデータ分析はエンタープライズ領域に本当に浸透する？ Clouderaはエンタープライズ市場の開拓に向けて着実に開発を進めているようだ 2012年11月7日『Cloudera World Tokyo』の開催に合わせ、米国Clouderaの共同創設者でCEOのAmr Awadallah氏が来日した。直近では、Impalaをリリースしたばかりのタイミングであったこともあり、Impalaを含む同社の次期Hadoopディストリビューション「Cloudera’s Distribution including Apache Hadoop（CDH）」バージョン5の情報やエンタープライズ市場でのHadoop活用の可能性を聞いた。 ClouderaとHadoopディ
既存のCDH3をCDH4にアップグレードしたり、 新規でCDH4をインストールする際の注意点をパラパラ書き留めておきます。 まだCDH4のマスターには程遠いので、まだまだ出るでしょうから小分けにします。 CDH3からCDH4のHDFSは利用できない CDHはそもそもバージョンを揃えるのが基本ですが、 それを知りつつもせっかく確認したことがあるので書いておきます。 エコシステムからHDFSに書き込めない CDH4のHDFSに対して、CDH3のHiveやFlumeなどからは書き込めません。 Hadoop本体だけでなく、例えばログ収集Agentまでアップグレード必須になると 台数が多かったり、他の会社が管理するサーバがあると大変です。 こういう場合、WebHDFSなどのAPIがあるとある程度吸収してくれるのでしょうが、CDH3にはWebHDFSがないのでアップグレードするしかありません。構成によ
CDH4（Cloudera's Distribution including Apache Hadoop v4）のインストールについて。 CDH4の概要 CDH（Cloudera's Distribution including Apache Hadoop）は、Hadoopのディストリビューション。 CDH4はHadoop2.0（旧Hadoop0.23）がベースとなっている。 CDH4のHadoopはMapReduce v1（MRv1）とYARN（MRv2）の二種類ある。 MRv1は従来と同じくJobTrackerやTaskTrackerを使用して動作する。 YARNは新しい方式で、ResourceManager・NodeManager（やApplicationMaster/Container）を使用して動作する。 （Hadoop0.23ではインストールは一種類で、パラメーターmapred
CDH4説明会に行って参りました。 日時：2012年7月6日（金） 場所：ベルサール八重洲 タイトル： 進化するHadoop：CDH4とCloudera Enterprise4.0のご紹介 アジェンダは以下の通り。 18:30 開場 19:00 開会のご挨拶（ジュゼッペ小林さん） 19:10 CDH4とCloudera Enterprise4.0（川崎さん） 〜エンタープライズにおけるHadoopの標準〜 19:50 CDH4はなぜエンタープライズに適しているのか（嶋内さん） 〜新しく導入された技術から読み解く〜 20:30 懇親会 21:00 閉会 以下、内容と感想をまとめておきます。スライドはあとで上がるそうなので、セミナーの詳細はそちらを参考にした方がよろしいかと。 あとはメモも上げられているので、こちらを見ると詳細がわかるかと。 http://d.hatena.ne.jp/gara
2012年7月のセミナーおよび説明会で使用した、CDH4の高可用NameNode(NameNode-HA)とCloudera Manager4.0の資料です。
リポジトリが正しくインストールされているか確認してみましょう。yumコマンドのinfoオプションを利用して、hadoopパッケージを確認してみます。 $ yum info hadoop Loaded plugins: fastestmirror, refresh-packagekit, security Determining fastest mirrors * base: mirror.siamdata.co.th * extras: mirror.siamdata.co.th * updates: mirrors.sin3.sg.voxel.net base | 3.7 kB 00:00 base/primary_db | 4.5 MB 00:04 cloudera-cdh4 | 951 B 00:00 cloudera-cdh4/primary | 24 kB 00:00 cloud
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
