第6回elasticsearch勉強会発表スライド。 #elasticsearchjp #elasticsearch
第6回elasticsearch勉強会発表スライド。 #elasticsearchjp #elasticsearch
JVMで動くelasticsearchを安定運用させるにはリソース監視も欠かせません。 今回は手軽なリソース監視が出来るMuninを用いて、インストール方法から作られるグラフサンプルの紹介まで行います。 利用プラグイン elasticsearch 1.x系で動くプラグインは現状これ1つのみです。Perlで書かれているため外部依存無しで動きます。 y-ken/munin-plugin-elasticsearch A useful Munin plugin for monitoring elasticsearch 1.x nodes in Perl. https://github.com/y-ken/munin-plugin-elasticsearch 次のプラグインが同封されています。 elasticsearch_cache - フィールドとフィルタのキャッシュ状況 elasticsearc
Elasticsearchのcuratorのブログ記事を読んで、日本語でツイートしたところ、Aaron Mildensteinさんから日本語（ローマ字）で返信を頂きました。 せっかくなので、ブログ記事を翻訳してもいいかを尋ねたところ、快くOKを頂いたので、翻訳してみました。参考になればと。（誤訳など見つけたらコメントください。） @johtani Kore no hou ga ii. Nihongo de no Curator RT, arigatou gozaimasu! #elasticsearch #curator #logstash — Aaron Mildenstein (@theuntergeek) 2014, 1月 22 curator: 時系列インデックスの管理 原文：curator: tending your time-series indices 背景 数年前、Elas
LuceneベースのNoSQL全文検索サーバ、elasticsearchはログ解析の収集先として取り上げられることが多いですが、優れたNoSQL全文検索サーバでもあります。 日本でも2013年末頃から続々とブログ記事や利用事例が増えている注目の技術でもあります。 今回は、その中で全文検索サーバとしての切り口で分かりやすく解説された6つの記事を紹介します。 （追記）Hello! Elasticsearch. — Medium ナレッジワークス株式会社のKunihiko Kidoさんによるとても分かりやすい記事です。 https://medium.com/hello-elasticsearch 2014年4月に入ってから怒濤の勢いでこれらのステキな記事が追加されています。 Elasticsearch Features — 主にシステムを中心とした特徴まとめ Elasticsearch Quic
普段はサーバのメトリクス可視化のためにcloudforecastを使っていますが、某案件用に数秒単位で数十台のサーバのメトリクスを表示したいので、記事タイトルのような構成を作ってみた。 dstatでとった各種値の他に、nginxとmemcachedの情報も合わせて表示させています。 セットアップ もろもろのセットアップのメモ 監視サーバ まず、監視サーバにElasticsearchとkibanaをいれる。環境はCentOS6 $ sudo yum install java-1.7.0-openjdk $ sudo rpm -Uvh https://download.elasticsearch.org/elasticsearch/elasticsearch/elasticsearch-1.x.x.noarch.rpm Elasticsearchは特に設定なく起動 $ sudo service
FluentdのtailプラグインでElasticsearchのログを収集する方法を紹介します。 収集対象ログ /etc/elasticsearch/logging.ymlにて設定された動作でログを次のファイルに出力します。 /var/log/elasticsearch/elasticsearch.log /var/log/elasticsearch/elasticsearch_index_search_slowlog.log /var/log/elasticsearch/elasticsearch_index_indexing_slowlog.log slowlogに関しては/etc/elasticsearch/elasticsearch.ymlにて設定した閾値時間を超えて処理したクエリを記録できますが、デフォルトでは設定が行われていません。後々のパフォーマンス観察を容易にするためにも設
開発中の負荷試験をモニタリングしたくてdstat＋Kibanaで組んでみました。 通常モニタリングは専用のツール（muninとか）で行うと思いますが、 今回はfluentdとKibanaの組み合わせにdstatを絡めてみます。 監視対象にはdstatとtd-agent、fluent-plugin-dstatを入れます。 インストール方法や細かい設定は割愛。 今回はdstat -ams 5相当を実施する設定とします。 fluent-plugin-dstatが出力する内容（1レコード）は以下になります。 2014-02-12T07:25:18+00:00 dstat { "hostname":"large0000.example.com", "dstat":{ "total cpu usage":{"usr":"0.400","sys":"0.500","idl":"99.0","wai":"
インフラ担当の池田（@mikeda）です。 最近、Kibanaでアクセスログの可視化をやってみてるのですが、手でダッシュボードいじるのがダルいです。 例えばうちの場合はサーバクラスタ、顧客アカウントごとのアクセスを見たい場合が多く、その条件を毎回指定するのがめんどくさい。 ここを動的に生成できないかな、と思って調べてみました。 イメージとしては、 内部管理画面にクラスタ/顧客アカウントの一覧があるのでそこにKibanaのリンクを設置して、 クリックすると適切に設定されたKibanaに飛ぶ、 という感じです。 Kibanaのソースコードやドキュメントはぜんぜん読んでないのですが（すませんｗ）、UIをポチポチ触ってるととりあえず以下の2つの方法でなんとかできそうでした。 Kibanaサーバに設定ファイル配置 ElasticSearchに設定突っ込んでリダイレクト Kibanaサーバに設定ファイ
Elasticsearch 1.0.0 released ということで、早速アップデートしてみました！ elasticsearchを0.90.3から1.0.0へrpmで更新しました。 /etc/elasticsearch/elasticsearch.ymlの差分もあるので、オリジナルに加えていた変更点の反映・プラグインの更新も済ませたらesを再起動。数分応答返さず焦ったが無事完了！— Y.Kentaro (@yoshi_ken) February 13, 2014 本日は、このアップグレードを行った記録を紹介します。 # アップデート前 $ rpm -q elasticsearch elasticsearch-0.90.3-1.noarch # アップデート後 $ rpm -q elasticsearch elasticsearch-1.0.0-1.noarch 追記 公式のアップデート手
2014年02月10日 17:26 カテゴリelasticsearch 第3回elasticsearch勉強会にいってきました #elasticsearchjp Posted by ashibuya0128 No Comments No Trackbacks 第２回に引き続きいってきました。 リクルートテクノロジーズさんのキレイなビル！キレイな会場！ありがとうございます！ というところなんですが、超絶高所恐怖症なので、あのシースルーエレベータに乗る時は ぶるぶる震えて、目をつむっている有様です。 ここには就職できない。。。とか地味に思っています。 さておきw 今回も満載だったので、自分で何度か見返すことになりそうです。 Geohashing with Elasticsearch Florian Schilling, Elasticsearch Inc, 来た英語！英語はむかしとったなんとか
2014年2月7日にリクルートテクノロジーズで開催された「第3回 ElasticSearch勉強会」でトークしてきました！前回の皆様の発表はKibanaに関する情報がメインでしたが、今回は検索技術中心のガチな内容でとても楽しかったです。 懇親会では今回発表したYamabikoのコア部分である fluent-plugin-mysql-replicator を実際に利用している方もいらっしゃるなど、感謝感激雨あられでした！ありがとうございます！ その他にも2社合同で合同勉強会を開催しようといったお話を頂けるなど、実りのある時間を過ごせました。 発表テーマ 今回は「MySQLユーザ視点での小さく始めるElasticsearch」という発表です。 ログビジュアライズアプリであるKibanaを通じてElasticsearchに触れる方も少なからずおり、世間ではKibanaとセットで使う物であるような
今回はたまたま日本にいたElasticsearchの人をスペシャルゲストに呼べたので、大満足ですｗ 英語の通訳とかちゃんと勉強しないとなぁ。。。 とりあえず、てきとーなメモですが、残しておきます。 参加者数は130人＋スタッフ＋リクルートテクノロジーズ社内の人。という感じでした。アンケート集計はもう少々おまちを。 スライドがそろったら、また、更新すると思いますが、第一報という感じで公開しておきます。 懇親会にも50名も参加していただけて、非常に楽しかったです。 話ができてない方が多数いるかもしれませんが、次回以降、声をかけていただければと。 （物覚え悪いんで、あれですが。。。） 盛り上がってきてて楽しいなぁ。 スタッフの人達の練度も上がってきてるので、すごく楽ができてます。 至らない点とかあれば、こちらにコメントしてもらったりしていただければと。 Geohashing with Elast
概要 fluentd でサービスの情報を転送し、Kibana で分析したい これまでの過去データを一度に放り込みたい データの件数が合わない Kibana でエラーが発生する 各種設定を見直すことで対応可能 背景 長い長いミーティングに疲れ、集中力を擦り減らしたアナタは 無意識のうちにブラウザを起動していました。 去年まで勤めていた会社の同僚がシェアした記事が目に止まります。 「fluentd + Elasticsearch + Kibana で今どきのログ分析！」 感化されやすいアナタはおもむろに VM を立ち上げ環境を構築します。 Web サーバから吐き出されたログはオシャレでイイ感じにチャート化され、 満足したアナタは VM を落とし、再び仕事に戻りました。 しばらく経ったある日のこと、ふと気づきます。 「ログだけじゃなくて、ユーザ属性の分析にもコレ使えそう。」 毎度オレオレ管理ペー
昨晩、Elasticsearchから初のプロダクトとなるMarvelがリリースされました。ということで、さっそく触ってみて、簡単な紹介と感想を書いてみました。 Marvelって？ Elasticsearch社が初のプロダクトとしてリリースした、Elasticsearchクラスタモニタリングツールです。 次のような特徴があります。 plugin形式で提供 GUIがKibana メトリックスはElasticsearchに保存 SenseがChrome以外でも使える プロダクション環境で利用する場合は有料ですが、開発用途では無料で利用できます。 現時点(2014/01/29)では、0.90.9以上のバージョン(1.0.0.RC1含む)で利用が可能です。 なにができるの？ Elasticsearchクラスタに関するメトリックスを保存、可視化できるプロダクトです。 ドキュメント数やJVMの状況、クラ
Search and analytics, data ingestion, and visualization – all at your fingertips.
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
