※この記事は、"Blog Series of Introduction of Developer Productivity Engineering at Mercariの一環で書かれています。 はじめに こんにちは、メルカリ、サーチインフラチームのshinpeiです。今回はメルカリの検索基盤の裏側について、そのアーキテクチャ変遷について書こうと思います。2018~2021年の4年間で、大きく3回、変化をしました。設計の段階では希望と期待にあふれているアーキテクチャでも、問題は後からやってきます。設計には良し悪しがあり、変化することで知見を得ながら、改善を続けています。え、これだと危ないのでは？、、あぁ、やはりそうなるのね。などと、ご笑覧いただければ幸いです。 前回までのお話 メルカリの検索は、創業時から、Solrをベースにしたシステムで組まれてました。その変遷はこちらのスライドにまとめてあ
エムスリーエンジニアリンググループ AI・機械学習チームでソフトウェアエンジニアをしている中村(@po3rin) です。最近、AI・機械学習チーム配下の検索基盤チームでElasticsearchのAnalyzerをKuromojiからSudachiに移行しました。今回はSudachi移行の背景と、Sudachiの概要、実際に移行するにあたってのプロセスや注意事項をお話しします。 対象読者 なぜSudahchiに移行したのか 検索基盤チームが抱えていた検索の課題 Sudachiとは Sudachiへの移行戦略と実践 今使っているKuromojiユーザー辞書をSudachiユーザー辞書に移行する 今使っているシノニム辞書からSudachi正規化機能でまかなえるものを削除する 平仮名/カタカナの正規化辞書を作る 移行時のSudachi切り替え戦略 移行後の影響の事前確認 Sudachi移行時のハ
ElasticのクライアントライブラリがAWS OpenSearchへの接続を排除。AWSは仕方なくクライアントライブラリのフォークを発表 オープンソースの検索エンジンElasticsearchは、ログ解析による運用監視やセキュリティインシデントの発見、データ分析などに使われている人気のソフトウェアです。 その開発元であるElasticは、Elasticsearchのクライアントライブラリに対して変更を加え、AWSが提供しているElasticsearch互換のサービス「Amazon Elasticsearch Service」に対して接続を拒否する機能を追加しました。 今後、Elasticsearchのクライアントライブラリを用いたアプリケーションはAWSのElasticsearch Serviceを使えなくなってしまいます。 そこでAWSはElasticsearchクライアントライブラリ
Keeping clients of OpenSearch and Elasticsearch compatible with open source | Amazon Web Services
AWS Open Source Blog Keeping clients of OpenSearch and Elasticsearch compatible with open source The OpenSearch project is a long-term investment in a secure, high-quality, Apache-2.0 licensed search and analytics suite with a rich roadmap of innovative functionality. OpenSearch aims to provide wire compatibility with open source distributions of Elasticsearch 7.10.2, the software from which it wa
エムスリーエンジニアリンググループ AI・機械学習チームでソフトウェアエンジニアをしている中村(@po3rin) です。 弊社では毎週水曜日にElasticsearchとLuceneのコードリーディング会が開催されています。最近ではLuceneのFSTやKD-Tree、もうすぐ公開されるNSWの実装周りを読んでいました。 先日、私の発表回でLuceneのメモリ上での転置インデックスのデータ構造について発表したので、その内容を紹介します。Luceneのことが少しでも身近に感じていただければ幸いです。 Luceneとは 転置インデックスに関する事前知識 Luceneの事前知識 Luceneのメモリ上での転置インデックス実装内部 確保したメモリがあふれた場合 まとめ We're hiring !!! Luceneとは github.com Elasticsearchの内部で利用されているオープン
2021/6/24に行われたElasticsearch勉強会のスライドです。 7.3でGAとなったベクトルフィールドの機能とBERTを組み合わせて高精度な日本語類似検索を行う発表をしました。
graphql-rubyはリソースの参照元のデフォルトがActiveRecordなので、それをElasticsearchに変更したかったのですが、ライブラリがなかったので自分で実装しました。 環境について Ruby 2.7.3 Rails 6.0.3.4 Gem graphql 1.12.12 elasticsearch-model 7.1.1 実装方法について GraphQLのページネーションは Relay-Style Cursor Pagination が主流でしょう。その他、kaminariなどを使ったページネーションの実装もQiitaの記事で紹介されていました。 こちらの記事にあるように、社内で使うだけとかであれば、kaminariのページネーションを使うのもありだと思うのですが、最終的に公開を目指しているAPIなので、素直にRelay-Style Cursor Paginatio
Photo by Norman Tsui on UnsplashElastic Stack (Elasticsearch) Advent Calendar 2020 の 12月21日のエントリーです。 突然ですが、みなさんは不特定多数の人が投稿するシステムで、不適切な用語やNGワードを投稿されないようにしたいという要望を実現するために、どのようなシステムを設計しますか？ 文章がスペースで区切られている英語でも複数形や過去形さまざまな形があります。日本語はさらに難しく、言語処理だけでも大変です。 また、不適切な単語やフレーズを検出するロジックをプログラミングしてしまうと、新たに発生する要件を実現するにはプログラムの変更が必要です。 パフォーマンスはどうでしょう？チェックする用語が膨大になっても大丈夫ですか？ と、スクラッチで開発しようとすると結構いろいろ大変ですよね。 Elasticsear
この記事は Elastic stack (Elasticsearch) Advent Calendar 2020 の 22日目の記事になります。 こんにちは、@shin0higuchiです😊 今回のテーマは、「Elasticsearchで教師あり機械学習」ということで、Data Frame Analyticsの機能を紹介します。 はじめに 2017年ごろから、Elasticsearchには時系列データの異常検知に特化した、教師なしの機械学習機能がありました。 詳しくは、昨年（2019年）のAdvent Calendarで @yukata_uno さんが 「Elastic Machine Learningの歴史を振り返る」という記事を書いていらっしゃるのでそちらをご参照ください。 今年は Elasticsearch の Ver.7.2 で transform が利用可能となり、 そこから
こんにちは、アクロクエストテクノロジー株式会社でElastic Stackのコンサルティング業務を担当している吉岡です。本記事は、Elastic Stack (Elasticsearch) Advent Calendar 2020 の14日目の内容になります。 本記事では、2020/10/13～2020/10/15に開催されたElastic ON Globalで、個人的に最もエキサイティングに感じたセッション「Schema on read with runtime fields」を紹介します。 Elastic ON Global www.elastic.co Schema on read with runtime fields セッション概要 セッションを読み解くための重要キーワード Schema on Write と Schema on Read Runtime Field 発表資料に関
AWS、ElasticsearchとKibanaのフォークによる「OpenSearch」プロジェクトを発表。Elasticとの溝は埋まらないまま AWSは、オープンソースの検索エンジンと可視化ツールの「OpenSearch」プロジェクトを発表しました。これは検索エンジンおよび可視化ツールとして人気のElasticsearchとKibanaをフォークしたものです。 Introducing the #OpenSearch project: a community-driven, open source fork of Elasticsearch & Kibana. https://t.co/VmlP14DiIC pic.twitter.com/YFAI0KkIx3 — AWS Open Source (@AWSOpen) April 12, 2021 すでにGitHub上には、Elastics
クエリに対する関連キーワード機能 エムスリーエンジニアリンググループ AI・機械学習チームの中村(@po3rin) です。 好きな言語はGo。仕事では主に検索周りを担当しています。 Overview 最近の仕事で医師に質問ができるサービスで「Elasticsearchを使ってなるべく低コストで関連キーワード機能を実装する」という案件に携わっていました。本記事では関連キーワード機能を低コストで実装するための技術調査の結果と、実際に採用した方法をご紹介します。 今回紹介する方法は機械学習などは使わず、なるべく低コストである程度の品質を目指すものです。この記事を読むことで検索アプリケーションにサクッと関連キーワード機能を実装できるようになるでしょう。 Overview 検索における関連キーワード機能とは 実装の前提条件 実装パターンの紹介 (1) ログで出現した単語を数えあげる (2) ログに対
IMPORTANT: This documentation is no longer updated. Refer to Elastic's version policy and the latest documentation. Elasticsearch is a different kind of beast, especially if you come from the world of SQL. It comes with many benefits: performance, scale, near real-time search, and analytics across massive amounts of data. And it is easy to get going! Just download and start using it. But it is not
![Modeling Your Data | Elasticsearch: The Definitive Guide [2.x] | Elastic](https://cdn-ak-scissors.b.st-hatena.com/image/square/cbbc87b803e58787f8346841e5b65698d408f3c5/height=288;version=1;width=512/https%3A%2F%2F2.zoppoz.workers.dev%3A443%2Fhttps%2Fwww.elastic.co%2Fstatic%2Fimages%2Felastic-logo-200.png){kind=logo}
この記事はBASE Advent Calendar 2020の11日目の記事です。 devblog.thebase.in BASE株式会社 Data Strategy チームの@tawamuraです。 BASEではオーナーの皆様や購入者様のお問い合わせに対して、Customer Supportチームが主となって対応をしています。その中でもいくつかの技術的なお問い合わせに対しては、以下のようにSlackの専用チャンネルを通して開発エンジニアに質問を投げて回答を作成することになっています。 CSチームから調査を依頼されるお問い合わせの例 これらのCS問い合わせ対応は日々いくつも発生しており、CSお問い合わせ対応を当番制にして運用してみた話 でもあるように週ごとに持ち回り制で各部門のエンジニアが対応しているのですが、どうしても調査や対応に時間が取られてしまうという問題が発生していました。 dev
皆様こんにちは！Elastic PMM/Eva の鈴木章太郎です。 この記事は、求ム！Pythonを使ってAzureで開発する時のTips！【PR】日本マイクロソフト Advent Calendar 2020の11日目の記事です。 ※ MS マーケの ◯◯ さん(元同僚でこのアドベントカレンダーのオーナー）、投稿が遅くなり申し訳ないです！ このコンテンツの射程 今回は、Python アプリケーションの APM (Application Performance Management) データを、Elastic Cloud ( =ESS, Elasticsearch Service) on Azure で収集する方法について、ご紹介していきます。レベル的には100-200くらいです。 Elastic Stack について まずは、Elastic Stack ご存じない方のために、この辺りは毎回
Elasticsearchでマルチモーダル画像検索その１ 前置き Elasticsearch 7.2が出る以前からexperimentalな機能としてvectorまわりを扱う機能が提供されていた。 経緯はよく覚えていないが、そのあとここでrevertされたと思ったらX-Packに入った、みたいなことだったと思う。 どんなものかというと、通常のクエリでヒットした文書セットを文書それぞれに予め付けておいたベクトルを利用した類似度でリランクできる、というものだ。 文書が持つ特殊なvector fieldになんらかのベクトルを入れておき、クエリ時にもそれらと比較可能なベクトルを渡すことで、_sourceに格納されているvector fieldを使ってscript内でベクトル間の距離をスコアリングに利用できる。 この機能によってできることというのは、 userとitemで行列分解したベクトルの内積で
Elasticsearchの詳細を調べています。Solr本はSolr6対応の改訂版が去年出てて大変助かったのですが、Elasticsearchの詳細が書いてあって日本語の書籍はまだこちらが最新でしょうか。一通り読んで詳細かつ丁寧に書かれていて助かったのですが、2014年のものなので内容が古いのが残念でした。 高速スケーラブル検索エンジン ElasticSearch Server (アスキー書籍) 作者: Ｒａｆａｌ Ｋｕｃ （ｌにストローク符号、ｃにアクサン・テギュ付く）,Ｍａｒｅｋ Ｒｏｇｏｚｉｎｓｋｉ （ｎにアクサン・テギュ付く）出版社/メーカー: KADOKAWA / アスキー・メディアワークス発売日: 2014/03/25メディア: Kindle版この商品を含むブログ (3件) を見る そうすると次にElasticsearchが詳細に書かれている書籍は、英語のO'Reillyの「T
Elastic stack AdventCalendar 19 日 になります。 Kibana の DevTools でクエリを実行するのと同じことを emacs の中から実行する話です。 はじめに elastic emacs というキーワードでグーグル検索をすると、上位に Classmethod さんのインタビュー記事が出てきます。 Elasticの中の人に聞いてみた(開発チーム編) この中で開発環境について、こんなくだりがあります。 CM「開発ツールにはどのようなものを利用していますか？」 Ryanさん「エディターはIntelliJ、Eclipseを利用しているメンバーが多い。中にはEmacs使いもいる。Emacs使いは開発だけではなく、メールなどの業務も全てEmacsでこなしている（笑）」 emacs でメールを読み書きしている私はとても親近感を感じます（笑）。 閑話休題 Elast
リアルタイムに流れ込む時系列データの異常検知に優れるElasticの機械学習。この動画では、単一・複数のメトリックの異常検知、集団の中から得意な要素を見つけるはぐれ者の検知、場違いなところに現れた非構造メッセージの発見の方法を、実例を交えて紹介します。これから機械学習をはじめられる方には非常に実践的な内容です。 動画をご視聴いただきましたら、ぜひ以下のコンテンツもご覧ください。 ニューヨーク市のタクシー乗降データで機械学習を体験する https://www.elastic.co/jp/blog/experiencing-machine-learning-with-nyc-taxi-dataset オプション機能（旧X-Pack）のインストールはこちらから。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
