このガイドでは、（ 以前の記事 で）「Elastic Agent Builder」を使って作ったAIエージェントを、「Claude Desktop」というアプリに接続する手順を説明します。 目次 Elastic Agent 前提条件 手順 必要な情報を収集する Claude Desktopの設定ファイルを開く Claude Desktopを再起動する 6. 接続を確認する 質問を実施 トラブルシューティング エラー: “Server disconnected” エラー: &#822

【こんなことで困っていませんか？】 「JavaScriptとTypeScriptが使えて、この1年、プロジェクト評価が平均90点以上の人は誰？」 もし上司にこう聞かれて、あなたの会社はすぐに答えられますか？ 多くの会社では、 社員のスキル情報は「Excel」や「人事システム」 プロジェクトの評価は「SharePoint」や「Confluence」 …というように、大切な情報がバラバラに保存されています。 さらに、「プロジェクトがうまくいった理由」は、担当者の頭の中にしか無いこともよくあります。 情報がこの

駅メモ！開発基盤チームの id:xztaityozx です。 今回は駅メモ！で利用している GitHub Actions の監視について書こうと思います。 前提 駅メモ！チームでは CI/CD 環境として Amazon EC2 を用いた Self-Hosted な GitHub Actions を構築しています。Webhook をトリガーに EC2 インスタンスが起動されるため、開発者は特に意識することなく CI/CD を利用することができるようになっています。 しかしながら、ノーメンテナンスで運用できる

Elasticsearchのパフォーマンスを正確に把握したいと思ったことはありませんか？ Elasticsearchのアップグレードを前に、「この変更でパフォーマンスが低下（リグレッション）したらどうしよう」と不安になったことはありませんか？ あるいは、新しいCPUやRAM、ディスクを選定する際に「どちらが我々のワークロードに本当に最適なのか」をデータで証明する必要に迫られたり、インデックス速度向上のためにパイプラインを調整したものの「その効果がどれほどだったか」を正確に示せなかったり。さらには、苦労して

こんにちは。検索領域でエンジニアをやっております、shinpeiです。 本記事は 連載企画：メルカリ初の世界共通アプリ「メルカリ グローバルアプリ」の開発舞台裏 の一環として、メルカリグローバルアプリの検索バックエンドをスクラッチで開発することに伴い、大事にした設計のポイントをご紹介します。また今回の新たな要求を契機に既存の検索基盤の拡充が必要だったのでそれについても書かせていただきました。 グローバルアプリでの検索の要件と課題 先日、弊社からの発表の通り、メルカリはグローバルアプリの提供を開始しました。

はじめに 前回 はKubeBlocksの解説と他類似OSSDB管理ソリューションの比較を行いました。今回はKubeBlocksでサポートされているDBソリューションについて説明します。 KubeBlokcsがサポートしているDB KubeBlocksとはKubernetesクラスタ上にプライベートなDBaaS（Database as a Service）を構築するためのオープンソース基盤です。多種多様なDBソリューションを統一された方法で管理することができます。 また、KubeBlocksはDB以外にもメ

Amazon Elastic Compute Cloud (Amazon EC2) メモリ最適化 R8i および R8i-flex インスタンス 、ならびに汎用 M8i および M8i-flex インスタンス のリリースに続き、カスタムインテル Xeon 6 プロセッサを搭載し、持続的なオールコア 3.9 GHz ターボ周波数と 2:1 のメモリ対 vCPU 比を備えた、AWS でのみ利用可能なコンピューティング最適化 C8i および C8i-flex インスタンス の一般提供の開始をお知らせします。これ

Elasticsearch は、ログやメトリクスの検索・分析に広く使われている分散型検索エンジンです。これまでの検索には Lucene ベースの DSL が広く使われてきましたが、2023年に登場した新しいクエリ言語「ES|QL（Elasticsearch Query Language）」によって、より柔軟で強力な分析が可能になりました。 目次 概説 ES|QL とは？ ES|QL の主な特徴 ユースケース ES|QL を使うには？ サンプル実行 1. 準備：環境 2. サンプルデータの準備 3. 基本の

キャプションやタグがなくても、テキストで近い画像を検索できる。そんな仕組みを、ElasticsearchとAIを組み合わせ試作しました。画像資産の整理や業務効率化に役立ちます。 Elasticsearch を選んだ理由はシンプルです。 ベクトル検索に強い： 画像やテキストを CLIP で 512 次元ベクトルに変換し、それをそのまま保存して KNN 検索できる。 スケールに強い： 最初は手元の16枚の画像でも、将来的に何千・何万枚に増えても同じ仕組みで動かせる。 検索をカスタマイズできる： 近似検索（速さ

目次 はじめに 対象読者 対象バージョン 検索の準備 1. インデックスの作成 2. インデックスのマッピング設定 3. モデルの準備 4. インジェストパイプラインの作成 5. インジェストパイプラインの確認 6. データの登録 6.1 NDJSONの用意 6.2 一時インデックスへのアップロード 6.3 _reindexの実行 6.4 タスクの完了確認 6.5 _refreshの実行 登録データのストレージ利用量確認 ベクトル検索の実行 rescore_vector を行わないベクトル検索 resco

はじめに こんにちは、MNTSQ株式会社でSREをやっている西室と申します。私生活ではゲーム以外でPCを使わないので、最新技術へのアンテナ感度はエンジニアとしては最低クラスです。未だに タッチタイピング ができません。 さて、最近巷では「生成AIがすごい」だの「使えないと時代に取り残される」だの、何かと話題が尽きないですが、まだ業務にうまく活用できていないという方も多いのではないでしょうか？ かくいう私も「なんか調べるのが億劫だな〜」と、ChatGPT以外には手を出していなかったのですが、半年ほど前に開発

目次 はじめに 対象読者 対象バージョン 量子化を利用しない密ベクトル検索 量子化を行わない場合のストレージ ベクトル検索に必要なメモリ量 量子化を利用した密ベクトル検索 量子化の種類 量子化を行う場合のストレージ ベクトル検索に必要なメモリ量 量子化のメリット・デメリット メリット デメリット まとめ 次回予告 はじめに Elasticsearchで密ベクトル検索を行う場合、Elasticsearch 9.0から bbq_hnsw を使った検索がデフォルトになりました。 このブログでは、 bbq_hns

目次 はじめに 対象読者 Elastic 認定試験 Elastic Security for SIEM のトレーニングコース トレーニング用 Kibana 画面へのアクセス方法 Lab 環境の開始 lab-machine の bash 画面とURLの確認 CREDENTIALS の取得 Lab 環境のURLへアクセス Kibana 画面へのログイン Kibana の Home 画面の表示 演習問題の表示 CTFd の URL の取得 CTFd へのアクセス 初回登録手順 ログイン（２回目以降） CTFd

「社内のドキュメントを、ChatGPTのように対話形式で検索できたら…」 「ノーコードツールでプロトタイプを作りたいけど、検索精度が物足りない…」 そんな悩みを抱える業務改善担当者の方へ。本記事では、オープンソースのワークフロー自動化ツール n8n と、強力な検索エンジン Elasticsearch を組み合わせ、実用的な RAG システムを構築する方法を説明します。 完成後のAIチャットボットが、以下のようなものになります。 データ検索: 映画のタイトル、監督、ジャンル、あらすじなど、複数の要素を横断し

Search Infra Teamのmrkm4ntrです。 画像検索にElasticsearchのベクトル検索(kNN検索)を活用しています。しかし、従来のキーワード検索と比較して、同等のリソースで処理できるQPS（Queries Per Second）が大幅に低いという課題がありました。そこで、Elasticsearch 8を基に、kNN検索のパフォーマンスをどこまで改善できるのかを調査しました。 kNN検索の構成と課題 今回の検証で使用したkNN検索のクエリ構成は以下の通りです。 { "si