morit****@razil***** morit****@razil***** 2007年 8月 15日 (水) 14:48:18 JST 前の記事 [Senna-dev 660] Re: インデックスをキャッシュに保持する方法について 次の記事 [Senna-dev 662] Re: インデックスをキャッシュに保持する方法について 記事の並び順: [ 日付 ] [ スレッド ] [ 件名 ] [ 著者 ] お世話になっております。森です。 すみません。INITIAL_N_SEGMENTSは主に更新速度の向上に寄与しますが、 検索速度にはあまり影響しないかもしれません。 ディスクI/Oがネックで検索速度が出ないのは、起動直後が特に顕著で、 必要な領域が適度にOSのキャッシュに載るに従って徐々に検索が高速になります。 起動前にインデックスファイルを以下のようにして読ませてしまうと効果があ
先日のデブサミで華々しく散ってきた森川です。最近 8.3 がリリースされたPostgreSQLにLudiaという全文検索モジュールを組み込んで、MySQLのTritonnと比較してみました。 インストールについては、それぞれのサイトに書いてあるので割愛します（Ludia、Tritonn）。 今回使用したテキストは青空文庫から太宰治の作品を拝借しました。以下のようなテーブルに作品名と内容を入れています。 PostgreSQL: CREATE TABLE ludia_test ( id serial primary key, name text, contents text ); CREATE INDEX fulltext_contents_index ON ludia_test USING fulltext(contents); MySQL: CREATE TABLE ludia_test
最近は、徹夜しながら MySQL + Senna の Tritonn を試している。先日まで、Tritonn を利用した全文検索では、取り出した結果がスコア値でソート（適合度順）されるものだと思っていた。 すなわち、 SELECT * FROM table WHERE MATCH(col) AGAINST('*D+ 検索' IN BOOLEAN MODE); というクエリを発行した場合、結果は TF-IDF に基づく順序だと思っていた。 これは、単なる思い込みで、正しくない。 SELECT *, MATCH(col) AGAINST('*D+ 検索' IN BOOLEAN MODE) FROM table WHERE MATCH(col) AGAINST('*D+ 検索' IN BOOLEAN MODE); こうすればスコア値を表示できるので、スコア順でソートされていないことを確認できた。
動機 SennaのMySQLバインディングには、 UDFというMySQLのユーザ定義関数を使ってスニペットを返す関数があります。 スニペットとは、検索対象文書の一部を抜粋したものです。 通常はKWICと呼ばれる、検索キーワードとその周辺の文書を抽出したものを出力します。 この関数を使うと、 MySQLのデータすべてをクライアントに転送する必要がないので効率がよい 面倒なマルチバイト対応やタグ付け処理等もやってくれる といった嬉しい点があります。 というわけで、この関数を是非Djangoから呼びたいと考えていたわけです。 前提条件 articlesというテーブルに、bodyというフィールドがある、モデル名はArticle この中を全文検索して、検索結果をsnippet関数を通じて取り出したい bodyのデータそのもの必要ない、サイズが大きいので、できればMySQLからロードしたくない キレイ
Sennaの主な利用用途であると考えられる、 データベース組み込み用途。 ブラジル内部でもSennaを用いたサービスを運用していますが、 その運用ノウハウの一部をメモ。 Sennaはメモリ食い Sennaはインデックスをメモリにマップすることによって 高速な追加・更新・削除を実現しています。 よって、メモリ使用量が多くなっています。 INITIAL_N_SEGMENTSを減らすことによって、 メモリ使用量を下げることができますが、 特に追加・更新においてパフォーマンスが低下します。 また、Linuxの場合、 空きメモリはI/Oキャッシュに割り当てられます。 Sennaのメモリ使用量が多いため、 I/Oキャッシュとして用いられるメモリ容量が減り、 結果としてシステム全体のパフォーマンスが落ちる場合があります。 MySQLのkey_buffer_sizeは、 Sennaと他のインデックスを組み
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
