従来のベクトル検索では、親チャンクに相当する文書全体がベクトル化されていました。しかし、この方法では前後に全く関係のない文章が含まれてしまい、類似度が減少する問題がありました。結果として「本当は欲しかった文章なのにスルーされた！」という事象が発生しやすくなります。また、「ベクトル化された文字列＝RAGで使われる文字列」だったりすると、RAGで使われる文字列がぶつ切りな内容で適用されてしまい、AI側での解釈が難しかったり、変に単語だけ注目されてしまってハルシネーションの温床になることがあったりもしました。 今回のDifyナレッジ設定 親チャンク分割設定 親子チャンクの設定として以下の通りにしています。親チャンクは文書全体と段落単位の2種類の分割方法を選択できます。 文書全体を指定すると、ドキュメントによっては想定以上の膨大な量になることがあり、うまくコンテキストに含められなくなる可能性があり
高精度な生成系 AI アプリケーションを Amazon Kendra、LangChain、大規模言語モデルを使って作る | Amazon Web Services
Amazon Web Services ブログ 高精度な生成系 AI アプリケーションを Amazon Kendra、LangChain、大規模言語モデルを使って作る 2023/05/17: DocumentExcerpt の Request quota value を 1000 から 750 に修正しました 2023/05/18: Flan-T5-XL、Flan-T5-XXL、Anthropic Claude-V1、OpenAI text-davinci-003のtypoを修正しました Amazon Bedrock や Amazon Titan を通じて間もなく利用可能になるような生成系 AI（GenAI）と大規模言語モデル（LLM）は、開発者や企業が従来行っていた自然言語処理と自然言語理解に関連する複雑な課題の解決方法を変革しています。LLM が提供するメリットには、カスタマーサービス
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
