Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 最近、Text-to-SQL という技術が注目されています。複数のテーブルデータに対して自然言語で質問すると、その質問の回答に必要なデータの取得・集計などをしてくれる技術です。BI ツールの使い方や SQL の書き方に詳しくない人でもデータ分析できるという点で重要な技術です。 ただ、Text-to-SQL 自体やその周辺技術に関していろいろ思うところもあるので、つらつらと書いていきたいと思います。特に技術検証記事ではないポエムに近い内容ですが、ご容赦ください。 0. サマリー？ Text-to-SQL がサポートしないデータ分析のプロセ
SQLのチューニング方法 昔Qiitaで書いたものをzennにうつして、若干の修正、追加をしてみました。 ORACLEでの経験を元に書いていますがコストベースのリレーショナルデータべースなら大体共通の考え方だと思うので他にも使えると思います。 SQLのチューニングといえば比較的容易に済むインデックスをとりあえず作成する。といった対応を取られがちですが、数万レコード程度でのデータ量ではあまり効き目がなく（自分の経験則）、どちらかといえば、結合順が大幅に狂ってたりすることが原因のことが多かったりします。よって本当にインデックスがないことが原因なのか？を熟考する必要があります。（例えばID以外のフラグとかコードに単項目indexを貼ってるのもみたことがあります。怖いけど実話） また、インデックスを作りすぎるとオプティマイザが狂いやすくなって他のSQLにも悪影響を及ぼしたりするので結構熟慮して追加
Amazon Athena のパフォーマンスチューニング Tips トップ 10 | Amazon Web Services
Amazon Web Services ブログ Amazon Athena のパフォーマンスチューニング Tips トップ 10 2024 年 2 月に更新された原文を日本語版として 9 月に反映しました： この記事は、コストベースの最適化とクエリ結果の再利用を含む Amazon Athena エンジンバージョン 3 の変更を反映するために確認および更新されました。 Amazon Athena は、オープンソースのフレームワークに基づいた対話型分析サービスで、標準の SQL を使って Amazon Simple Storage Service (Amazon S3) に格納されたオープンテーブルおよびファイル形式のデータを簡単に分析できます。Athena はサーバーレスなので、インフラストラクチャの管理は不要で、実行したクエリに対してのみ料金を支払います。Athena は使いやすく、Ama
@tkanayama_です。「SQLアンチパターン *1」 という本を読みました。「ポケモンを題材に因果推論を実践してみる」のように、仮想的なストーリ上で実際に使ってみた感を出すことにより、自分の記憶に定着させることを狙います。 前提として、何をアンチパターンとするかは状況（ベンダーフリーである必要があるかどうか、どの程度の頻度で更新されるか・・・など）によって大きく異なるので、下記で紹介するアンチパターンは実は状況によっては問題にならないケースもあるかと思います。この投稿はあくまで「SQLアンチパターン」に忠実に従うことが目的です。 www.oreilly.co.jp 追記 登場人物 ストーリー フシギダネへの対応 ヤミカラスへの対応 ディグダへの対応 誤登録でポケモントレーナーになってしまったユーザーの削除 最後に 謝辞 追記 このブログを公開後、「外部キー制約はレコードロック周りのト
いつものやつ はじめに なぜ将来を予測することが重要か 概要 準備するもの 日々の獲得の予算 継続率の予算 SQLでの算出 基本編 応用 おわりに いつものやつ この記事は Gunosy Advent Calendar 2017、9日目の記事です(フライング)。 qiita.com はじめに Gunosyデータ分析部の大曽根です。 好きなギタリストはジミ・ヘンドリクスです。 前日の@ij_spitzに引き続きKPI管理に関しての記事を書こうかと思います。 なぜ将来を予測することが重要か ニュースアプリの場合には、毎日開いてくれるユーザが何人いるかが非常に重要です(売上 = DAU * ARPUで表現できます)。 そのため、現在のDAUが目標値に達しているのかいないのか、どの程度の割合で達成しているのかをモニタリングすることが必要になります。 予測に対しての達成割合により、 「成長で売り上げ
はじめに タイムスタンプを日付に変換するというのは、分析をしているとしょっちゅう使うクエリではあるのものの、毎回忘れてしまうのでこちらに残しておきます。 特に、FirebaseAnalyticsから、BigQueryにデータをエクスポートしている場合には、"初めてアプリを開いた日"がミリ秒のタイムスタンプとして保持されているので、ユーザー分析を行う上で以下の変換を行うことは良くあるかと思います。 ご参考までに! 秒 --> 日付に変換 EXTRACT(DATE FROM TIMESTAMP_SECONDS("タイムスタンプ[秒]") AT TIME ZONE 'Asia/Tokyo') AS date ``` ## ミリ秒 --> 日付に変換 ```sql: EXTRACT(DATE FROM TIMESTAMP_MILLIS("タイムスタンプ[ミリ秒]") AT TIME ZONE 'A
本連載はSQLの応用力を身に付けたいエンジニア向けに、さまざまなテクニックを紹介する。SQLの基本構文は平易なものだが、実務で活用するには教科書的な記述を理解するだけでは不十分だ。本連載は、著名なメールマガジン「おら！オラ！ Oracle - どっぷり検証生活」を発行するインサイトテクノロジーのコンサルタントを執筆陣に迎え、SQLのセンス向上に役立つ大技小技を紹介していく。（編集局） 今回はOracle8i（リリース8.1.6）から実装されている分析関数について解説します。分析機能を理解しておくと、いままでは副問い合わせや複数回に分けていた問い合わせを1回のSQL文で簡単に行えるようになります。 分析関数の基本を理解しよう まず、分析関数とは、どのような関数であるのかを簡単に説明しておきましょう。 集計関数と分析関数の違いは？ 分析関数は、どのように処理されるの？ 分析関数は、どのような分
こんにちは、データ分析部の石塚です。 Gunosyではエンジニア以外の職種でもSQLを叩いて自らデータを集計・分析するという習慣と全社員が各サービスのログ*1に触ることができる環境があります。 例えば、ユーザー獲得を担っているプロモーションチームはエンジニアが0名のチームなのですが、実際にSQLを叩いています。 それによって、自分たちの獲得したユーザーはどのような行動をしているのかを確認したり、分析することができています。 これはGunosyのみの事例ではなく、AWSのRedshiftやAthena、GCPのBigQueryが台頭してきたおかげで、どの会社も低コストにログをSQLで集計・分析できる基盤が整ってきています。 個人的にはアプリやウェブの業界で働くマーケターにはSQLは必須の知識と言える時代になってきたと感じています。 そこで今回は特別プログラミングなどの経験が無い人でも、SQL
こんにちは、PairsのAnalyzeチームでエンジニアをしている鉄本です。 Analyzeチームでは、施策検討時のデータ抽出やサービス上の問題検知のために、分析用途のSQLクエリ (MySQL) を作成しています。 今回は、日々の業務を通して学んだTipsやよく使うクエリの一部を、簡単な活用例と一緒に前編・後編の2回に分けてお話ししたいと思います。 前編では分析でよく使うクエリを中心にご紹介します。 この記事を参考に、分析用SQLの高度な運用に役立てていただけたら幸いです！ 本記事で紹介するTipsで用いる関数の詳細については、公式リファレンスを参考にしてください。 目次- 前編 -1. クエリ内の複数箇所で使われる固定値を「ユーザ定義変数」でまとめる 2. 誕生日(DATE)から現在の年齢を計算する 3. データのない日を補完して日別レポートを作成する 4. 7日移動平均でデータの増減
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 概要 名著SQLアンチパターンを読み終えたので、それの復習のために悍ましいデータベースを作ろうと思った。 まず前半では、SQLアンチパターンを意図的に盛り込み、目も当てられない酷い設計をします。 そのあとリファクタリングを行なったER図に書き直していきます。 なお、真面目に書くと参考書の丸写しになってしまうので、この記事は アンチパターンもりもりのER図を見て嫌悪感を学習し、設計に役立てようという趣向のもと、詳しい説明は省きます。 とても良い本なので読んでください。 想定するシステムの概要と状況 目的において適切かはわかりませんが、とり
誰かの参考になるかもしれないと思って、僕の前職時代の取り組み方や他の現場で僕とよく似たアドホック分析系の仕事をされている方から聞き取った内容をもとに、適当にまとめてみました。 ということで、これは正確には「アドホック分析系データサイエンティストがどうやってデータ分析しているか」のまとめ、です（笑）。ちなみに、僕が既に公開している資料としてはこんなものもあります。 最新業界事情から見るデータサイエンティストの「実像」 from Takashi J Ozaki こちらのp.59以降はまさに前職時代に最後に所属していた部署での僕の取り組みそのものを書いたものなので、どなたかの参考にでもなれば。 ちなみにその前に所属していた部署では、普通にHadoopエコシステムベースのBIフレームワークの保守とかやってました。定期集計用のHiveクエリを100個ぐらいズラリと並べたスクリプトを本番環境にコミット
回答 (3件中の1件目) ハイプサイクルという概念をGartnerグループが提唱してまして、様々な流行りスタリのサイクルを分析する標準的な方法となっています。 ハイプとは過度な期待や熱狂を意味する言葉です。一発屋芸人の人気のカーブみたいなもので、テツandトモみたいに安定する場合と、消えていくものがあります。芸人ではありませんがDA PUMPは一茶の人間性もありまして、次は厳しいけど定着すると思っています。 なんだかのトリガーで評価が上がり始め、ピークを迎える。その後評価が下がっていき、底を打つと少し上がって定着するという経過をたどるとしています。これと同じモデルで、流行りのハイテク...
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
