Download as PDF, PPTX
![http://gcpug.jp
TIMESTAMP型と異なりtimezone は保持しない。
- DATE (YYYY-[M]M-[D]D)
- TIME ([H]H:[M]M:[S]S[.DDDDDD])
- DATETIME (YYYY-[M]M-[D]D [H]H:[M]M:[S]S[.DDDDDD])
TIMESTAMPとDATETIMEを混ぜると事故る。どちらか
に寄せる設計を心がけましょう。
利用するメリット: timezoneを持たない時間データ型が利用できる](https://image.slidesharecdn.com/sqlbigquerystandardsql-161023060239/75/SQL-BigQuery-Standard-SQL-23-2048.jpg)
![http://gcpug.jp
- 型名の変更 (INTEGER,RECORD,REPEATED)
- TIMESTAMP型のFORMATを厳密にする
- REQUIREDのcolumnをNULLABLEに変更
- FROM句の[]を``に、:を.に置き換える
- ワイルドカード関数廃止の対応
- SELECT句の最後の,禁止
- Tableの和結合をUNIONに置き換える
- 関数の置き換え
etc...
Legacy SQLからの移行TODO](https://image.slidesharecdn.com/sqlbigquerystandardsql-161023060239/75/SQL-BigQuery-Standard-SQL-34-2048.jpg)
![http://gcpug.jp
Standard SQLはTIMESTAMPを
YYYY-[M]M-[D]D [[H]H:[M]M:[S]S[.DDDDDD] [time zone]]
形式で明示的に表記する必要がある。
Legacy SQLでOKであった以下はエラーとなる。
YYYY/[M]M/[D]D [H]H:[M]M:[S]S
YYYY-[M]M-[D]D [H]H:[M]M
TIMESTAMP型のformat](https://image.slidesharecdn.com/sqlbigquerystandardsql-161023060239/75/SQL-BigQuery-Standard-SQL-36-2048.jpg)
![http://gcpug.jp
Legacy SQL Standard SQL
FROM句の[]を``に、:を.に置き換える](https://image.slidesharecdn.com/sqlbigquerystandardsql-161023060239/75/SQL-BigQuery-Standard-SQL-38-2048.jpg)
Uploaded byKumano Ryo
SQLおじさん(自称)がBigQueryのStandard SQLを使ってみた
2016/10/22 GCPUG Fukuoka 4thで発表。 BigQueryのStandard SQLの機能やLegacySQLからの移行に関する注意点など。
![[Cloud OnAir] BigQuery の仕組みからベストプラクティスまでのご紹介 2018年9月6日 放送](https://cdn.slidesharecdn.com/ss_thumbnails/dddddd-180906091548-thumbnail.jpg?width=640&height=640&fit=bounds)
![[AKIBA.AWS] VGWのルーティング仕様](https://cdn.slidesharecdn.com/ss_thumbnails/akibaaws7-180524115259-thumbnail.jpg?width=640&height=640&fit=bounds)
SQLおじさん(自称)がBigQueryのStandard SQLを使ってみた
- 1. http://gcpug.jp SQLおじさん(自称)がBigQueryの Standard SQLを使ってみた 熊野 良(RyoKumano) GCPUG Fukuoka 4th (2016/10/22)
- 2. http://gcpug.jp 熊野 良 (RyoKumano) Twitter: @ryok0607 2014/06 〜 株式会社グルーヴノーツ 入社 - 肩書きは 「サーバエンジニア・データベースエンジニア」 - GCP上で稼動している自社サービスのインフラ設計・構築・運用を担当 - 2015/08 〜 東京 -> 福岡に移住 過去(5年以内)に携わった業務 - 国内大手B2Cサイトのインフラ設計・構築・運用・DB設計・チューニング など 自己紹介
- 3.
- 4.
- 5. http://gcpug.jp - BigQuery StandardSQLとは - 使い方 - 利用するメリット - Legacy SQLからの移行 Agenda
- 6. http://gcpug.jp - SQL:2011に準拠している - 一般的なSQL構文で実行可能になった。 -入れ子(nested)や繰り返し(repeated)データにも対応 - これまでと同様に非正規形のデータ保持が可能。 - 従来のBigQueryのSQLはLegacy SQLという呼び方に - Legacy扱いとか嫌な予感しかしない。 - が、まだあわてるような時間じゃない（はず）。 BigQuery Standard SQLとは
- 7. http://gcpug.jp Web UI: UseLegacy SQLのチェックを外す。 Standard SQLの使い方(Web UI)
- 8.
- 9. http://gcpug.jp API: useLegacySql をfalse に設定する Standard SQLの使い方(API)
- 10. http://gcpug.jp - WITH句が利用できる - ユーザ定義関数が利用できる -SELECT句にサブクエリが利用できる - 相関サブクエリが利用できる - 配列(ARRAY)や構造体(STRUCT)が利用できる - 時間データの操作にtime zoneが利用できる - time zoneを持たない時間データ型が利用できる - DML文が利用できる (2016年10月現在beta) 利用するメリット
- 11.
- 12.
- 13. http://gcpug.jp ちなみに Lgeacy SQLのチェックを外すと UDFEditor ボタンはdisableになります。 利用するメリット: ユーザ定義関数が利用できる Legacy SQL Standard SQL
- 14.
- 15.
- 16.
- 17. http://gcpug.jp Result ARRAY なし STRUCTなし 利用するメリット: 配列(ARRAY)や構造体(STRUCT)が利用できる Standard SQL
- 18. http://gcpug.jp Result xに ARRAY ありSTRUCT なし 利用するメリット: 配列(ARRAY)や構造体(STRUCT)が利用できる Standard SQL
- 19. http://gcpug.jp Result ARRAY なし STRUCTあり 利用するメリット: 配列(ARRAY)や構造体(STRUCT)が利用できる Standard SQL
- 20. http://gcpug.jp Result ARRAY あり STRUCTあり 利用するメリット: 配列(ARRAY)や構造体(STRUCT)が利用できる Standard SQL
- 21.
- 22. http://gcpug.jp TIMESTAMP関数にtime zoneを渡せる 利用するメリット: 時間データの操作にtimezoneが利用できる StandardSQL Result TIMESTAMP関数のformatが厳密になったので注意！(後述)
- 23. http://gcpug.jp TIMESTAMP型と異なりtimezone は保持しない。 - DATE(YYYY-[M]M-[D]D) - TIME ([H]H:[M]M:[S]S[.DDDDDD]) - DATETIME (YYYY-[M]M-[D]D [H]H:[M]M:[S]S[.DDDDDD]) TIMESTAMPとDATETIMEを混ぜると事故る。どちらか に寄せる設計を心がけましょう。 利用するメリット: timezoneを持たない時間データ型が利用できる
- 24. http://gcpug.jp DML文: INSERT /UPDATE / DELETE 利用するメリット: DML文が利用できる(beta)
- 25.
- 26.
- 27.
- 28.
- 29.
- 30.
- 31.
- 32. http://gcpug.jp 新規QueryをStandard SQLで書く。 ⇨ 可能な限りやっていきましょう！ 既存のLegacySQLをStandard SQLで書き直す。 ⇨ Legacy SQLからの移行
- 33.
- 34. http://gcpug.jp - 型名の変更 (INTEGER,RECORD,REPEATED) -TIMESTAMP型のFORMATを厳密にする - REQUIREDのcolumnをNULLABLEに変更 - FROM句の[]を``に、:を.に置き換える - ワイルドカード関数廃止の対応 - SELECT句の最後の,禁止 - Tableの和結合をUNIONに置き換える - 関数の置き換え etc... Legacy SQLからの移行TODO
- 35.
- 36. http://gcpug.jp Standard SQLはTIMESTAMPを YYYY-[M]M-[D]D [[H]H:[M]M:[S]S[.DDDDDD][time zone]] 形式で明示的に表記する必要がある。 Legacy SQLでOKであった以下はエラーとなる。 YYYY/[M]M/[D]D [H]H:[M]M:[S]S YYYY-[M]M-[D]D [H]H:[M]M TIMESTAMP型のformat
- 37. http://gcpug.jp Standard SQLではREQUIREDの属性のcolumnに データを格納しようとするとエラーとなる。 Invalid schemaupdate. Field col1 has changed mode from REQUIRED to NULLABLE Standard SQL使う場合は NULLABLEに変換しましょう。 REQUIREDのcolumnをNULLABLEに変更
- 38. http://gcpug.jp Legacy SQL StandardSQL FROM句の[]を``に、:を.に置き換える
- 39. http://gcpug.jp Standard SQLはワイルドカード関数を利用できない。 - TABLE_DATE_RANGE -TABLE_DATE_RANGE_STRICT - TABLE_QUERY Legacy SQLからStandard SQLへの移行方法 1. FROM句から関数呼び出しを削除する 2. WHERE句で _TABLE_SUFFIX を指定する ワイルドカード関数廃止の対応
- 40. http://gcpug.jp Legacy SQL StandardSQL ワイルドカード関数廃止の対応
- 41. http://gcpug.jp SQLと同様に以下の条件が使用可能 - = - <> -(NOT) IN - BETWEEN A AND B _TABLE_SUFFIXに使える条件
- 42. http://gcpug.jp Legacy SQL StandardSQL SELECT句の最後の,禁止
- 43. http://gcpug.jp Legacy SQL StandardSQL Tableの和集合をUNIONに置き換え
- 44.
- 45.
- 46.
- 47.
- 48.
- 49. http://gcpug.jp - Standard SQLどんどん使っていこう！ - 既存Legacy SQL Queryの移行判断は難しい。 - SQLおじさん達はBQに入門していこう！ まとめ
- 50.