仕事メモとか

仕事中に調べた情報とか知ったことをメモしています。
unixコマンド, vim, oracle, putty, postgresql, bash, EXCEL, python, SQL全般 など。
最近は tableau, movabletype とかも触ったりしています。
雑な読書感想とかはこちら

カテゴリ: BigQuery

BQでonテーブルをいい感じに指定する_TABLE_SUFFIXGoogle Cloud Platform 実践 ビッグデータ分析基盤開発ストーリーで学ぶGoogle BigQuery株式会社トップゲート秀和システム2019-11-29BQだとonのテーブルをちゃんと指定すると実行速度=料金がよくなります。ということで、過 ... もっと読む
このエントリーをはてなブックマークに追加

BQでlikeをinでやりたい時(雑説明Google Cloud Platform 実践 ビッグデータ分析基盤開発ストーリーで学ぶGoogle BigQuery株式会社トップゲート秀和システム2019-11-29上にあげた本は適当に良さそうなものをアップしただけです。BQでデータを扱う時に、とある文字列にlikeを ... もっと読む
このエントリーをはてなブックマークに追加

BigQueryで「Cannot query rows larger than 100MB limit.」が出たGoogle Cloud Platform 実践 ビッグデータ分析基盤開発ストーリーで学ぶGoogle BigQuery株式会社トップゲート秀和システム2019-11-29えー、いまだになかなか慣れないBQ。適当にSQL作って小さい期間で実行した ... もっと読む
このエントリーをはてなブックマークに追加

BigQueryで中央値を出す方法BQで平均値と中央値を出して欲しい、という要望があって、簡単にだせるじゃん? と思っていたら、median関数が地味にないらしい、という記事を見かけた。ただ、Felipe Hoffaさんが作ったやつをそのまま使えばできるらしいので、使ってみたらその ... もっと読む
このエントリーをはてなブックマークに追加

BQのnullチェック、nvlではなく、ifnull。但しちょっと注意が必要。はい、ちょっとBQに触る必要があって適当に作っていて、nullだった時にデフォルト入れるやつ、oracleだとnvlだけど、postgreSQLだとCOALESCEだし、なんか違うかな、って思って調べたら「ifnull」でした。こ ... もっと読む
このエントリーをはてなブックマークに追加

Resources exceeded during query execution: Table metadata used for the query is too large が出た BigQueryを使っていたら、広範囲のデータを扱おうとしたら、こんなエラーが出ました。 Resources exceeded during query execution: Table metadata used for t ... もっと読む
このエントリーをはてなブックマークに追加

BigQueryでスタンダードSQLでの期間指定方法 時代がだんだん進んでいるので、BigQueryでもスタンダードSQLの方がスタンダードになってきました。 古い書き方はレガシー扱いされ、cloudではわざわざチェックしないとレガシーの書き方使えません。 スタンダードとレガ ... もっと読む
このエントリーをはてなブックマークに追加

BigQueryでネストされたデータを良い感じに展開してくれる unnest関数 ネストしているデータに対し、レガシー、スタンダードの両方でのデータの出し方を纏めてみます。 参考: https://www.marketechlabo.com/bigquery-legacy-sql/ https://cloud.google.com/bigqu ... もっと読む
このエントリーをはてなブックマークに追加

↑このページのトップヘ