仕事メモとか

仕事中に調べた情報とか知ったことをメモしています。
unixコマンド, vim, oracle, putty, postgresql, bash, EXCEL, python, SQL全般 など。
最近は tableau, movabletype とかも触ったりしています。
雑な読書感想とかはこちら

カテゴリ: BigQuery

bigqueryで文字列結合の方法(concatとarray_to_string)Google Cloud Platform 実践 ビッグデータ分析基盤開発ストーリーで学ぶGoogle BigQuery株式会社トップゲート秀和システム2019-11-29bigqueryで文字列を結合したい、という時に、2つの便利な方法があります。ただ、両 ... もっと読む
このエントリーをはてなブックマークに追加

bigqueryでkeepのdense_rank的なことをやりたいGoogle Cloud Platform 実践 ビッグデータ分析基盤開発ストーリーで学ぶGoogle BigQuery株式会社トップゲート秀和システム2019-11-29oracleでたまにやってる、group by をした時に一番小さいx行の他の項目を出したい、っていう ... もっと読む
このエントリーをはてなブックマークに追加

BQで日付を文字で入れる方法:cast集中演習 SQL入門 Google BigQueryではじめるビジネスデータ分析 できるDigital Camp木田和廣インプレス2021-02-19しょっちゅう何だっけ、ってなるので、さすがにメモ。oracleだったら、to_date('2001-01-01', 'YYYY-MM-DD') みたいな書き方 ... もっと読む
このエントリーをはてなブックマークに追加

BQで大量のデータをin句に入れたいときにunnestを使ってみる集中演習 SQL入門 Google BigQueryではじめるビジネスデータ分析 できるDigital Camp木田和廣インプレス2021-02-19oracleの時にはin句の上限1000件とかの問題で、1000単位に切ったりマニアックなことをしていました ... もっと読む
このエントリーをはてなブックマークに追加

BQでonテーブルをいい感じに指定する_TABLE_SUFFIXGoogle Cloud Platform 実践 ビッグデータ分析基盤開発ストーリーで学ぶGoogle BigQuery株式会社トップゲート秀和システム2019-11-29BQだとonのテーブルをちゃんと指定すると実行速度=料金がよくなります。ということで、過 ... もっと読む
このエントリーをはてなブックマークに追加

BQでlikeをinでやりたい時(雑説明Google Cloud Platform 実践 ビッグデータ分析基盤開発ストーリーで学ぶGoogle BigQuery株式会社トップゲート秀和システム2019-11-29上にあげた本は適当に良さそうなものをアップしただけです。BQでデータを扱う時に、とある文字列にlikeを ... もっと読む
このエントリーをはてなブックマークに追加

BigQueryで「Cannot query rows larger than 100MB limit.」が出たGoogle Cloud Platform 実践 ビッグデータ分析基盤開発ストーリーで学ぶGoogle BigQuery株式会社トップゲート秀和システム2019-11-29えー、いまだになかなか慣れないBQ。適当にSQL作って小さい期間で実行した ... もっと読む
このエントリーをはてなブックマークに追加

BigQueryで中央値を出す方法BQで平均値と中央値を出して欲しい、という要望があって、簡単にだせるじゃん? と思っていたら、median関数が地味にないらしい、という記事を見かけた。ただ、Felipe Hoffaさんが作ったやつをそのまま使えばできるらしいので、使ってみたらその ... もっと読む
このエントリーをはてなブックマークに追加

BQのnullチェック、nvlではなく、ifnull。但しちょっと注意が必要。はい、ちょっとBQに触る必要があって適当に作っていて、nullだった時にデフォルト入れるやつ、oracleだとnvlだけど、postgreSQLだとCOALESCEだし、なんか違うかな、って思って調べたら「ifnull」でした。こ ... もっと読む
このエントリーをはてなブックマークに追加

Resources exceeded during query execution: Table metadata used for the query is too large が出た BigQueryを使っていたら、広範囲のデータを扱おうとしたら、こんなエラーが出ました。 Resources exceeded during query execution: Table metadata used for t ... もっと読む
このエントリーをはてなブックマークに追加

↑このページのトップヘ