bigqueryでインタラクティブ実行とバッチ実行
広告は適当。
BQ使ってて、実行のパターンが2つあることを知りました。
・割り込みモードですぐ実行できるけど、並行実行数が決まってる(インタラクティブ型)
・待ち行列型で順番にやる(バッチ型)
実行数が少なければ全部インタラクティブでもいいんですが、並行数が多くなってくるとかち合って死ぬみたいなのが発生し出すので、急がないやつはバッチ型にしたほうがいいかも。
pythonでの指定はこんな感じらしい。
https://cloud.google.com/bigquery/docs/running-queries?hl=ja#python_1
(他のプログラムとかの指定方法も書いてある)
広告は適当。
BQ使ってて、実行のパターンが2つあることを知りました。
・割り込みモードですぐ実行できるけど、並行実行数が決まってる(インタラクティブ型)
・待ち行列型で順番にやる(バッチ型)
実行数が少なければ全部インタラクティブでもいいんですが、並行数が多くなってくるとかち合って死ぬみたいなのが発生し出すので、急がないやつはバッチ型にしたほうがいいかも。
pythonでの指定はこんな感じらしい。
参考:job_config = bigquery.QueryJobConfig(priority=bigquery.QueryPriority.BATCH)
https://cloud.google.com/bigquery/docs/running-queries?hl=ja#python_1
(他のプログラムとかの指定方法も書いてある)
コメント