pythonでgroupbyしようとしたらコケたKeyError: ('big_code', 'occurred at index 25')こんなエラーです。なんかかなりシンプルな内容ですが、用途としてはこんな感じでした。merge_df = a_df.merge(b_df, how='left', on='code')\ .groupby('big_code')こんな感じでした。 ... もっと読む

sjisで文字化け対応、髙、﨑　などよく文字コードの世界で、髙＝はしご高﨑＝立ち崎って言われるあいつらです。今まで、「だいたいsjis=cp932」で覚えていたんですが、ちょっと違いについておさらい。・sjisからcp932が派生してできたので文字コード的には概ね一緒・髙などは ... もっと読む

BigQueryで「Cannot query rows larger than 100MB limit.」が出たGoogle Cloud Platform 実践 ビッグデータ分析基盤開発ストーリーで学ぶGoogle BigQuery株式会社トップゲート秀和システム2019-11-29えー、いまだになかなか慣れないBQ。適当にSQL作って小さい期間で実行した ... もっと読む

BigQueryで中央値を出す方法BQで平均値と中央値を出して欲しい、という要望があって、簡単にだせるじゃん？　と思っていたら、median関数が地味にないらしい、という記事を見かけた。ただ、Felipe Hoffaさんが作ったやつをそのまま使えばできるらしいので、使ってみたらその ... もっと読む

文字列でエラーになったと思ったら、全然別のところだった話えー、なんかこう色々あったんですが、トラブル対応をしたときの話をメモしておきます。・問い合わせパワポが出ない。・プログラムbashで書かれているけど、中はjsonにしたデータを渡してパワポを作っているpython ... もっと読む

ValueError: You are trying to merge on object and int64 columns. If you wish to proceed you should use pd.concat　が出たはい、pandasで「EXCELで取り込んだやつとSQLで取り込んだやつ」をマージしようとしたら怒られました。マージしようとしたんだけど型が合わない ... もっと読む

macでAutomaterを使って快適生活（改行データをカンマ区切り編）macだと便利ツールを簡単にAutomaterで作れるので、これをやっておくとデータ加工の面倒な生活とおさらばできます。Command+スペースでツール立ち上げAutomaterを起動「アプリケーション」を選択「ユーティリテ ... もっと読む

tar.gzファイルの中身をサクッと見るlogデータがtar.gzになってて、中サクッと見れないなーと思っていたら、lessコマンドで実はそのまま見れるということを知りました。less xxxx.tar.gz但しファイル名順でファイル作成時間順じゃないので、地味に使いづらい。 ... もっと読む