スプレッドシートの内容を横持ち展開はじめてのGoogle スプレッドシートの教科書2020 Google アプリの教科書シリーズ2020年版山田雄一朗Tekuru Inc2020-03-24友人から、こういうのをやりたい、っていう要望がきたので、適当にやってみました。なやんでいるエクセル初心者 pic ...
もっと読む
pandasでgroupbyしようとしたらコケた KeyError
pythonでgroupbyしようとしたらコケたKeyError: ('big_code', 'occurred at index 25')こんなエラーです。なんかかなりシンプルな内容ですが、用途としてはこんな感じでした。merge_df = a_df.merge(b_df, how='left', on='code')\ .groupby('big_code')こんな感じでした。 ...
もっと読む
sjisで文字化け対応、髙、﨑 など ( CP932編 )
sjisで文字化け対応、髙、﨑 などよく文字コードの世界で、髙=はしご高﨑=立ち崎って言われるあいつらです。今まで、「だいたいsjis=cp932」で覚えていたんですが、ちょっと違いについておさらい。・sjisからcp932が派生してできたので文字コード的には概ね一緒・髙などは ...
もっと読む
BigQueryで「Cannot query rows larger than 100MB limit.」が出た
BigQueryで「Cannot query rows larger than 100MB limit.」が出たGoogle Cloud Platform 実践 ビッグデータ分析基盤開発ストーリーで学ぶGoogle BigQuery株式会社トップゲート秀和システム2019-11-29えー、いまだになかなか慣れないBQ。適当にSQL作って小さい期間で実行した ...
もっと読む
BigQueryで中央値を出す方法
BigQueryで中央値を出す方法BQで平均値と中央値を出して欲しい、という要望があって、簡単にだせるじゃん? と思っていたら、median関数が地味にないらしい、という記事を見かけた。ただ、Felipe Hoffaさんが作ったやつをそのまま使えばできるらしいので、使ってみたらその ...
もっと読む
文字列でエラーになったと思ったら、全然別のところだった話
文字列でエラーになったと思ったら、全然別のところだった話えー、なんかこう色々あったんですが、トラブル対応をしたときの話をメモしておきます。・問い合わせパワポが出ない。・プログラムbashで書かれているけど、中はjsonにしたデータを渡してパワポを作っているpython ...
もっと読む
ValueError: You are trying to merge on object and int64 columns. If you wish to proceed you should use pd.concat が出た
ValueError: You are trying to merge on object and int64 columns. If you wish to proceed you should use pd.concat が出たはい、pandasで「EXCELで取り込んだやつとSQLで取り込んだやつ」をマージしようとしたら怒られました。マージしようとしたんだけど型が合わない ...
もっと読む
macでAutomaterを使って快適生活(改行データをカンマ区切り編)
macでAutomaterを使って快適生活(改行データをカンマ区切り編)macだと便利ツールを簡単にAutomaterで作れるので、これをやっておくとデータ加工の面倒な生活とおさらばできます。Command+スペースでツール立ち上げAutomaterを起動「アプリケーション」を選択「ユーティリテ ...
もっと読む
tar.gzファイルの中身をサクッと見る
tar.gzファイルの中身をサクッと見るlogデータがtar.gzになってて、中サクッと見れないなーと思っていたら、lessコマンドで実はそのまま見れるということを知りました。less xxxx.tar.gz但しファイル名順でファイル作成時間順じゃないので、地味に使いづらい。 ...
もっと読む
pandasでlikeや、inの絞り込み
pandasでlikeや、inの絞り込み文字列をぶつける時に、like検索にする必要が出てきまして。 df = df.loc[df.name.str.contains('あいまい検索', regex=False)].copy()みたいにしました。regexは念の為に正規表現設定指定です。何も指定しないとデフォルトTrueにな ...
もっと読む