仕事メモとか

仕事中に調べた情報とか知ったことをメモしています。
unixコマンド, vim, oracle, putty, postgresql, bash, EXCEL, python, SQL全般 など。
最近は tableau, movabletype とかも触ったりしています。
雑な読書感想とかはこちら

スプレッドシートの内容を横持ち展開はじめてのGoogle スプレッドシートの教科書2020 Google アプリの教科書シリーズ2020年版山田雄一朗Tekuru Inc2020-03-24友人から、こういうのをやりたい、っていう要望がきたので、適当にやってみました。なやんでいるエクセル初心者 pic ... もっと読む
このエントリーをはてなブックマークに追加

pythonでgroupbyしようとしたらコケたKeyError: ('big_code', 'occurred at index 25')こんなエラーです。なんかかなりシンプルな内容ですが、用途としてはこんな感じでした。merge_df = a_df.merge(b_df, how='left', on='code')\ .groupby('big_code')こんな感じでした。 ... もっと読む
このエントリーをはてなブックマークに追加

sjisで文字化け対応、髙、﨑 などよく文字コードの世界で、髙=はしご高﨑=立ち崎って言われるあいつらです。今まで、「だいたいsjis=cp932」で覚えていたんですが、ちょっと違いについておさらい。・sjisからcp932が派生してできたので文字コード的には概ね一緒・髙などは ... もっと読む
このエントリーをはてなブックマークに追加

BigQueryで「Cannot query rows larger than 100MB limit.」が出たGoogle Cloud Platform 実践 ビッグデータ分析基盤開発ストーリーで学ぶGoogle BigQuery株式会社トップゲート秀和システム2019-11-29えー、いまだになかなか慣れないBQ。適当にSQL作って小さい期間で実行した ... もっと読む
このエントリーをはてなブックマークに追加

BigQueryで中央値を出す方法BQで平均値と中央値を出して欲しい、という要望があって、簡単にだせるじゃん? と思っていたら、median関数が地味にないらしい、という記事を見かけた。ただ、Felipe Hoffaさんが作ったやつをそのまま使えばできるらしいので、使ってみたらその ... もっと読む
このエントリーをはてなブックマークに追加

文字列でエラーになったと思ったら、全然別のところだった話えー、なんかこう色々あったんですが、トラブル対応をしたときの話をメモしておきます。・問い合わせパワポが出ない。・プログラムbashで書かれているけど、中はjsonにしたデータを渡してパワポを作っているpython ... もっと読む
このエントリーをはてなブックマークに追加

ValueError: You are trying to merge on object and int64 columns. If you wish to proceed you should use pd.concat が出たはい、pandasで「EXCELで取り込んだやつとSQLで取り込んだやつ」をマージしようとしたら怒られました。マージしようとしたんだけど型が合わない ... もっと読む
このエントリーをはてなブックマークに追加

macでAutomaterを使って快適生活(改行データをカンマ区切り編)macだと便利ツールを簡単にAutomaterで作れるので、これをやっておくとデータ加工の面倒な生活とおさらばできます。Command+スペースでツール立ち上げAutomaterを起動「アプリケーション」を選択「ユーティリテ ... もっと読む
このエントリーをはてなブックマークに追加

tar.gzファイルの中身をサクッと見るlogデータがtar.gzになってて、中サクッと見れないなーと思っていたら、lessコマンドで実はそのまま見れるということを知りました。less xxxx.tar.gz但しファイル名順でファイル作成時間順じゃないので、地味に使いづらい。 ... もっと読む
このエントリーをはてなブックマークに追加

pandasでlikeや、inの絞り込み文字列をぶつける時に、like検索にする必要が出てきまして。        df = df.loc[df.name.str.contains('あいまい検索', regex=False)].copy()みたいにしました。regexは念の為に正規表現設定指定です。何も指定しないとデフォルトTrueにな ... もっと読む
このエントリーをはてなブックマークに追加

↑このページのトップヘ