Pandas
pandasを用いた気象データベースのハンドリング
（財）気象業務支援センター「気象データベース」をPythonのpandasでハンドリングしたときのtipsです．この気象データの紹介はこちらにありますが，項目毎に値とリマークの時系列が連続したカラムとして収録されています […]
時系列データを読み込み，DatetimeIndexを持つpandas.DataFrameを作る
日付と時刻の扱い In [1]: import pandas as pd import datetime from dateutil.parser import parse 日付と時刻を扱うには主に[cci l […]
pandas.DataFrameのNaNを含む行を抽出
欠損値を調べる際に，欠損値を含む行を抽出したいことがあります．方法を見つけるのに苦戦したのでここでまとめました． 最初にDataFrameの例を用意します． In [1]: import pandas as p […]
pickleとpandasの不整合
pandasのDataFrameをpickle化した後，pandasまたはPythonのバージョンを上げると，このpickleをloadした際に以下の様なエラーが起きることがあります．これは例えばバージョンアップによって […]
Pythonでテキストファイルの出力
print()で出力する テキストファイルを出力するにはファイルオブジェクトを開き，書き込んでいきます．closeを忘れがちなので，with open()により自動的にファイルを閉じるようにするとよいでしょう． 最も簡単 […]
Pythonで日付時間を扱う（datetime）
時系列データ等で日付や時間を扱うには必要なモジュールを読み込みます．parseは文字列適当に解釈してdatetime.datetime型にします． [cc] In [1]: from datetime import da […]
リスト内包表記Tips
if elseを含むリスト内包表記 次の様に簡単に書けます． [cc] dfc = [np.nan if pd.isnull(i) else "{0:7d}".format(int(i)) \ for i in df[c […]
Pandas DataFrameのカラムのdtype変更
Pandas DataFrame dfのカラム"col"のdtypeをfloat64からintに変換するには [cc] In [1]: df[["col"]]=df[["col"]].astype(int) [/cc] […]
pandasで公共用水域水質測定データ分析のTips
公共用水域水質測定データはwebで公開されていますが，都道府県によって公開方法がまちまちです．pdfのみだったり，CSVだったり，Excelだったりしますし，形式もばらばらです．それぞれに応じてpandasでデータを読み […]
Python pandas DataFrame tips
pandas DataFrameをdfとして用意します [cc lang='python'] >>> import pandas as pd >>> import numpy as np >>> from datetim […]