Pandas

Python
pandasを用いた気象データベースのハンドリング

(財)気象業務支援センター「気象データベース」をPythonのpandasでハンドリングしたときのtipsです.この気象データの紹介がこちらにありますが,項目毎に値とリマークの時系列が連続したカラムとして収録されています […]

続きを読む
Python
時系列データを読み込み,DatetimeIndexを持つpandas.DataFrameを作る

日付と時刻の扱い In [1]: import pandas as pd import datetime from dateutil.parser import parse 日付と時刻を扱うには主に[cci l […]

続きを読む
コンピュータ
pandas.DataFrameのNaNを含む行を抽出

欠損値を調べる際に,欠損値を含む行を抽出したいことがあります.方法を見つけるのに苦戦したのでここでまとめました. 最初にDataFrameの例を用意します. In [1]: import pandas as p […]

続きを読む
コンピュータ
pickleとpandasの不整合

pandasのDataFrameをpickle化した後,pandasまたはPythonのバージョンを上げると,このpickleをloadした際に以下の様なエラーが起きることがあります.これは例えばバージョンアップによって […]

続きを読む
コンピュータ
Pythonでテキストファイルの出力

print()で出力する テキストファイルを出力するにはファイルオブジェクトを開き,書き込んでいきます.closeを忘れがちなので,with open()により自動的にファイルを閉じるようにするとよいでしょう. 最も簡単 […]

続きを読む
コンピュータ
Pythonで日付時間を扱う(datetime)

時系列データ等で日付や時間を扱うには必要なモジュールを読み込みます.parseは文字列適当に解釈してdatetime.datetime型にします. [cc] In [1]: from datetime import da […]

続きを読む
コンピュータ
リスト内包表記Tips

if elseを含むリスト内包表記 次の様に簡単に書けます. [cc] dfc = [np.nan if pd.isnull(i) else "{0:7d}".format(int(i)) \ for i in df[c […]

続きを読む
コンピュータ
Pandas DataFrameのカラムのdtype変更

Pandas DataFrame dfのカラム"col"のdtypeをfloat64からintに変換するには [cc] In [1]: df[["col"]]=df[["col"]].astype(int) [/cc] […]

続きを読む
コンピュータ
pandasで公共用水域水質測定データ分析のTips

公共用水域水質測定データはwebで公開されていますが,都道府県によって公開方法がまちまちです.pdfのみだったり,CSVだったり,Excelだったりしますし,形式もばらばらです.それぞれに応じてpandasでデータを読み […]

続きを読む
Python
Python pandas DataFrame tips

pandas DataFrameをdfとして用意します [cc lang='python'] >>> import pandas as pd >>> import numpy as np >>> from datetim […]

続きを読む