等値線の位置を求める

Qiu and Chen (2005)などでは、海面高度データのある等値線の位置を黒潮続流の位置とし、Decadal Variationの議論している。

等値線の位置を決めるのは、渦などの紛らわしい等値線があり、目でみていちいち確認しないで自動的に欲しい等値線の位置を決めるのは難しい。

ここでは、図作成ソフトmatplotlibのcontourルチーンから情報を取り出して、等値線の位置を決める工夫をする。

参考にしたのはstackoverflowの

• How can I get the (x,y) values of the line that is ploted by a contour plot (matplotlib)? http://stackoverflow.com/questions/1560424/how-can-i-get-the-x-y-values-of-the-line-that-is-ploted-by-a-contour-plot-mat  
• matplotlib - extracting data from contour lines http://stackoverflow.com/questions/5666056/matplotlib-extracting-data-from-contour-lines  
• Python: find contour lines from matplotlib.pyplot.contour() http://stackoverflow.com/questions/18304722/python-find-contour-lines-from-matplotlib-pyplot-contour/18309914#18309914

ipythonノートブックは
http://nbviewer.ipython.org/urls/dl.dropbox.com/s/qt804lsufj4whyx/Kuroshio_extension_path.ipynb?dl=0

Step1 力学高度のデータをferretを使い、読み込み、図示する

データはAVISOの絶対力学高度の2009年1月21日のデータを用いる。データはAVISOからダウンロードしておく。

データの読み込みと図示には、前回紹介したferret magicを使う。

このデータでは、0.8mの等値線が黒潮続流位置としてはよさそうである。本当はheat fluxによるsteric heightの変動を考慮にいれないとならないが(Qiu and Chen, 2005)、ここではその手順は省略。
Qiu and Chen (2005)では東経141から153度のデータで議論しているので、その範囲だけ抜き出しておく。

等値線は、渦や蛇行のなどのため等値線が４つあるが、黒潮続流にあたる本来欲しい線（東西にのびる線）だけを取り出すのが課題である。

Step 2 Ferretからpythonにデータを読み込む

matlabの機能を使うために、ferretからpythonへとデータを読み込む。これもferret magicを用いる。データがちゃんと読めているかを確認もしておく。

Step ３ 等値線の位置を求める

matlabのcontour routineの機能を使って、等値線の位置を求める。等値線の位置は４つ求まっている。

Step 4 等値線の位置情報から、もっとも長い等値線を選ぶ。

等値線の位置が数値的に求まったので、この中から、欲しいpathだけを選ぶ。最も長いpathが黒潮続流にあたる欲しいpathだと考えられる（渦などを避けるために、始点と終点がもっとも離れているpathという条件でも良いかもしれない。）。

まず、pathの長さを求める関数を作成する。

get_distance　は２点間の距離を km で求める関数。

get_pathlength　はget_distanceを用いてpath位置の情報の配列からpathの長さを求める関数。

上の４つのpathの長さを求め、path #2が最も長いことがわかる(約１432km)。

path #= 0 length= 415.785621835 km
path #= 1 length= 527.959783762 km
path #= 2 length= 1432.08536051 km
path #= 3 length= 563.215908518 km

これが、求めるpathである。

Reference:

Qiu, B., and S. Chen, 2005: Variability of the Kuroshio Extension Jet, Recirculation Gyre, and Mesoscale Eddies on Decadal Time Scales. Journal of Physical Oceanography, 35, 2090-2103. doi:10.1175/JPO2807.1

Numba

Pythonでforをまわすような数値計算を行うとmatlabなどと同じで非常に遅い。
それを克服するためにpypyやcythonなどがある。しかし基本的にコードを書き換える必要があるので、もっと楽をしたい。

最近numbaというものを知った。ここのサンプルにある例だと、

from numba import autojit

@autojit

のおまじないだけで関数が劇的に早くなる。

少し、自分で例で実験してみた。
全球のSSTに対して、NINO3の相関をとるということをやってみる（これはnumbaの実験のために作った例であり、相関をとるだけならもっとエレガントな方法があるだろう）。

そのノートブックが
http://nbviewer.ipython.org/5396344

説明
(1) 図をプロットするためのおまじない。

(2) SSTアノマリとNINO3を読む関数を定義。
　　元データは　NOAA　OISST v2でmonthly dataのsst.mnmean.ncを使う。
　　データはPython Interface to GrADSを使って読む。
　　1982から2010年のデータから気候値からのanomaly（Bin Guan's GrADS Script Libraryのdeseasonを使った。古いバージョンを使ったので、今は使い方が違うかも知れない）とNINO3 SSTアノマリを定義し、返す。
　ここらへんは以前の記事も参照。
　/usr/local/lib/python2.7　なんちゃらというメッセージは私の環境でインストール上のゴミなので気にしないで。

(3) 上で定義した関数を呼んでいる。

(4)  時系列xと二次元時系列（水平2次元と時間の3次元）から2次元の相関係数を返す関数。

from numba import autojit
@autojit
の部分がnumba.

(5) ベンチマーク
　　この場合、5.7秒かかっている。
   
　　@autojitの代わりに@jit('f8[:,:](f8[:],f8[:,:,:])')としても速度はかわらなかった。
　　
　　もし上で@autojitを付けない場合、7.34秒だった。
　
　　つまりnumbaを使っていることで、確かに速くなっているが、劇的にではなかった。

　　これは、forでまわしている中身がプリミティブな式ではなくて、numpyの関数corrcoefであるからだろうか。

　　ちなみに、欠損値処理は何もやっていないので、warningが出ている。この場合はプロットするときに陸地のデータはマスクするので、これで構わない。

　　欠損値処理もできるma.corrcoefを使うとかなり遅くなる。
　　numbaを使わない場合で50.2秒、numbaを47.5秒だった。

(6)　実際に相関係数を求める。

(7)  land sea maskを読む関数

(8) land sea maskを読む

(9) プロット 　

　　エルニーニョに典型的な馬蹄形が見られる。インド洋ダイポールへの相関も見られる。


結論
今回試したケースでは、劇的というほどではないが、ちょっとした追加で、確かに速くはなった。場合によっては劇的に速くなる場合もあるだろう。。今後の進展に期待したい技術である。


　　
　　

Lanczos filter と Wakari

Lanczos filterによるlow-pass filterを理解するためにIPythonノートブックを作成した。
https://www.wakari.io/nb/tmiyama/Lanczos_test

結論は、少ない点でもadjustすれば低周波で応答関数が１に近づくようにできるが、基本は点数を大きくする必要があるということだ。

前回はIPython Viewerを使ってノートブックを公開したが、今回はWakariを使用してみた。

Wakariは端末がなくとも、クラウドでいろいろ計算できるので、なかなかおもしろい。

参考文献
Duchon, C. E., 1979: Lanczos Filtering in One and Two Dimensions. Journal of Applied Meteorology, 18, 1016–1022.

気象研究ノート 221号　気象学と海洋物理学で用いられるデータ解析法　伊藤　久徳・見延　庄士郎/著　日本気象学会/刊　A4判　253p

GFD電脳Ruby小物置き場 (Library) Lanczosフィルター
http://davis.gfd-dennou.org/rubygadgets/ja/?(Library)+Lanczos%A5%D5%A5%A3%A5%EB%A5%BF%A1%BC

IPython Notebook

IPython　Notebookで解析して、それをパブリックに表示するデモンストレーション。

作ったnotebookはIPytnon Notebook viewerを使って、ここで見られる。
http://nbviewer.ipython.org/urls/dl.dropbox.com/u/439394/ipyhon/seaice.ipynb

1. データとしては、北極海海氷面積データのcsvでダウンロード
2. pandasでデータを読み、9月の平均データを作る。
3. IPythonのRmagicを使い、線形回帰を行いトレンドラインを引く

参考文献

Python for Data Analysis

pythonでssh

pythonで外部のサーバーにsshでアクセスして、そこでコマンドを実行する。
そのためにparamikoというパッケージを用いる。

以下はその例。
外部サーバにアクセス(ホスト名***, user名xxx, password +++）にアクセスし、コマンド"du . | sort -n -r"（どのディレクトリが容量を使っているかを調べる）を実行して、標準出力に表示する。

#!/usr/bin/env python

import paramiko

host="***"
port=22
user="xxx"
passwd="+++"

if __name__ == "__main__":
    paramiko.util.log_to_file('paramiko.log')
    s=paramiko.SSHClient()
    s.load_system_host_keys()
    s.connect(host,port,user,passwd)
    stdi,stdo,stde = s.exec_command("du . | sort -n -r")
    print stdo.read()
    s.close()

参考文献
Python ポケットリファレンス (Pocket Reference)　３１７ページ

(追記）
私がparamikoを使っている時、時々timeoutの問題が起こることがあった。
その場合
http://www.stillhq.com/commentform.cgi?post=python/paramiko/000004
などを参考にして、回避する。