今回スクレイピングしたいページは複数あるのだが、それらをBeautifulSoupに食わせてみたところ、いくつかのページでパースエラーとなってしまった。中身を見てみると、対象ページに埋め込まれたjavascriptがこんなかんじになっているのが原因だった。 <script type="text/javascript"> <!--</script>…

前回、あまりにも安直過ぎる方法で逃げたので、もう少しマシな状態にしてみる。 自分の場合、新しいプロジェクトを作るときは、Aptanaの「新規⇒プロジェクト追加」からやっているのだが、そうすると、プロジェクトの直下にsrcというフォルダが作られるので、…

この日に行った設定のまま、数日動かさずにいたら、またimportできなくなっていた。何も変えていないつもりだったのだが。 なんでだ。 コマンドプロンプトでPython.exeを動かしてみる。 C:\Python.exe >>>import BeautifulSoup 特にエラーにならない・・・or…

同じように、今度はローソク足グラフを出力。 渡すデータの形は、(time, open, close, high, low, ...) という並びのリスト。 # coding: utf-8 ''' 簡単なグラフ作成テスト ''' import datetime import pylab import matplotlib.dates import matplotlib.fin…

グラフ描画に挑戦してみる。使うのはmatplotlib。matplotlib本体は、上記リンクからダウンロードして入手。 さらに、numpy も必要なので、こちらから入手。まずは、普通のPythonプロジェクトのサンプル。必要最低限のコード。 # coding: utf-8 ''' 単純な線…

BeautifulSoupを使うために、BeautifulSoup.pyを、Pythonインストールフォルダ配下のLib/site-packagesの下に配置したのだが、環境変数PYTHONPATHに、site-packagesが含まれているにもかかわらず、importしようとすると、見つからないというエラーになってし…

文字列を日付型に変換する方法。 >>> #coding: utf-8 ... >>> import datetime >>> import time >>> dd = '2009年10月21日' >>> st = time.strptime(dd, '%Y年%m月%d日') >>> dt = datetime.date(st.tm_year, st.tm_mon, st.tm_mday) >>> print dt 2009-10-2…

文字列⇒数値変換は、ビルトイン関数のint()、float()でできるとのこと。 しかし、カンマ区切り文字列だと変換してくれない。 >>>str = '123,456.12' >>>fl = float(str) Traceback (most recent call last): File "", line 1, in ValueError: invalid litera…

GAEで、データストアを一旦定義して実行させて、その後、プロパティのデータ型を変更すると、実行時に「型が違うのでputできないよ」的なエラーとなってしまう。 これは、GAEエンジン（dev_appserver.py）の再起動や、マシン自体の再起動でも解消しない。（…

ソースコードに日本語でコメントを書いたら、コンパイルエラーになった。 ソースコードの冒頭に # coding: utf-8 の１文を書いたがダメ。 こちらの記事で、上記の１文が、ソースコードの先頭もしくは２行目にないと認識してくれないことがわかった。 ソース…

Mac OS X には、最初からPythonがインストールされているのだが、Aptanaの環境設定で、Pythonインタープリターの設定をする際に、python.exeの場所がわからず悩んだので、メモ。 答え： Machintosh HD/システム/ライブラリ/Framework/Python.framework/Versi…