DQNEO起業日記

Movable Type 4.0から5.02にアップグレードしました。

Mon, 14 Jun 2010 01:21:06 +0900

2007年夏にMT4.0を導入してから、一度もアップグレートしていなかった（怖くていじれなかった）のですが、ついにバージョン５(5.02)にアップグレードしました。

バージョン４→５への移行について

公式サイトの手順どおりにやったら、わりとすんなりアップグレードできました。

バージョン５を使ってみての感想

まだほんの少ししか触っていませんが、管理画面がすっきりして使い勝手がよくなった気がします。バージョン４の場合だと、ログインしてからブログ記事を作成するまでに、下記のように５ステップ必要でした。ログイン　→　ブログ一覧　→　目的のブログを選択　→　記事の新規作成これがバージョン５だと、ログイン　→　ブログタブをクリック　→　記事の新規作成と３工程にまで減りました。また、管理画面のレイアウトで、メニューバーが従来は画面上部にプルダウン式だったのが、３カラム方式の左サイドに変わっています。噂ではバージョン３のスタイルに戻したそうですが、少し使いやすくなった気がします。インストールしてすぐ感じたのは以上です。もっと使い込んだらいろいろ感想が出てくると思いますので、このブログで報告します。

たった５行のコードでWebページ取得・解析をするJavaScriptプログラム

Tue, 08 Jun 2010 02:57:02 +0900

５行のコードで、Yahoo!のトピックス一覧を抽出する！使うのは「メモ帳」だけ！

Windowsユーザのみなさん、社会人・学生のみなさん、こんにちわ。
プログラマではないあなたのために、プログラムの面白さを伝えるためにこの記事を書きました。

これから、たった５行のコードでYahoo!のトピックス一覧を抽出してみます。
このプログラムのすごいところは、何もインストールしなくてよいことです。
Windowsとメモ帳だけあれば動きます。

下記のコードをメモ帳に貼り付けて、デスクトップに保存してください。
(IE6,7で動作確認済みです。たぶんIE8でも動きます。）

ファイル名： yahoo.jse


var IE = new ActiveXObject('InternetExplorer.Application');
IE.navigate('http://yahoo.co.jp');
while (IE.busy);
while (IE.document.readyState != "complete");
WSH.Echo(IE.document.getElementById('topicsfb').innerText);

ファイル名が　" yahoo.jse.txt "　にならないように気をつけてくださいね

保存したら、ダブルクリックします。

すると、、、ほら！！

ね、すごいでしょ？

応用例

株価を取得する

トヨタ自動車の株価をチェックしてみたりとか。


var IE = new ActiveXObject('InternetExplorer.Application');
IE.navigate('http://profile.yahoo.co.jp/fundamental/7203');
while (IE.busy);
while (IE.document.readyState != "complete");
WSH.Echo(IE.document.getElementById('left_col').innerText);

気象庁の天気予報を取得する

明日のデートにそなえたりとか。


var IE = new ActiveXObject('InternetExplorer.Application');
IE.navigate('http://tenki.jp/');
while (IE.busy);
while (IE.document.readyState != "complete");
WSH.Echo(IE.document.getElementById('descriptionEntries').innerText);

どうですか、簡単でしょう？

まとめ

JavaScript(厳密に言うとJScript)で遊んでみました。
Windowsには、このようにメモ帳だけでプログラムを実行できる素晴らしい環境があります。
特別なソフトを入れずとも、すぐプログラムが書けるのです。

これでプログラミングの楽しさを知っていただけたら幸いです。

（くれぐれも悪用しないでくださいね！！）

簡単！たった１行のコードでWebページを取得するPerlスクリプト

Mon, 07 Jun 2010 03:21:50 +0900

コマンド１発で、ヤフーのトップページを取得する！

Perlを使うと、たった１行のコード（というかコマンド）でウェブページのHTMLを取得できます。

しかも、LinuxでもWIndowsでも全く同じコマンドで動作します。


Linux系の場合
$ perl -MLWP::Simple -e  " print get 'http://yahoo.co.jp' "


Windowsの場合（コマンドプロンプトで下記を入力)
> perl -MLWP::Simple -e  " print get 'http://yahoo.co.jp' "

実行結果

Wide character in print at -e line 1.







Yahoo! JAPAN


(以下省略)

取得したHTMLをファイルとして保存したい場合は、下記のようにします。
こうすると、結果を画面に表示する代わりにファイルに保存できます。


perl -MLWP::Simple -e  " print get 'http://yahoo.co.jp'" > yahoo.html

ちなみに">"記号のことを「リダイレクト」といいます。

Perlって素晴らしい！！

【補足１】
LWP::Simpleモジュールが必要です。
上記のget関数は、Perlの標準関数ではなくてLWP::Simpleというモジュールが提供する関数です。
インストール方法は割愛しますが、よく使われるモジュールなのでレンタルサーバなどでは初めから入ってることが多いです。
（Xreaにはインストール済みでした。）

【補足２】
出力結果の１行目に警告が出ちゃってますが、多めに見てあげてください。。。

Smarty 半角数字を全角数字に変換するプラグイン

Sun, 06 Jun 2010 21:57:58 +0900


/**
 * 半角数字→全角数字に置き換えるmodifier
 *
 * @see
 * http://pentan.info/php/smarty/mod_hkana.html
 *
 */
function smarty_modifier_numeric_hantozen($string, $encoding = 'UTF-8')
{
    return mb_convert_kana($string, "N", $encoding);
}

使い方

ファイル名を "modifier.numeric_hantozen.php" にして、Smartyのプラグインディレクトリに保存してください。

テンプレート内で、下記のようにと書くと変換してくれます。


{$number|numeric_hantozen}

参考記事

携帯表示用に文字を全角から半角にする - [Smarty] ぺんたん info

[Perl] Ubuntu9.04にWeb::Scraperをインストールする方法

Sun, 06 Jun 2010 18:18:05 +0900

前回の記事で、XML::LibXMLのインストールが失敗してることまではわかりました。

cpan[1]> install XML::LibXML
CPAN: Storable loaded ok (v2.18)
Going to read '/root/.cpan/Metadata'
  Database was generated on Sat, 05 Jun 2010 04:27:23 GMT
CPAN: YAML loaded ok (v0.70)
Going to read 86 yaml files from /root/.cpan/build/
CPAN: Time::HiRes loaded ok (v1.9711)
DONE
Restored the state of none (in 2.0500 secs)
Running install for module 'XML::LibXML'
Running make for P/PA/PAJAS/XML-LibXML-1.70.tar.gz
  Has already been unwrapped into directory /root/.cpan/build/XML-LibXML-1.70-IIX0Tb
  No 'Makefile' created
, won't make
Running make test
  Make had some problems, won't test
Running make install
  Make had some problems, won't install

とりあえず解決できたので、以下にその方法を載せておきます。
原因や仕組みはよくわかりません。すいません。。


# su -        # rootになる
# cd /root/.cpan/build/XML-LibXML-1.70-IIX0Tb
# perl Makefile.PL      # Makefile.PLを実行　→　エラーが出る
# apt-get install libxml2-dev       # ライブラリをインストール
# perl Makefile.PL       #  Makefile.PLを実行　→　またエラーが出る
# apt-get install libxml-libxml-perl      # ライブラリをインストール
# perl Makefile.PL       # 成功！！
# make
# make test
# make install
# update-perl-sax-parsers       # 一応。
# cpan

cpan>  install XML::libXML       # 成功！
cpan>  install Web::Scraper      # 成功！

成功！！

動作確認は次回の記事で。

[Perl][CPAN]Web::Scraperのインストールがうまくできない。。。

Sun, 06 Jun 2010 17:11:30 +0900

Ubuntu9.04にWeb::Scraperをインストールしたかったのですが、うまくいきません。

私はPerlが大好きなのですが、CPANモジュールのインストールができないときは何をどうしてよいのかわからず途方にくれてしまいます。

う～ん。。。モダンPerlへの道は険しい。。。

cpan > install Web::Scraper

Test Summary Report
-------------------
t/xml-simple.t        (Wstat: 512 Tests: 0 Failed: 0)
  Non-zero exit status: 2
  Parse errors: No plan found in TAP output
Files=22, Tests=40,  9 wallclock secs ( 0.72 usr  0.18 sys +  6.39 cusr  1.73 csys =  9.02 CPU)
Result: FAIL
Failed 1/22 test programs. 0/40 subtests failed.
make: *** [test_dynamic] Error 2
  MIYAGAWA/Web-Scraper-0.32.tar.gz
  /usr/bin/make test -- NOT OK
//hint// to see the cpan-testers results for installing this module, try:

  reports MIYAGAWA/Web-Scraper-0.32.tar.gz
Running make install
  make test had returned bad status, won't install without force
Failed during this command:
 MIYAGAWA/HTML-TreeBuilder-LibXML-0.11.tar.gz : make_test NO
 MIYAGAWA/Web-Scraper-0.32.tar.gz             : make_test NO

HTML::TreeBuilder::LibXMLのインストールが失敗したのかな？

cpan > install HTML::TreeBuilder::LibXML

中略

t/HTML-TreeBuilder-XPath.t .. 1/19 Can't locate XML/LibXML.pm
 in @INC (@INC contains:
 /root/.cpan/build/HTML-TreeBuilder-LibXML-0.11-sa80fu/inc
 /root/.cpan/build/HTML-TreeBuilder-LibXML-0.11-sa80fu/blib/lib
 /root/.cpan/build/HTML-TreeBuilder-LibXML-0.11-sa80fu/blib/arch
 /etc/perl /usr/local/lib/perl/5.10.0 /usr/local/share/perl/5.10.0
 /usr/lib/perl5 /usr/share/perl5 /usr/lib/perl/5.10 /usr/share/perl/5.10 
　/usr/local/lib/site_perl .) 
at /root/.cpan/build/HTML-TreeBuilder-LibXML-0.11-sa80fu/blib/lib/HTML/TreeBuilder/LibXML.pm line 7.

中略

Result: FAIL
Failed 7/7 test programs. 1/2 subtests failed.
make: *** [test_dynamic] Error 2
  MIYAGAWA/HTML-TreeBuilder-LibXML-0.11.tar.gz
  /usr/bin/make test -- NOT OK

XML::LibXMLのインストールが失敗してるのかな？

cpan[1]> install XML::LibXML
CPAN: Storable loaded ok (v2.18)
Going to read '/root/.cpan/Metadata'
  Database was generated on Sat, 05 Jun 2010 04:27:23 GMT
CPAN: YAML loaded ok (v0.70)
Going to read 86 yaml files from /root/.cpan/build/
CPAN: Time::HiRes loaded ok (v1.9711)
DONE
Restored the state of none (in 2.0500 secs)
Running install for module 'XML::LibXML'
Running make for P/PA/PAJAS/XML-LibXML-1.70.tar.gz
  Has already been unwrapped into directory /root/.cpan/build/XML-LibXML-1.70-IIX0Tb
  No 'Makefile' created
, won't make
Running make test
  Make had some problems, won't test
Running make install
  Make had some problems, won't install

うむむ。。。
まぁ失敗は成功の母ということで、何もしないよりは一歩前進した。

ググって調べてみます。

簡単！たった５行のコードでTwitterに投稿するPerlスクリプト

Sat, 05 Jun 2010 23:28:06 +0900

Net::Twitter::Liteを使うとこんなにカンタン！！

ほんとに５行のコードでつぶやけてしまいました。

#!/usr/bin/perl
use Net::Twitter::Lite;
use utf8;
my $nt = Net::Twitter::Lite->new(username => 'DQNEO', password => 'hoge');
my $result = eval { $nt->update('ついったー！！') };
warn "$@\n" if $@;

Net::Twitter::Lite　バンザイ！！

簡単！たった１３行のコードでHTML取得＆解析をするPerlスクリプト

Sat, 05 Jun 2010 21:48:45 +0900

１３行のコードで、Yahoo!Japanのトピックス一覧を取得する！

PerlでHTML取得・解析したいときはLWP::UserAgentとHTML::TreeBuilderというのを使うと簡単にできます。
LWP::UserAgentを使うと、Webページの取得ができます。
HTML::TreeBuilderを使うと、HTMLのDOM解析ができます。

この２つのモジュールを使って、Yahoo!Japanのトピックス一覧を取得してみましょう。
コメント行と空行を除くとたったの１３行です。

use strict;
use warnings;
use LWP::UserAgent;
use HTML::TreeBuilder;

# urlを指定する
my $url = 'http://www.yahoo.co.jp';

# IE8のフリをする
my $user_agent = "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; Trident/4.0)";

# LWPを使ってサイトにアクセスし、HTMLの内容を取得する
my $ua = LWP::UserAgent->new('agent' => $user_agent);
my $res = $ua->get($url);
my $content = $res->content;

# HTML::TreeBuilderで解析する
my $tree = HTML::TreeBuilder->new;
$tree->parse($content);

# DOM操作してトピックの部分だけ抜き出す。
# ....の部分を抽出する

my @items =  $tree->look_down('id', 'topicsfb')->find('li');
print $_->as_text."\n" for @items;

実行結果↓↓


$ perl get_parse.pl

岡田氏ら11閣僚の再任内定
都知事「菅新内閣は極左」
主力級の種牛5頭 感染シロ
鳥獣駆除の2人 撃たれて死亡写真
イスラエル 新たに支援船だ捕写真NEW
はやぶさ地球へ 異例の人気写真
エトオ「日本が最も危険」
看護師アイドル「採血が快感」写真
今日の話題（40件）
一覧

をを！超かんたん！！

解説

主にHTML::TreeBuilderを解説します。

parse

my $tree = HTML::TreeBuilder->new;
$tree->parse($content);

$contentには、HTMLを文字列として格納したものが入ります。
必ずしもLWPを使う必要はなく、ローカルファイルを読み込んだものでもOKです。
ここまではお約束なので覚えてしまいましょう。

find, look_down, as_text

my @items =  $tree->look_down('id', 'topicsfb')->find('li');
print $_->as_text."\n" for @items;

↑をわかりやすく書くとこう↓です。

my $elm  = $tree->look_down('id', 'topicsfb');
my  @list =  $elm->find('li');
for my $li (@list) {
    print $li->as_text."\n"
}

$tree->look_down('id', 'topicsfb')

「HTML文書中で、id属性がtopicsfbである要素を取得せよ」です。
JavaScriptのdocument.getElementByID('topicsfb')　とほぼ同じものです。

$elm>find('li');

「その要素の中のli要素のリストを取得せよ」です。
JavaSciptのelement.getElementsByTagName('li')とほぼ同じものです。

$li->as_text

「その要素に含まれるテキスト文字列を取得せよ」です。
JavaSciptのelement.innerTextとほぼ同じものです。

このlook_down, find, as_textという３つのメソッドだけ覚えればたいていのことはできます。
（実はHTML::Elementというオブジェクトのメソッドです）
公式ドキュメントを見ると他にもごちゃごちゃといっぱいメソッドがありますが、最初は覚える必要ありません（キッパリ）

メッソドチェーン (jQuery的なアレ)

look_down,find, as_textは任意のHTML要素に対して実行できます。
また、戻り値はHTML要素を返します。
つまり、jQueryのようにメソッドチェーンをつなげてDOM要素を探索していくことができるのです。

print $tree->look_down('id', 'spotlight_mainfb')->find('ul')->find('li')->as_text;

# 結果

「女編集者、松方弘子28歳独身」

・・・働きマン？

レンタルサーバでも動く

Web::Scraperというモダンなモジュールもあるようですが、HTML::TreeBuilderの方がインストールが簡単です。
(私が使っているXreaレンタルサーバではデフォルトで入っていました。)

参考になった記事

HTML::TreeBuilder
HTML::Element ( find, look_downメソッドの解説はこちら )
Geekなぺーじ : HTML::TreeBuilderによるパース（リンクの取得）
HTML::TreeBuilder ｲｲ - [ぴ]
use HTML::TreeBuilder (hPod):

補足１

Webページを取得するだけなら１行でできます！
簡単！たった１行のコードでWebページを取得するPerlスクリプト - DQNEO起業日記

補足２

いろんな方が補足記事を書いてくださったので、ご紹介いたします。
ツッコミありがとうございます！

HTML::TreeBuilder のメソッドを覚えるには人生はみじかすぎる件について

Tatsuhiko Miyagawa の HTML::Selector::XPath をつかえば、 use HTML::Selector::XPath 'selector_to_xpath'; print selector_to_xpath('#topicsfb li'), "\n"; # => //*[@id='topicsfb']//li のように、簡単に CSS Selector から XPath を生成することができる。

知りませんでした！ありがとうございます。

[PHP]簡単！たった６行のコードで HTML取得＆解析をするPHPスクリプト
PHPだと６行ですか！すごい！

[perl] たった＊行のコードでHTML取得＆解析をしたい場合はWeb::Scraperが便利
コードが短い！
ありがとうございます。
ただ、Web::Scraperは私のようなPerl初心者にはインストールが難しかったです。。

補足３

いろいろ試行錯誤してWeb::Scraperをインストールできたので記事を書いてみました。
誰かのお役に立てば幸いです。

[PHP]date関数の結果が12時間ずれる件について

Sat, 29 May 2010 18:01:24 +0900

date('Y-m-d h:m:s')の結果が１２時間ずれる！？

date関数を使うと12時間ずれることがあります。

例えば、現在時が"2010-05-29 17:00:00"のとき、

$ php -r "echo date('Y-m-d h:m:s');"  

2010-05-29 05:00:00

落ち着いて！
自分の書いたコードをよく見て！

原因は、"h:m:s"の書き方が間違っているからです。
正しくは "H:m:s" です！

$ php -r "echo date('Y-m-d H:m:s');"  

2010-05-29 17:00:00

あ～よかった。。。
マニュアルをちゃんと読みましょう。
http://jp.php.net/manual/ja/function.date.php

[PHP]Lime.phpの最新バージョンをダウンロードする方法

Sat, 29 May 2010 14:42:27 +0900

Lime.phpの最新版のソースコードをダウンロードする方法

Limeというのは、PHPで単体テストを書くためのライブラリです。
ライブラリといってもただのクラスファイルで、lime.phpの１ファイルをインクルードするだけですぐ使えます。
「軽量・シンプル・かんたん」が好きなあなたにはぴったりです。

さてこのlime.phpの唯一の難点、それはどこからダウンロードすればいいのか分かりにくいこと。

すばり、場所はここです、ここ！(ver 1.0.9)
↓↓
http://trac.symfony-project.org/browser/tools/lime/tags/RELEASE_1_0_9/lib/lime.php

バージョンを選ぶならこちら
↓↓
http://trac.symfony-project.org/browser/tools/lime/tags

最新の安定版をダウンロードして使いましょう。
2010.5月現在も、安定版の開発は続いているようです。

GNU Screen起動時にセッション名をつける方法

Fri, 28 May 2010 15:59:30 +0900

Screenを起動する際に、下記のようにすればセッションに名前をつけることができます。

screen -S myname

すると、

$ screen -ls

There is a screen on:
  23477.myname(05/28/10 16:21:23)     (Detached)

のように表示してくれます。

Emacs23.2をUbuntuにインストールする方法(ソースをコンパイル)

Fri, 28 May 2010 15:45:28 +0900

Ubuntu9.04にEmacs23.2をソースコードをコンパイルしてインストールする

ソースコードをコンパイルしてインストールします。
ほぼ下記の記事と同じやり方でできました。サンクス！
Emacs 23.1 on CentOS　speg03の日記

$ sudo apt-get remove emacs # 既に入っているパッケージをアンインストール
$ wget ftp://ftp.ring.gr.jp/pub/GNU/emacs/emacs-23.2.tar.gz  #ミラーからソースをダウンロード
$ tar xvzf emacs-23.2.tar.gz  # 展開
$ cd emacs-23.2 
$ ./configure --without-x  # Xは使わない
$ make  # コンパイル
$ src/emacs  # 起動して簡単に動作確認
$ sudo make install #

うれしかったこと

UTF8のファイルを編集するときに、文中に「☆」を書いてもエラーにならない！！
Emacs22のときに作った.emacsがそのまま動くか心配だったんですが、今のところちゃんと動いています。

MySQL charとvarcharの違い

Mon, 24 May 2010 00:17:05 +0900

char 固定長
varchar 可変長

例えばchar(4)の場合だと、'a'が格納されても'abc'が格納されても４バイト占有する。

http://dev.mysql.com/doc/refman/5.1-olh/ja/char.html

Ubuntu MySQL start, stop, restart(起動、停止、再起動）

Sun, 23 May 2010 23:50:44 +0900

Ubuntu上のMySQLを起動、停止、再起動する方法。

$ sudo /etc/init.d/mysql　start    ←起動
$ sudo /etc/init.d/mysql　stop     ←停止
$ sudo /etc/init.d/mysql　restart  ←再起動

[MySQL]INT型の最大値(IntegerのMAX値2147483647)を覚える方法

Sun, 23 May 2010 12:57:31 +0900

MySQLのINT型の最小値と最大値は、-2147483648～2147483647です。

http://dev.mysql.com/doc/refman//5.1/ja/numeric-types.html

この数字を覚えるコツをお教えしましょう。

「2147483647」は、「２１億」と覚えます。
「２１億」を分割して、「１０億＋１０億＋ちょっと」と覚えます。
１０億という数字、身近で聞いたことありませんか？
１０億人。そう、中国の人口とインドの人口です。
２００９年時点で、中国の人口は１３．４億、インドの人口は１１．９億です。
中国＋インドは２５億人です。
中国＋インドは、INT型の最大値を超えるのです。

例えば、あなたがTwitterのような大人気サービスを開発したとします。
その際、会員テーブルのIDをINT型で定義したとします。
するとどうなるでしょうか。

インド人と中国人の全員が会員登録しようとすると、INT型では足りないということです。

※　ちなみにPostgresも同じ仕様のようです。
http://www.postgresql.jp/document/current/html/datatype-numeric.html