１３行のコードで、Yahoo!Japanのトピックス一覧を取得する！

use strict;
use warnings;
use LWP::UserAgent;
use HTML::TreeBuilder;

# urlを指定する
my $url = 'http://www.yahoo.co.jp';

# IE8のフリをする
my $user_agent = "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; Trident/4.0)";

# LWPを使ってサイトにアクセスし、HTMLの内容を取得する
my $ua = LWP::UserAgent->new('agent' => $user_agent);
my $res = $ua->get($url);
my $content = $res->content;

# HTML::TreeBuilderで解析する
my $tree = HTML::TreeBuilder->new;
$tree->parse($content);

# DOM操作してトピックの部分だけ抜き出す。
# <div id='topicsfb'><ul><li>....の部分を抽出する

my @items =  $tree->look_down('id', 'topicsfb')->find('li');
print $_->as_text."\n" for @items;                          

$ perl get_parse.pl

岡田氏ら11閣僚の再任内定
都知事「菅新内閣は極左」
主力級の種牛5頭 感染シロ
鳥獣駆除の2人 撃たれて死亡写真
イスラエル 新たに支援船だ捕写真NEW
はやぶさ地球へ 異例の人気写真
エトオ「日本が最も危険」
看護師アイドル「採血が快感」写真
今日の話題（40件）
一覧

解説

parse

my $tree = HTML::TreeBuilder->new;
$tree->parse($content);

find, look_down, as_text

my @items =  $tree->look_down('id', 'topicsfb')->find('li');
print $_->as_text."\n" for @items;

my $elm  = $tree->look_down('id', 'topicsfb');
my  @list =  $elm->find('li');
for my $li (@list) {
    print $li->as_text."\n"
} 

$tree->look_down('id', 'topicsfb') 

$elm>find('li');

$li->as_text 

メッソドチェーン (jQuery的なアレ)

print $tree->look_down('id', 'spotlight_mainfb')->find('ul')->find('li')->as_text;

「女編集者、松方弘子28歳独身」

レンタルサーバでも動く

参考になった記事

• HTML::TreeBuilder
• HTML::Element ( find, look_downメソッドの解説はこちら )
• Geekなぺーじ : HTML::TreeBuilderによるパース（リンクの取得）
• HTML::TreeBuilder ｲｲ - [ぴ]
• use HTML::TreeBuilder (hPod):

補足１

補足２

Tatsuhiko Miyagawa の HTML::Selector::XPath をつかえば、 use HTML::Selector::XPath 'selector_to_xpath'; print selector_to_xpath('#topicsfb li'), "\n"; # => //*[@id='topicsfb']//li のように、簡単に CSS Selector から XPath を生成することができる。

補足３

• [Perl][CPAN]Web::Scraperのインストールがうまくできない。。。 - DQNEO起業日記
• [Perl] Ubuntu9.04にWeb::Scraperをインストールする方法 - DQNEO起業日記