RubyでHTMLを取得 - 検索エンジンを作ろう
7月 10th, 2009 admin Posted in 検索エンジン | 
Rubyでつくる検索エンジン
posted with amazlet at 09.07.10
星澤 隆
毎日コミュニケーションズ
売り上げランキング: 82686
毎日コミュニケーションズ
売り上げランキング: 82686
この本を読んだので、僕も自分の検索エンジンを作ってみようと思いました。
しかもせっかくなので本を踏襲しながらもオリジナルで作ってみたいなと思ってしまった（よくある失敗の原因ですね）。
とりあえずdRubyの本を半年ぐらい借りており、持ち主に返したいのでdRubyをクローラーのところに使いたい。
クローラー・スパイダー
RUBY:
-
require "hpricot"
-
require "open-uri"
-
require 'kconv'
-
-
uri = ARGV[0]
-
-
class Crowler
-
def initialize(uri)
-
@uri = uri
-
@title = nil
-
@description = nil
-
@src = nil
-
end
-
-
def get
-
begin
-
doc = open(@uri)
-
@src = Hpricot(doc.read).toutf8
-
rescue => ex
-
return
-
end
-
-
@title = (@src/:title).inner_html
-
desc_element = @src.search('meta[@name="description"]').first
-
@desc = desc_element ? desc_element["content"] : ""
-
end
-
end
-
-
Crowler.new(uri).get
まとめ
面倒なところは飛ばしてとりあえず、小さいのを完成させよう
6月 16th, 2010 at 10:49:01
プログラム初心者ですが、pealやrubyの必要性を感じています。rubyで検索エンジンもできてしまうのですね。他の記事も参考にさせていただきます。