toyosystem » 検索エンジン http://www.jamboree.jp/cms 名古屋在住のWebプログラマー Fri, 26 Aug 2011 12:41:42 +0000 ja hourly 1 http://wordpress.org/?v=3.1.1 RubyでHTMLを取得 – 検索エンジンを作ろう http://www.jamboree.jp/cms/archives/459 http://www.jamboree.jp/cms/archives/459#comments Thu, 09 Jul 2009 20:32:59 +0000 admin http://www.jamboree.jp/cms/?p=459
Rubyでつくる検索エンジン
Rubyでつくる検索エンジン
posted with amazlet at 09.07.10
星澤 隆
毎日コミュニケーションズ
売り上げランキング: 82686
Amazon.co.jp で詳細を見る

この本を読んだので、僕も自分の検索エンジンを作ってみようと思いました。
しかもせっかくなので本を踏襲しながらもオリジナルで作ってみたいなと思ってしまった（よくある失敗の原因ですね）。

とりあえずdRubyの本を半年ぐらい借りており、持ち主に返したいのでdRubyをクローラーのところに使いたい。

クローラー・スパイダー

PLAIN TEXT
RUBY:
  1. require "hpricot"
  2. require "open-uri"
  3. require 'kconv'
  4.  
  5. uri = ARGV[0]
  6.  
  7. class Crowler
  8.   def initialize(uri)
  9.     @uri = uri
  10.     @title = nil
  11.     @description = nil
  12.     @src = nil
  13.   end
  14.  
  15.   def get
  16.     begin
  17.       doc = open(@uri)
  18.       @src = Hpricot(doc.read).toutf8
  19.     rescue => ex
  20.       return
  21.     end
  22.  
  23.     @title = (@src/:title).inner_html
  24.     desc_element = @src.search('meta[@name="description"]').first
  25.     @desc = desc_element ? desc_element["content"] : ""
  26.   end
  27. end
  28.  
  29. Crowler.new(uri).get

まとめ

面倒なところは飛ばしてとりあえず、小さいのを完成させよう

]]> http://www.jamboree.jp/cms/archives/459/feed 1