Mechanizeでスクレイピング!JSONデータを出力!

ワックスかける!ワックスとる!

ベストキッドという映画をご存知でしょうか。
有名な映画なのでご存知の方も多いでしょう。主人公の男の子が、ミヤギから空手を教わる時にいろいろな修行をするのですが、その中でも有名なのが

ワックスかける!ワックスとる!

というものがあります。このフレーズだけ知ってる!という人も居るかもしれませんね。
ひたすらこのワックスかける!ワックスとる!という動作を繰り返す修行(だったと思う)なのですが、この動作を繰り返しているうちに気づいたら空手が強くなってる!という話でした。

プログラムもある程度のレベルまではひたすら書いていると上達すると思うので、ベストキッドのように反復練習もいいのではないかな?と思ってこのタイトルにしてみました。

スクレイピングする! JSONで出す!

Mechanizeを使わない方法やループの方法も色々とありますので、いろんな方法で繰り返しているうちに色々と上達するでしょう。たぶん。

ではやってみよう

Mechanizeを使ってスクレイピングをするところまでは以前やりましたので、今回はJSONに出すところをやろうかと。

前回のネタ

Mechanize+Rubyを使ってみるテスト さくらのメンテ・障害情報を拾ってくる

今回はロリポップもやってみようと思います。

視覚的にもスクレイピングとデータ取得は別にした方が分かりやすいので、情報を取得するクラスと、利用して何かを出力するクラスという形がいいのではないかと思います。
今回は情報を取得するクラスということで。
先に言っておくと内容は意味がないよう〜なもので、お題がメンテナンスや障害情報なので、各ホスティング会社のWebを見たほうがあきらかに良いです。
ガッツリ作りこめばもっとJSONのデータも細かくできそうですが、それなりに手を抜いていますのでその辺はご了承くださし。

これはあくまで練習です。

もう1度繰り返します、これはあくまで練習です。

さくらバージョン

require 'rubygems'
require 'mechanize'
require 'json'

class Mainte
 def initialize
 # URLの情報を取得
 agent = Mechanize.new
 agent.user_agent = 'Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0)'
 url = "http://support.sakura.ad.jp/mainte/?service=all"
 @page = agent.get(url)
 end

 def getjson
 # 指定したリンク先の情報を取得
 number = 32
 mess = "dammy"

 # 40までか空データがあれば抜ける。
 maintelist = []
 (32..40).each do |number|
 link = @page.links[number.to_i].click
 pageurl = link.uri
 pagetitle = link.search('//h1[@class="ttl-page2"]').text
 pagedescript = link.search("//pre[@class='large']").text
 maintelist << {"url" => pageurl , "title" => pagetitle , "descript" => pagedescript}
 # 空データで抜ける
 if pagedescript == "" then
 break
 end
 number += 1
 end
 return maintelist.to_json
 end
end

if __FILE__ == $0

# 使い方 兼 実行可能
test = Mainte.new
hoge = JSON.parse(test.getjson)
hoge.each {|d| puts d["title"] }
# hoge.each {|d| puts d["descript"] }

end

実行結果

$ ruby saku2.rb
[緊急]さくらVPSの一部
さくらのVPS SSD 2Gプランの一部
さくらのレンタルサーバ(www732.sakura.ne.jp)
gTLDドメイン(.info .org)

ロリポップバージョン

class Mainte
 def initialize
 # URLの情報を取得する
 agent = Mechanize.new
 agent.user_agent = 'Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0)'
 url = "http://lolipop.jp/info/obsta/"
 @page = agent.get(url)
 end

 def getjson
 maintelist = []
 #1枚のページでクライアントサイドのスクリプトで見るページになっているので
 #タグでループさせて各パラメタを取得 ※なんか違っているかもしれない。
 @page.search('//div[@class="info-list-inner"]').each do |hoge|
 date = hoge.search('//p[@class="info-date"]').text
 title = hoge.search('//p[@class="info-title"]').text
 hoge.search('//dd[@class="info-body"]').each {|x|
 @desc = x.search('//p').text }
 maintelist << {"date" => date , "title" => title , "desc" => @desc}
 end
 return maintelist.to_json
 end
end

if __FILE__ == $0

test = Mainte.new
hoge = JSON.parse(test.getjson)
hoge.each {|d| p d["title"]}

end

コメント欄にも書いていますが、一応それぞれのデータがとれているのですが、改行がされていないのでループでとれているのかどうか謎です。

実行結果

$ ruby loli.rb
"users303をご利用のお客様へmail022をご利用のお客様へmail014をご利用のお客様へmail017をご利用のお客様へusers305アクセスログをご利用のお客様へusers305をご利用のお客様へmysql557.phy.lolipop.jpをご利用のお客様へusers303をご利用のお客様へusers135をご利用のお客様へusers902をご利用のお客様へ"

おわりに

そもそも反復練習は、Sinatraでのウェブアプリケーションを繰り返していたんですが、データをとるところは別にやってもいいかなと思ってこの部分だけでアップすることにしました。

VPSの環境に近い環境をやっとこさローカル環境にも作って、Windows+Ubuntuで作っていた環境からMacへの移行もようやく終わったので、新しくVPSやOpenstackの作成にもとりかかれるようになりました。出来上がったらまた日記のネタにしようかと思いますのでよろしく。

宣伝

Qiitaに登録したはいいけれど、どう使おうかなぁと悩んでいたところ、プログラム関連で日記に書くには難しいようなネタや、スニペット置き場的に使うのがちょうど良いかなと。
同じ内容で別の言語で書くというのも多分はじめてですが、載せてみたらレスも頂いて、個人的には濃い内容になりました。やっぱりコミュニティは他の方の目につくのが多い分レスもいただけますね。良いことです。
と言っても、このブログとはやはり別物扱いにしていきたいので宣伝だけ!ってことで。

良かったら覗いてみてください。

Ruby – ベンチマークの簡易スクリプト – Qiita: takekentw

 

 

Similar Posts:


Leave a Reply

Your email address will not be published. Required fields are marked *