スマホからスクレイピングしてきたデータを見れるようにしたら便利だった

ここ半年。スクレイピングばかりしている。

自分には全体を眺めたいという欲求が少しだけ潜在している気がする。全体を眺めて何をするわけでもないんだけど、俯瞰された「何か」を見ていると、リラックス出来る。もちろん、そこには「発見」があるのかもしれない。トレンドだったり、一貫しているものだったり、意図だったり、生活感だったり、Googleで検索クエリーを組み合わせる探索とは、少し違う。それらをスクレイピングで満たしている。プログラムが情報の海原を生み出し続け、スクロールバーで泳ぎ、自分の日常生活に何らかの変化をもたらしてくれるもの面白い。

はてなを掘る

f:id:start162432:20160619194021p:plain (Rubyに関して、はてぶが３つ以上付いた、2016年〜2005年までを１ページで見れるようになっている)

良質なスクレイピングスポットを発見して、そこを掘り続けるのが楽しい。個人的な良質スクレイピングスポットは「はてな」だ。質の良い情報アウトプットされやすいのか、スクレイピングしていて、興味深い情報が多い。コーヒーを飲んでいる最中に、RubyやPerlで書いた100行から200行程の小さなスクリプトが、はてなブログ、はてなブックマークを掘り続けてくれる。その後。外からスマホでデータにアクセスする。

スクレイピング + 静的HTML + Dropbox

スクレイピングしたデータをスマホでアクセス出来るようにしとくと便利だ。その時やっていることは、スクレイピングしてきたデータを静的HTMLとしてDropboxに出力するということだ。

今回はRubyで書いた。

静的HTMLをDropboxに生成しているところのコードを載せてみる。

output_html = <<EOS
<html>
<head>
  <meta charset="UTF-8">
</head>
<body>
#{data_list}
</body>
</html>
EOS


File.write("/home/username/Dropbox/one_page_hatebu/output.html", output_html)