2018/11/11
前回の続きです。今回はRaspberry Piで毎日自動でブログランキングを取得する試みです。うまく行かないことがいろいろありましたので、その備忘録です。
使用したRaspberry Piは数年前に購入したRaspberry Pi2 Model Bです。今は自宅で常時電源ONにして、ファイルサーバに利用しています。遊ばせておくのももったいないので、
スクレイピングでしっかり仕事をしてもらうことにしましょう。
まず、Firefox、Selenium、Beautifulsoupをインストールします。
sudo apt-get -y install firefox-esr
pip3 install selenium
pip3 install beautifulsoup4
インストール後に、前回作成したプログラムを実行させましたが、うまく動きません。試行錯誤しているなかで、FirefoxではなくChromiumならうまく行くとの記事を見つけたので、プログラムをChromium版に修正しました。同時に、chromedriverもインストールしたのですが、古いネット記事を参考にしたため、またもや動かずに大変難儀しました。結局、最新版のchromium-browserをインストールすることで問題が解決しました。
sudo apt-get install chromium-browser
最終的に動作したプログラムは以下の通りです。
import sys
sys.path.append('/home/pi/.local/lib/python3.5/site-packages/')
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from bs4 import BeautifulSoup
import time
import csv
options = Options()
options = webdriver.ChromeOptions()
options.add_argument("--headless")
#options.add_argument("--no-sandbox")
driver = webdriver.Chrome(executable_path='/usr/lib/chromium-browser/chromedriver', chrome_options=options)
username = "Your username"
password = "Your password"
# Login Page
driver.get('https://fc2.com/ja/login.php?ref=blog')
login_username = driver.find_element_by_id("id")
login_username.clear()
login_username.send_keys(username)
login_password = driver.find_element_by_id("pass")
login_password.clear()
login_password.send_keys(password)
login_password.submit()
time.sleep(5)
# Ranking Page
driver.get('https://admin.blog.fc2.com/control.php?mode=ranking&sidemenu')
time.sleep(3)
html = driver.page_source
driver.quit()
# BeautifulSoup
soup = BeautifulSoup(html, 'html.parser')
exdate = soup.find('div',{'class': 'rank_day'}) #date
exdate_out_position = int((exdate.string).find('：')) + 1
exdate_out = (exdate.string)[exdate_out_position:(exdate_out_position+10)]
exword = soup.find_all('td',attrs={'class': 'rank_number_td'})
exword_out = [[0 for i in range(2)] for j in range(2)]
for i in range(0, len(exword)):
exword_rn = exword[i].find('span',{'class': 'rank_number'}).extract()
exword_rp = exword[i].find('span',{'class': 'rank_people'}).extract()
exword_out[i][0] = str(exword_rn.get_text())
exword_out[i][1] = str(exword_rp.get_text())
with open('/home/pi/blog_ranking_data.csv', 'a') as f:
f.write(exdate_out + ',' + exword_out[0][0] + ',' + exword_out[0][1]+ ',' + exword_out[1][0]+ ',' + exword_out[1][1] + '\n')
前回から変更した箇所は、以下の通りです。
① 1〜13行目：Chromium版に変更(実行パスを明記しました)
② 42〜44行目：ランキングの更新日時取得の追加
③ 55〜56行目：csvファイル出力部の追加
12行目は、chromium-browserを最新版にする前に発生していた不具合に対応したものです。ブラウザが立ち上がるたびに、「--no-sandbox」で立ち上げ直せとのエラーが出て、起動オプションに入れました。結局、ブラウザを最新版にすることでこの行は不要になりましたが、何だったのでしょうか？
結果ファイルは、以下の通りです。
2018/11/10,206,(昨日：181位) / 14347人中,30,(昨日：27位) / 2577人中
2018/11/11,260,(昨日：206位) / 14781人中,30,(昨日：30位) / 2659人中
次に、プログラムを毎日定刻に実行する設定を行います。crontabコマンドを使うと実現できそうだったので、早速使ってみました。以下のコマンドを実行すると、エディタが立ち上がりますので、処理したい時刻と処理を記載しました。
crontab -e
記載した内容を確認したい時は、「ｰl」オプションで行うことができます。
crontab -ｌ
また、そもそもcronがシステムで稼働していることは次のコマンドで確認できます。
sudo chkconfig cron
これで、毎日データを収集し、csvファイルに保存する準備ができました。しばらく動かして、様子を見ていこうと思います。自動
スクレイピング、いろいろ何かと使えそうな技術ですね。別件で遊んでみようと思います。
ブログをアップするごとに、一応「カテゴリ分け」をしていましたが、「ユーザタグ」を付けていないことに気付きました。結局、タグクラウドを設置するには、過去分のブログのユーザタグを新規に付け直す必要がありました・・(これが、結構大変でした・・)。
幸いなことに入力しなくても、過去の入力ワードがボタンになっており、ボタンを押すだけで楽に入力できました。タグクラウドは、以前のブログでお話した、AIの「ワードクラウド」のように自動でブログ内のワードを探してくれるのかと個人的に思い込んでいたので、拍子抜けしましたが、地道にワードを入力していきました。
FC2ブログ上の「共有プラグイン追加」から「タグクラウド」を選択し、利用させていただきました(作者の方、ありがとうございました)。
ブログ上のタグクラウドの配置位置を決めて、
詳細を押すと、HTMLの編集もでき、個人カスタマイズができます。うまく使いこなせていないですが、なかなか便利です。
ブログの記事は時系列に過去から順に積み上がっていきますが、記事内容(テーマ)は時系列と関係なく、順番が分かりにくいですね。このワードタグのようにキーワードで記事を検索できると大変便利ですね。今後も続けていこうと思います。 
