【python】スクレイピング時にChromeDriverを自動更新するライブラリが便利

Seleniumを使用したスクレイピングを行うときに、Chromeのドライバーを設定する必要があります。このドライバーはChromeのバージョンアップがあると、再度ダウンロードし、特定のフォルダに入れる必要があります。

GoogleMapのスクレイピングについてはこちらから

Chromeのバージョンアップは頻繁にあるため、結構面倒です。

webdriver_managerが便利

webdriver_managerというライブラリーを使うとドライバーを自動で当ててくれるので手動更新がいらなくなります。

webdriver_managerをインストール

pip install webdriver-manager

このコードを実行しインストールします。

スクレイピングコードの編集

from selenium import webdriver
 
driver = webdriver.Chrome()

このコードを

from selenium import webdriver
from webdriver_manager.chrome import ChromeDriverManager
 
driver = webdriver.Chrome(ChromeDriverManager().install())

これに変更するだけで実行されます。

オプション使用時

optionを設定したいときは下記のようにすればOK

from selenium import webdriver
from webdriver_manager.chrome import ChromeDriverManager

options = Options()
options.add_argument('--headless')

driver = webdriver.Chrome(ChromeDriverManager().install(), options=options)

参考

GitHub

https://github.com/SergeyPirogov/webdriver_manager