因為最近使用Python爬蟲爬資料遇上問題,花了許久的時間才發現,原來人家說的javascript產生的網頁會抓不到的意思,試了好久都只有空白網頁, 一開始還以為是防爬蟲造成的,所以去安裝了fake useragent,copy headr set cookie,都沒有用,直到看到了一篇說F12看network XHR,把get改成POST,才成功抓取,但是沒有辦法設定session,只好使用selenium 比較弱的方式來達成網頁資料的抓取

安裝套件 pip install selenium

下載web driver https://chromedriver.chromium.org/downloads 到程式執行的地方(py檔所在地),就可以利用python抓取我們要的資料了

程式如下


最後修改日期: 22/04/2021

作者

留言

撰寫回覆或留言

發佈留言必須填寫的電子郵件地址不會公開。