Python 爬蟲實戰範例

使用 Selenium 抓取

鉅亨網 高年化配息債券型基金

提供給想學習 Python 爬蟲的朋友們,分享 Python 爬蟲的步驟與方法,並提供完整的程式碼,只要常透過不同主題的實戰練習,就可以駕輕就熟爬蟲技術,往後要抓取網頁資料,就能夠輕易上手

Python 網路爬蟲(web scraping)是一個非常夯的主題,而且也很容易入門,只要有一些 Python 的基礎,幾次的練習,就可以慢慢上手。在本文的主題實作中,我們會使用到 Selenium 套件,它可以直接用程式來自動操作瀏覽器,以及 BeautifulSoup 用來解析網頁內容,並擷取出所需的資料,在使用 Pandas 套件就可以將擷取出來的資料整理好並儲存至 csv 檔案當中,最後這份檔案就可以使用 Excel、Google Sheets 或是 Numbers 來開啟

如果你還你還不知道網路爬蟲是什麼,可以先閱讀這一篇:認識網路爬蟲

我們將打造 Python 基金爬蟲程式,使用 Selenium 套件自動操作瀏覽器,抓取鉅亨網高年化配息債券型基金,並將搜尋的結果給抓取下來儲存至檔案當中

鉅亨網債券型基金搜尋器網址:https://fund.cnyes.com/Fixedincome/search.aspx

那我們開始吧!

本文中 Python 基金爬蟲實戰範例程式碼可以直接在 Google Drive 下載

第一步:檢視要抓取的資料

在抓取我們所需的內容前,要先了解資料的來源,我們將使用鉅亨網債券型基金搜尋器選擇【1】計價幣別為【美金】,【2】基金組別為【全球市場高收益債】,【3】年化配息率為【7%至10%以上】,【4】配息頻率【月】並且按【搜尋】,取得結果後,在使用【5】【三年】的績效來做排序,最後在表格中【晨星評級超過三顆星】的就會是我們要的結果

Python 爬蟲實戰範例|使用 Selenium 抓取 鉅亨網 高年化配息債券型基金

這操作的流程目前是使用手動的方式來操作,待會我們就會使用程式來自動模仿這流程。

第二部:安裝套件與驅動程式

環境可以使用 Jupyter Notebook 或是自己習慣的文字編輯器,要先安裝以下所需的套件。

pip install selenium
pip install bs4
pip install lxml
pip install pandas

另外 Selenium 需要瀏覽器的驅動程式才可以正常運作,而我們將以 Google Chrome 作為範例,首先要知道目前電腦的 Google Chrome 版本,點選瀏覽器右上角【三個點的圖示選擇】,再點【設定】,或是直接前往連結 chrome://settings/help,就可以看到目前的版本,就以我目前的電腦是使用 Windows 作業系統,Google Chrome 瀏覽器版本為 90。

Python 爬蟲實戰範例|使用 Selenium 抓取 鉅亨網 高年化配息債券型基金

知道 Google Chrome 版本後,就可以前往 ChromeDriver – WebDriver for Chrome 根據自己電腦的作業系統和版本來下載驅動程式,並解壓縮。

第三步:使用 Selenium 操作瀏覽器

先 impot 全部所需的套件,定義 url 為鉅亨網債券型基金搜尋器網址,在建立 Chrome driver 物件,executable_path 要丟入剛剛下載的 chromedriver 位置,而【./】代表當前路徑,在這是將 chromedriver 放到與 Jupyter Notebook 相同的路徑,最後在使用 driver.get(url) 讓瀏覽器前往 url 網址,執行之後,會看到程式自動開啟一個瀏覽器,並前往鉅亨網債券型基金搜尋器的網頁

import time
from datetime import datetime
from selenium import webdriver
from bs4 import BeautifulSoup
import pandas as pd
url = 'https://fund.cnyes.com/Fixedincome/search.aspx'
driver = webdriver.Chrome(executable_path='./chromedriver')
driver.get(url=url)

接著透過 find_element_by_xpath來取得元素的位置【以計價幣別為例】,並使用 click() 來點擊,XPath 為 XML Path Language,是一種用來尋找文件中某個節點位置的查詢語言

# 計價幣別
driver.find_element_by_xpath('//*[@id="ctl00_ContentPlaceHolder1_DD_classCurrent"]').click()
driver.find_element_by_xpath('//*[@id="ctl00_ContentPlaceHolder1_DD_classCurrent"]/option[7]').click()

欲要取得網頁元素【以計價幣別為例】的 XPath 可以直接在下拉式選單中,【1】按右鍵 > 檢查,就會開啟 Chrome 開發人員工具,並在【2】元素程式碼上按右鍵選擇 【3】Copy >【4】 Copy XPath 來取得

Python 爬蟲實戰範例|使用 Selenium 抓取 鉅亨網 高年化配息債券型基金

理解原理後,就能夠使用相同的邏輯,透過之前流程來操作,選擇計價幣別為【美金】,基金組別為【全球市場高收益債】,年化配息率為【7%至10%以上】,配息頻率【月】並且按【搜尋】,取得結果後,在使用【三年】的績效來做排序,在途中加上 time.sleep(5) 來等待5秒,等搜尋的結果出現後再繼續執行

# 投資區域(全球市場)
driver.find_element_by_xpath('//*[@id="ctl00_ContentPlaceHolder1_DropDownList1"]').click()
driver.find_element_by_xpath('//*[@id="ctl00_ContentPlaceHolder1_DropDownList1"]/option[8]').click()
# 基金組別(高收益債)
driver.find_element_by_xpath('//*[@id="ctl00_ContentPlaceHolder1_DropDownList2"]').click()
driver.find_element_by_xpath('//*[@id="ctl00_ContentPlaceHolder1_DropDownList2"]/option[7]').click()
# 年化配息率(7%)
driver.find_element_by_xpath('//*[@id="aspnetForm"]/div[4]/div[1]/select[1]').click()
driver.find_element_by_xpath('//*[@id="aspnetForm"]/div[4]/div[1]/select[1]/option[9]').click()
# 至(10%以上)
driver.find_element_by_xpath('//*[@id="aspnetForm"]/div[4]/div[1]/select[2]').click()
driver.find_element_by_xpath('//*[@id="aspnetForm"]/div[4]/div[1]/select[2]/option[4]').click()
# 配息頻率
driver.find_element_by_xpath('//*[@id="div_type"]').click()
driver.find_element_by_xpath('//*[@id="div_type"]/option[4]').click()
# 搜尋
driver.find_element_by_xpath('//*[@id="aspnetForm"]/div[4]/div[3]/button').click()
time.sleep(5)
# 三年績效排序
driver.find_element_by_xpath('/html/body/div[2]/section[3]/div/div[4]/table[2]/thead/tr/th[3]/select').click()
driver.find_element_by_xpath('/html/body/div[2]/section[3]/div/div[4]/table[2]/thead/tr/th[3]/select/option[6]').click()
time.sleep(5)
html_source = driver.page_source
driver.close()
soup = BeautifulSoup(html_source, 'lxml')

執行完成後,就可以透過 driver.page_source 來取的當前網頁的 HTML 原始碼,並處存至 html_source 變數中,這時就可以透過 driver.close() 來關掉瀏覽器,最後在建立 BeautifulSoup 物件,而官方建議使用 lxml 的解析方法,因為速度快,相容性也較佳

下個步驟,我們就能解析網頁的內容並擷取我們所需的資料

第四步:解析與擷取所需資訊

先建立一個字典,用來暫存基金的資料,在使用 soup.select_one(‘tbody’).select(‘tr’) 取出網頁原始碼中第一個 tbody 標籤裡所有 tr 標籤,然後跑 for 迴圈,也就是基金表格中每筆基金資料,在各別從中取出基金名稱、淨值、三年績效、配息日、配息金額、年化配息率以及晨星評級,另外多加一個判斷式,過濾掉所有晨星評級3星以下的基金

fund_dict = {
'基金名稱': [],
'淨值': [],
'三年績效': [],
'配息日': [],
'配息金額': [],
'年化配息率': [],
'晨星評級': [],
'連結': []
}
for tr in soup.select_one('tbody').select('tr'):
morning_star = len(tr.select('td')[5].select('li.on'))
if morning_star >= 3:
fund_dict['基金名稱'].append(tr.select('td')[0].text.strip())
fund_dict['淨值'].append(tr.select('td')[1].text.strip().split('\n')[0])
fund_dict['三年績效'].append(tr.select('td')[2].text.strip())
fund_dict['配息日'].append(tr.select('td')[3].text.strip().split('\n')[-1].strip())
fund_dict['配息金額'].append(tr.select('td')[4].text.strip().split('\n')[0].strip())
fund_dict['年化配息率'].append(tr.select('td')[4].text.strip().split('\n')[-1].strip())
fund_dict['晨星評級'].append(morning_star)
fund_dict['連結'].append('https://fund.cnyes.com' + tr.select('td')[0].a['href'].strip().replace(' ', '%20'))

跑完 for 迴圈後,最後 fund_dict 字典中的資料將會如下

{
'基金名稱': ['NN (L) 環球高收益基金X股對沖級別美元(月配息) (美元|月配)',
'NN (L) 環球高收益基金X股美元(月配息) (美元|月配)',
'法巴全球高收益債券基金/月配(美元)避險 (美元|月配)'],
'淨值': ['186.4600', '71.7300', '75.9900'],
'三年績效': ['+17.14%', '+16.85%', '+16.19%'],
'配息日': ['2021/06/02', '2021/06/02', '2021/06/01'],
'配息金額': ['1.4200', '0.5500', '0.5600'],
'年化配息率': ['9.12%', '9.16%', '8.83%'],
'晨星評級': [3, 3, 3],
'連結': ['https://fund.cnyes.com/detail/NN%20(L)%20環球高收益基金X股對沖級別美元(月配息)/B33,173/report',
'https://fund.cnyes.com/detail/NN%20(L)%20環球高收益基金X股美元(月配息)/B33,081/report',
'https://fund.cnyes.com/detail/法巴全球高收益債券基金/月配(美元)避險/B06,298/report']
}

第五步:儲存資料

接著要將擷取的資料,儲存至 csv 檔案中,直接透過字典來建立一個 DataFrame,並將【基金名稱】設定為 index,其中 inplace=True 代表不建立新的 DataFrame 物件,直接對本身 DataFrame 物件進行修改

df = pd.DataFrame(fund_dict)
df.set_index('基金名稱', inplace=True)
df

執行後,可以整理出以下表格

Python 爬蟲實戰範例|使用 Selenium 抓取 鉅亨網 高年化配息債券型基金

最後在使用 DataFrame 的 to_csv 方法,並丟入要建立的檔案名稱,就可以直接將整理好的 DataFrame 表個寫入 csv 檔案中 (新建立的檔案會在 Jupyter Notebook 相同的路經中找到),而為了避免儲存之後中文出現亂碼需加上帶入 encoding=’utf_8_sig’ 

date = datetime.today().strftime("%Y%m%d")
file_name = '{}_全球高收益債基金.csv'.format(date)
df.to_csv(file_name, encoding='utf_8_sig')

執行上方程式碼之後,就可以在 Jupyter Notebook 相同路徑中看到 csv 檔案,內容就是在鉅亨網中前幾名的高年化配息債券型基金資料

Python 爬蟲實戰範例|使用 Selenium 抓取 鉅亨網 高年化配息債券型基金

以上就是使用 Selenium 抓取鉅亨網高年化配息債券型基金的 Python 基金爬蟲實作範例;以下可以看到完整的程式碼,也可以直接下載 Jupyter Notebook 基金爬蟲程式碼檔案。

可繼續閱讀 Python 基金爬蟲Part 2,將篩選出來的基金更進一步取得各基金的細節資料,包含了管理費、成立日期、基金規模、風險評等、申購手續費、夏普值和表準差等資訊。

結語

現今已經有很多的工具與套件(像是本文中提到的 Selenium、BeautifulSoup 與 Pandas)能夠快速的開發適合自己需求的網路爬蟲工具,而 Python 非常最適合寫爬蟲,程式看起來很清楚、優雅、可以快速入門,而且只需要有些 Python 程式語言的基礎,透過實作範例練習,就能夠開發出網路爬蟲工具

之後我們會再陸續出其它 Python 網路爬蟲主題實作,可以訂閱我們,當推出新的文章時,我們將會把第一首消息通知給你喔,如果你有其他問題,或是想要我們推出什麼樣的爬蟲實作,可以直接寄信至 webscrapingpro.tw@gmail.com 聯絡我們喔

全方位 Python 課程

無論你是初學者還是有經驗的開發者,這裡的課程都能滿足你的需求。精心設計的8堂課程,涵蓋不同類型的Python主題,幫助你在各個領域中脫穎而出。