- 登入
- 註冊
爬蟲第七步：用 Python 爬蟲取得 ETF 配息歷史
我們在進行回測時，最先遇到的問題往往是：除權息的跳空該怎麼處理？不妥善處理的話，有偏差的回測結果會導致數據完全不具參考性。因此，為求回測結果準確，我們需要標的配息時間和股息金額的歷史資料。
本篇接下來就一步一步帶大家完成 ETF 配息歷史資料爬蟲的實作吧！
目錄 Content
隱藏
ETF 配息歷史資料來源
首先，我們使用查詢 ETF 相關資料常用的網站 MoneyDJ，在每檔 ETF 資訊的頁面中，其中有一個頁籤叫做「配息紀錄」，其中就包含了我們需要的配息歷史表格！如下方截圖，或是從下方連結進入 0050 （台灣 50 ETF）的配息紀錄頁面。
台灣 50 ETF的配息紀錄頁面：https://www.moneydj.com/ETF/X/Basic/Basic0005.xdjhtm?etfid=0050.TW
注意網址的命名規則
在切換幾檔 ETF 之後，我們發現不同 ETF 的網址只差在 etfid 後的值。這樣的話一切都很單純了！代表我們可以建立一個函數，只要傳入不同的 ETF股票編碼，就能爬取到它的配息歷史數據了！
爬蟲實作－ETF 配息歷史
我們現在有網址了，那接下來解說一下爬取方式吧！
首先，我們 import 爬蟲及資料整理的常用套件。相關套件的基礎操作教學請詳見量化通其他文章。
import requests
import numpy as np
import pandas as pd from bs4
import BeautifulSoup接著，為了方便重複使用爬蟲程式碼，如先前所述，我們確定了網址的命名規則。因此，下面我們展示設計完成的函數直接進行解說：
def get_dividend_list(symbol):
div_url = f'https://www.moneydj.com/ETF/X/Basic/Basic0005.xdjhtm?etfid={symbol}.TW'
r = requests.get(div_url)
soup = BeautifulSoup(r.text, "lxml")
table = soup.findAll("table", class_ = "datalist")[0]
list_rows = []
rows = table.find_all('tr')
for row in rows:
row_td = [i.text for i in row.find_all('td')]
if len(row_td)>1:
list_rows.append(np.array(row_td)[[1,2,6]])
df = pd.DataFrame(list_rows, columns =
['ex_div_date','pay_date','div_amount'] )
df['symbol_id'] = [symbol] * len(df)
return df- 函數的傳入參數 symbol 為字串，例如 ”006208” 等。
- 在傳入參數後，我們把代碼放入 URL 中。這裡使用的是 Python 3.6 之後新增的字串格式寫法：雙引號左側放一個 f，中間的變數用大括號 {} 包起來。
- 接著我們用 requests 套件的 get 方法把 URL 的訪問內容拿回來，如函數內第二行程式碼。
- 再來，用 BeautifulSoup 解析網頁內容，並且搜尋第一個 class_ 值為 “datalist” 的table（知道要這麼解析，是因為我們已經事先把訪問內容列印出來，知道網頁結構是如此）
- 進入 for 迴圈即是典型的表格解析方法，先以 te 區分每一列，再以 td 區分每一個儲存格。在這個範例中，我們僅需要用到第 1, 2, 6 行，因此在儲存每一列資料到 list_rows 時，我們刻意只取 [1, 2, 6]。
- 最後，我們把解析完的資料製作成 pd.DataFrame，另外再加入一個 column 來註記這是哪個 ETF 的配息歷史資料，就大功告成啦！
為什麼要另外製作 ETF 代碼的 colomn 呢？試想一下，如果我們現在有 200 個 ETF 的配息歷史資料需要爬取，搭配 ETF 代碼的 colomn 後，我們就能夠把所有資料整併進一個 pd.DataFrame ，方便管理和後續取用。
以 0050 為例，我們試著運行看看這個爬蟲程式：
dividend = get_dividend_list(“0050”)
print(dividend)
