Python 爬蟲系列閱讀：
- 爬蟲第一步：認識網頁的基本架構
- 爬蟲第二步：解析網頁
- 爬蟲第三步：坐而言不如起而行
- 爬蟲第四步：偽裝一個headers吧！
- 爬蟲第五步：如何使用python 帶 cookie 去網站？
- 爬蟲第六步：用 Python 爬蟲整理上市股票清單
- 爬蟲第七步：用 Python 爬蟲取得 ETF 配息歷史
- 爬蟲第八步：用 Python 爬蟲取得股票除權息歷史
用 Python 自動化股票投資
我們在很多時候會需要用到整個上市股票和產業分類的資料表，來協助做自動化股票投資。例如，在開發選股模型時，有產業分類的資料能夠讓我們更精確地選出股票。
這個資料要去哪裡抓呢？其實證交所就有提供這個資料表了！我們只要透過爬蟲定期更新，就不會錯過新上市股票的產業分類資訊了！
資料表位於網頁何處？
首先，在證交所首頁上方列點擊「產品與服務」，並選擇「證券編碼公告」。如下方截圖。
再來，點擊「本國上市證券國際證券辨識號碼一覽表」右方的連結。如下圖。
於是，我們就能看到我們想要的那份資料表了。如下圖所示。
網址為：https://isin.twse.com.tw/isin/C_public.jsp?strMode=2。先記起來，在後續的爬蟲會用上。
爬蟲實作－上市股票清單
現在，我們知道網址了，就用最經典的 requests 和 BeautifulSoup 套件完成這項爬蟲任務吧！
首先，我們先 import 這兩個套件：
import requests
from bs4 import BeautifulSoup再來，我們透過 requests 套件的 get 方法來訪問這個頁面，把回傳結果存進 res。
url = "https://isin.twse.com.tw/isin/C_public.jsp?strMode=2"
res = requests.get(url)緊接著，我們使用 BeautifulSoup 來解析這個回傳內容。我們會發現這個表格即是由典型的 tr 和 td 所構成：每一個 tr 標籤中的內容為一行資訊，每一個 td 標籤中的內容為該行中每一格所包含的資訊。因此，我們先依據 tr 做 findAll，這樣後續在根據 tr 做 for 迴圈時，即是一行一行把資料取出來的意思。
而在下方程式碼中，我們把 tr 每一行取出來的資料，再用 td 去解析，就可以得到，並且使用 get_text() 把每一個 td 標籤中的值取出來，就能萃取出該行包含每一個值的 list 了，也就是程式碼中的 data。
但是從上面的截圖，我們可以知道，蘊含有用資訊的 data 必須要有 7 個值。因此，我們加上一個資料長度的判定，過濾掉無用資訊。
soup = BeautifulSoup(res.text, "lxml")
tr = soup.findAll('tr')
tds = []
for raw in tr:
data = [td.get_text() for td in raw.findAll("td")]
if len(data) == 7:
tds.append(data)如此一來，這個表格就完整地存下來了！我們可以試著用 pd.DataFrame 印出來看看。
import pandas as pd
pd.DataFrame(tds[1:],columns=tds[0])
看來，不僅是上市股票，連權證代碼都一起爬下來了。進一步的整理，以及把證券代碼從「有價證券代碼及名稱」列解析出來，就靠聰明的讀者自行練習囉！
至於如何應用產業分類資料在選股模型上，有興趣的同學可以參考一下 Python 選股模型課程，有完整的解說！
量化通粉絲社群，一起討論程式交易！
程式交易課程推薦
📣 Python 程式交易系列線上課程，手把手開始用程式交易打造自己的被動收入！
