爬蟲實戰，TradingView、CMoney、Yahoo finance－從零開始的Python股票爬蟲教學（四）

從零開始的Python股票爬蟲教學系列文：

目錄 Content 隱藏

前言

一、TradingView爬蟲

二、CMoney爬蟲

三、即時報價爬蟲

結論

前言

這個章節要來解析如何爬取非表格型的網站資料或看似表格型但卻爬不到資料的狀況，這時候我們就會需要解析網頁的原始碼架構，查看資料會放在哪一個 class 內。

接著再一筆一筆去整理爬取到的 data，最後使用 pandas 內的 function 去將 data 組合成DataFrame！

一、TradingView爬蟲

免費註冊 TradingView 並領取最高 60% 與 30 美元的折扣

data為非表格型態 ➨ BeautifulSoup or res.json

import pandas as pd
import requests
from bs4 import BeautifulSoup
import re

# 先取得各產業網址方便for迴圈爬蟲

url = 'https://tw.tradingview.com/markets/stocks-taiwan/sectorandindustry-industry/'
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/111.25 (KHTML, like Gecko) Chrome/99.0.2345.81 Safari/123.36'}
res = requests.get(url,headers=headers)

soup = BeautifulSoup(res.text,'html.parser')

dfs = pd.DataFrame()
for line in soup.find_all(class_='tv-screener__symbol'):
    # 取得各產業網址
    href = 'https://tw.tradingview.com'+line['href']
    industry = line.text
    # 去除部門資料
    if ('-sector' not in href)&('investment-trusts' not in href):
        r = requests.get(href)
        stocks = pd.read_html(r.text,header=0)[0].applymap(lambda s:str(s).replace(' ',''))['Unnamed: 0']

        for sid in stocks:

            # 處理股票代號格式
            stock_id = ''.join([s for s in sid if s.isdigit()])
            if len(stock_id)>4:
                stock_id = stock_id[1:5]

            # 使用re搜尋str中在stock_id後所有的文字
            name = re.search(f"{stock_id}.*",sid).group()[4:]

            dfs = dfs.append(pd.DataFrame({
                '公司簡稱':name,
                '產業族群':industry
            },index=[stock_id]))

二、CMoney爬蟲

CMoney 網站連結：https://www.cmoney.tw/finance/2330/f00026

data為非表格型態 ➨ BeautifulSoup or res.json

爬蟲前需取得金鑰。

import pandas as pd
import requests
from bs4 import BeautifulSoup
import re

stock_id = '2330'

url = f"https://www.cmoney.tw/finance/f00026.aspx?s={stock_id}"
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/111.25 (KHTML, like Gecko) Chrome/99.0.2345.81 Safari/123.36'}
res = requests.get(url,headers=headers)
soup = BeautifulSoup(res.text,'html.parser')
# 取得基本資料的cmkey
for line in soup.find_all(class_="mobi-finance-subnavi-link"):
    if line.text == '基本資料':
        cmkey = line['cmkey'].replace('=','%3D')

url = f"https://www.cmoney.tw/finance/ashx/mainpage.ashx?action=GetStockBasicInfo&stockId={stock_id}&cmkey={cmkey}"

# 特別注意要加入Referer
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/111.25 (KHTML, like Gecko) Chrome/99.0.2345.81 Safari/123.36',
    'Referer': f"https://www.cmoney.tw/finance/f00026.aspx?s={stock_id}"
}

res = requests.get(url,headers=headers)

data = res.json()[0]
df = pd.DataFrame({
    '公司名稱':data['CompanyName'],
    '產業':data['Industry'],
    '細產業':data['SubIndustry'],
    '經營項目':data['Business']
},index=[stock_id])

df

三、即時報價爬蟲

Yahoo即時報價網站連結：https://tw.stock.yahoo.com/

data為非表格型態 ➨ BeautifulSoup or res.json

import pandas as pd
import requests
from bs4 import BeautifulSoup
import re

stock_id = '2330'

url = f"https://tw.quote.finance.yahoo.net/quote/q?type=ta&perd=d&mkt=10&sym={stock_id}&v=1&callback=jQuery111302872649618000682_1649814120914&_=1649814120915"
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/111.25 (KHTML, like Gecko) Chrome/99.0.2345.81 Safari/123.36'}
res = requests.get(url,headers=headers)

# 最新價格
current = [l for l in res.text.split('{') if len(l)>=60][-1]
current = current.replace('"','').split(',')
# 昨日價格
yday = float(re.search(':.*',[l for l in res.text.split('{') if len(l)>=60][-2].split(',')[4]).group()[1:])

df = pd.DataFrame({
    'open':float(re.search(':.*',current[1]).group()[1:]),
    'high':float(re.search(':.*',current[2]).group()[1:]),
    'low':float(re.search(':.*',current[3]).group()[1:]),
    'close':float(re.search(':.*',current[4]).group()[1:]),
    'volume':float(re.search(':.*',current[5].replace('}]','')).group()[1:]),
    'pct':round((float(re.search(':.*',current[4]).group()[1:])/yday-1)*100,2)
},index=[stock_id])

df