python股票數據採集框架

A. 股票池如何用python構建

股票池用python構建的方法是：使用第三方平台，目前可以使用的是聚寬，對比一下聚寬、優礦、大寬網（已經倒閉了），都大同小異，選哪個都一樣。

雖然這些平台都大同小異，但是代碼可不能簡單復制粘貼，因為底層函數庫是不一樣的，有可能在別的平台根本用不了某個函數，並且簡單復制到自己電腦中的python的話百分之百用不了。

代碼的思路是，每個月底進行調倉，選出市值最小的股票交易，去掉ST/*ST/停牌/漲停的股票，然後選擇最小市值的10隻，基準是創業板綜指，看看結果。

python構建數據獲取方法是：旅衡

這里使用為了接下來的操作需要將一定歷史范圍的股票數據下載下來，這里下載起始時間為20160101，截至時間為運行代碼的時間范圍的歷史日線數據。

這里以tushare為例, tushare獲取歷史數據有兩種方式。

第一種是以迭代歷史交陪攔易日的方式獲取所有歷史數據，假設獲取三年的歷史數據，一拆亂做年一般220個交易日左右，那麼3年需要請求660多次左右，如果以這種方式的話，就下載數據的時間只需要1分鍾多點的樣子。

第二種是以迭代所有股票代碼的方式獲取所有歷史數據，股票數量有大概3800多個，需要請求3800多次，但是在積分有限的情況下一分鍾最多請求500次，也就意味著僅下載數據的時間至少需要大概8分鍾時間。

理論上，你獲取的歷史范圍超過17.3年，那麼使用第一種方式才比第二種方式快。

B. 怎麼學python爬取財經信息

本程序使用Python 2.7.6編寫，擴展了Python自帶的HTMLParser，自動根據預設的股票代碼列表，從Yahoo Finance抓取列表中的數據日期、股票名稱、實時報價、當日變化率、當日最低價、當日最高價。

由於Yahoo Finance的股票頁面中的數值都有相應id。

例如納斯達克100指數ETF（QQQ）
其中實時報價的HTML標記為

[html]view plain

• <spanid="yfs_l84_qqq">87.49</span>

而標普500指數ETF（SPY）


其中實時報價的HTML標記為

[html]view plain

• <spanid="yfs_l84_spy">187.25</span>

因此本數據抓取程序根據相應的id字元串來查找數據。具體來說就是先繼承HTMLParser，然後在自定義的子類中重載handle_data(self, data)方法，查找包含相應id字元串（例如實時報價的id字元串為"yfs_l84_"+股票代碼）的HTML標記，並輸出這個HTML標記中的數據（例如qqq的<span id="yfs_l84_qqq">87.49</span>，其中的數據87.49就是實時報價。）

樣本輸出：

數據依次是

數據日期 股票代碼 股票名稱 實時報價 日變化率 日最低價 日最高價

[python]view plain

• 05/05/(IBB)233.281.85%225.34233.28

• 05/05/(SOCL)17.480.17%17.1217.53

• 05/05/(PNQI)62.610.35%61.4662.74

• 05/05/2014xsdSPDRS&PSemiconctorETF(XSD)67.150.12%66.2067.41

• 05/05/2014itaiSharesUSAerospace&Defense(ITA)110.341.15%108.62110.56

• 05/05/2014iaiiSharesUSBroker-Dealers(IAI)37.42-0.21%36.8637.42

• 05/05/(VBK)119.97-0.03%118.37120.09

• 05/05/2014qqqPowerSharesQQQ(QQQ)87.950.53%86.7687.97

• 05/05/2014ewiiSharesMSCIItalyCapped(EWI)17.86-0.56%17.6517.89

• 05/05/(DFE)62.33-0.11%61.9462.39

• 05/05/(PBD)13.030.00%12.9713.05

• 05/05/(EIRL)38.52-0.16%38.3938.60