とあるデータサイエンティストの競馬予測チャレンジ　データ収集編１

import requests
from bs4 import BeautifulSoup
import pandas as pd
import numpy as np
from tqdm import tqdm
import time
from bs4 import BeautifulSoup
import pandas as pd
df1=pd.DataFrame()
flg=0
flg2=0
base='https://db.sp.netkeiba.com/race/' # URL先頭の固定部分
for year in tqdm(range(2020, 2021)):
    for basyo in range(1,12):
        for kaisu in range(1,12):
            for nichime in range(1,12):
                for race in range(1,13):

                    # 超重要。毎回リクエストを送る最に1秒間の時間を置く
　　　　　　　　　　　time.sleep(1)

　　　　　　　　　　　# URLを作成。zfill関数を使って「3」→「03」のように2ケタ表示に変換
                    url=base+str(year)+str(basyo).zfill(2)+str(kaisu).zfill(2)+str(nichime).zfill(2)+str(race).zfill(2) 

                    html = requests.get(url) # リクエスト
                    html.encoding = html.apparent_encoding # 日本語を取得したときに文字化けしなければ必要ないかも？
                    soup = BeautifulSoup(html.text, 'lxml') 

                    table=soup.find(class_="table_slide_body ResultsByRaceDetail") # 表を取得
                    if (table == []) | (table == None): #tableが上手く取得できていない場合、その後の処理はスキップ
                        print('break',url)
                        break

                    else:
                        for tr in table.find_all('tr')[1:]: # trタグごとに処理。最初のtrタグは表のカラム名なのでスキップ
                            try:
                                temp=[] #このリストにデータを1カラムずつ格納していく
　　　　　　　　　　　　　　　　　 # まずは共通項目から取得
                                temp.append(soup.find_all(class_="Race_Date")[0].contents[0].string.strip()) #日付
                                temp.append(soup.find_all(class_="Race_Date")[0].contents[1].string.strip()) #曜日                               
                                temp.append(soup.find_all(class_="RaceName_main")[0].string) # レース名
                                temp.append(soup.find_all(class_="RaceData")[0].contents[1].string) #レース時間
                                temp.append(soup.find_all(class_="RaceData")[0].contents[3].string) #芝 or ダート
                                temp.append(soup.find_all(class_="RaceData")[0].contents[5].contents[0]) # 天気
                                temp.append(soup.find_all(class_="RaceData")[0].contents[7].string) # レース場の状態
                                temp.append(soup.find_all(class_="RaceHeader_Value_Others")[0].contents[1].string) #レース情報1
                                temp.append(soup.find_all(class_="RaceHeader_Value_Others")[0].contents[3].string) #レース情報2
                                #出場馬ごとの情報の抽出
                                for td in tr.find_all('td'):
                                    temp.append(td.string)
                                df1=pd.concat([df1,pd.DataFrame(temp).T])
                                flg=0
                            except: # 情報取得できなかった場合はフラグを立てる
                                flg=1
                                pass
                        if flg == 0:
                            print('OK',url)
                        else:
                            print('NG',url)
                            flg=0

    df1.to_csv('table1_'+str(year)+'.csv',encoding='utf_8_sig') # 年ごとにデータをcsvにして保存
    
# 最後にカラム名を設定
df1.columns=['日付','曜日','レース名','レース時間','サーフェス','天気1','天気2','レース情報1','レース情報2',
             '着順','枠番','馬番','馬名','性齢','斤量','騎手','タイム','着差','タイム指数','通過','上り','単勝','人気','馬体重','調教タイム','厩舎コメント','備考','調教師','馬主',"賞金"]