 |
harveliang
展開(kāi)
返回【403】的應(yīng)對(duì)方法：設(shè)置請(qǐng)求頭里面的user-agent 和Referer參數(shù)，代碼如下：
headers={
"User-Agent":"Mozilla/5.0 （Windows NT 6.1; WOW64） AppleWebKit/537.36 （KHTML, like Gecko） Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3823.400 QQBrowser/10.7.4307.400",
"Upgrade-Insecure-Requests": "1",
"Referer":"http://www.htqyy.com"
}
html = requests.get（url,headers=headers）
[開(kāi)心] |
  學(xué)習(xí)達(dá)人
|
T610272lj
展開(kāi)
好輕聽(tīng)設(shè)置了反爬蟲(chóng)，老師教的不適應(yīng)。大家可以爬下這個(gè)音樂(lè)網(wǎng)：
url : http://www.92kk.com/topnew/969-1.html （第一頁(yè)）
http://www.92kk.com/topnew/969-2.html （第二頁(yè)）
歌曲： http://www.92kk.com/play/37279.html |
 |
TaylorSmurft
展開(kāi)
返回[403]的，get請(qǐng)求加個(gè)headers參數(shù),把瀏覽器后臺(tái)Request headers里的全部信息（Refer,Upgrade-Insecure-Requests,user agent 等等）放進(jìn)去就可以了 斷斷de雨
展開(kāi)
@ TaylorSmurft 感謝分享，雖然不知道為什么這么做，但是直到現(xiàn)在仍然有效，大家注意這種方法不是直接復(fù)制過(guò)來(lái)就能用，需要復(fù)制后按照headers的格式修改一下才可以[贊] |
|
|
T645369il
展開(kāi)
|
 |
Cavens
展開(kāi)
雖然教程的代碼有點(diǎn)過(guò)期了, 該音樂(lè)網(wǎng)已經(jīng)設(shè)置了一些反爬手段, 但通過(guò)已學(xué)知識(shí)和互聯(lián)網(wǎng)搜索的一些方法, 最后還是可以順利爬取到該網(wǎng)站的音樂(lè), 各位需要鍛煉自己搜索和篩選信息的能力, 這樣才是合格的程序員, 照搬老師的代碼是不現(xiàn)實(shí)的, 特別是時(shí)隔兩年多的現(xiàn)在 |
|
|
wuxu710426920
展開(kāi)
|
承擔(dān)因您的行為而導(dǎo)致的法律責(zé)任，
本站有權(quán)保留或刪除有爭(zhēng)議評(píng)論。
參與本評(píng)論即表明您已經(jīng)閱讀并接受
上述條款。