今天我們來(lái)講解一個(gè)小問(wèn)題,很多朋友更新了robots.txt文件以后,然后去百度站長(zhǎng)平臺(tái)監(jiān)測(cè) robots.txt是否正確,卻被提示:百度暫時(shí)無(wú)法鏈接服務(wù)器,錯(cuò)誤301代碼,這個(gè)時(shí)候我們應(yīng)該怎么解 決那?其實(shí)解決方法并不是很難,今天就教大家排查這個(gè)問(wèn)題。
1,服務(wù)器是否可以正常訪問(wèn)!
我們最先檢查的應(yīng)該是我們的服務(wù)器,手動(dòng)訪問(wèn),看是否可以打開,或者是否打開非常慢,所造成 百度抓取延遲,才導(dǎo)致的抓取失敗,大家可以用17測(cè),來(lái)檢測(cè)網(wǎng)站的整體速度,如果發(fā)現(xiàn)網(wǎng)站異常慢的 話,就應(yīng)該聯(lián)系你的服務(wù)商進(jìn)行排查問(wèn)題了,問(wèn)題排查后,恢復(fù)正常,大家在進(jìn)行檢測(cè)robots.txt,就 可以恢復(fù)正常了。
2,檢查域名是否為首選域,301導(dǎo)致的錯(cuò)誤!
如果服務(wù)器沒(méi)有問(wèn)題,大家就檢查下是不是首選域的問(wèn)題,比如你在站長(zhǎng)平臺(tái)綁定的域名是你的頂級(jí)域名,而訪問(wèn)網(wǎng)站卻是你的www域名,百度站長(zhǎng)平臺(tái)訪問(wèn)的時(shí)候,可能就會(huì)提示抓取錯(cuò)誤,如果是這個(gè)問(wèn)題,建議重新綁定站長(zhǎng)平臺(tái)域名來(lái)解決即可。
3,檢測(cè)robots.txt,是否在根目錄!
如果以上沒(méi)問(wèn)題,請(qǐng)檢查你的robots.txt是否在網(wǎng)站根目,很多朋友都容易放錯(cuò),誤以為robots.txt放在那里都是可以的,其實(shí)這個(gè)文件是必須放到根目錄的,這個(gè)大家要注意。
4,檢查robots.txt是否為空
如果robots.txt文件位置沒(méi)有錯(cuò),我們就要檢查下robots.txt是否為空文件,可能再上傳或者直接修改時(shí),造成了文件的錯(cuò)誤而導(dǎo)致為空,這種情況,百度也會(huì)提示抓取失敗。
5,刷新CDN緩存/
如果以上都沒(méi)有錯(cuò)誤,那么你就要檢查你的CDN了,很可能是因?yàn)镃DN緩存而造成的,或者是你配置了https,而站長(zhǎng)平臺(tái)卻綁定的http,無(wú)法訪問(wèn),這兩點(diǎn)自己排查,如果以上都做到,那么是不會(huì)提示這類錯(cuò)誤的,當(dāng)然也不排查百度站長(zhǎng)平臺(tái)本身的問(wèn)題,不過(guò)這種機(jī)率性很小。