作為網(wǎng)上創(chuàng)業(yè)的一個(gè)項(xiàng)目，新上馬的一個(gè)網(wǎng)站，上馬網(wǎng)站第一天提交，第二天就收錄首頁，并且品牌關(guān)鍵詞又不錯(cuò)的排名。但是第三天出現(xiàn)了一個(gè)問題，就是百度快照變成了只剩下網(wǎng)址了，而且快照內(nèi)容是空白.
早上SITE，百度收錄，到了晚上SITE,就發(fā)現(xiàn)被K了，到第二天早上，SITE一下，有收錄，還是只有網(wǎng)址，同時(shí)關(guān)鍵詞排名消失！這樣的情況到現(xiàn)在維持了有一個(gè)禮拜左右了，但是快照仍舊是只顯示網(wǎng)址。
出現(xiàn)這個(gè)問題，開始的時(shí)候心理不進(jìn)害怕，難道網(wǎng)站剛上線就受到百度的懲罰了？心理不免疑問，網(wǎng)站也沒有違規(guī)操作，外鏈只是手工發(fā)了幾條，并沒有過激行為。
在百度上查找，發(fā)現(xiàn)有同學(xué)出現(xiàn)相同的問題，但是并沒有找到有效的解決辦法。在谷歌搜索的時(shí)候，看到一個(gè)問題，就是大家都知道淘寶是屏蔽百度蜘蛛的，可以打開淘寶的robots.txt文件看一下，但是在百度搜一下淘寶還是有搜索結(jié)果的，也是只有網(wǎng)址，快照沒有顯示內(nèi)容
由此我想到，一定是蜘蛛抓取不到網(wǎng)頁的頁面內(nèi)容所致，而阻擋百度蜘蛛的一定就是robots.txt，我突然想起來，由于中間我換了后臺(tái)的CPS，根目錄下的文件夾有變化，就把robots.txt內(nèi)容修改過，我想這可能是百度蜘蛛抓取不到頁面的原因，因?yàn)榘俣葘?duì)robots.txt的反應(yīng)是有一段時(shí)間的。但是我又在想，這次改動(dòng)，并沒有禁止過蜘蛛爬行的語句。我心里覺得問題還不在于這次改動(dòng)。
我有個(gè)習(xí)慣，就是在百度正式上馬之前，習(xí)慣用robots.txt禁止蜘蛛爬行，為的是怕蜘蛛提前收錄未架構(gòu)好的網(wǎng)站，想吧網(wǎng)站架構(gòu)好之后，在完全放開。這個(gè)習(xí)慣的初衷是好的，對(duì)于谷歌是絕對(duì)沒問題的。但是大家都知道，百度是比較弱智的，在更新方面也是比較遲鈍的，根據(jù)大家的經(jīng)驗(yàn)，百度對(duì) robots.txt的反應(yīng)是有一段時(shí)間的，因此我斷定，我的網(wǎng)站，百度還是認(rèn)為在之前的robots禁止?fàn)顟B(tài)。如果不出意外的話，過了這段適應(yīng)期，百度是會(huì)重新收錄的，因?yàn)榇藭r(shí)我的robots文件是正常的。
由此次問題看出，提前禁止百度蜘蛛爬行，對(duì)于百度未必是好的方法，最好的方式，就是在網(wǎng)站上嗎之前，提前做好整個(gè)企劃，網(wǎng)站構(gòu)建在盡量短的時(shí)間內(nèi)完成，而不是像我之前，先禁止蜘蛛爬行，然后網(wǎng)址慢慢完善，這樣就有可能出現(xiàn)，百度對(duì)之前的robots.txt禁止?fàn)顟B(tài)長時(shí)間反應(yīng)不過來，就會(huì)造成百度只收錄網(wǎng)址，快照顯示空白的情況發(fā)生。
下面是找到的兩個(gè)，看起來比較靠譜的原因：
一是，空間質(zhì)量不好，百度蜘蛛抓取首頁有誤，導(dǎo)致快照空白。（我使用的空間良好，不存在這個(gè)問題，因此不是這個(gè)原因）。
二是，網(wǎng)站首頁程序的原因。
仔細(xì)查看網(wǎng)站程序后臺(tái)設(shè)置和前臺(tái)文件，發(fā)現(xiàn)首頁有兩個(gè)文件，一個(gè)是index.asp,另一個(gè)是index.html，而空間配置的默認(rèn)首頁文件是 index.html照常理應(yīng)該是優(yōu)先訪問index.html的，這個(gè)是靜態(tài)文件，出于安全起見先把index.asp暫停使用，對(duì)于網(wǎng)站的訪問和后臺(tái)的文件生成沒有影響，于是將index.asp刪除掉，等待收錄情況。第二天早上用站長工具查詢時(shí)發(fā)現(xiàn)首頁快照收錄正常，快照日期是最新的，快照內(nèi)容也有了，標(biāo)題的收錄也完整了。至此，百度快照收錄空白內(nèi)容的情況已完全解決。
對(duì)于這個(gè)原因，我曾以為我就是這個(gè)原因，因?yàn)樵鼡Q了我的首頁文件，因?yàn)楣δ苄枰野裪ndex.html修改為index.php了，這樣就有可能是百度一直收錄的我的html首頁，而不收我的php。但是我也做出否定，因?yàn)槲乙呀?jīng)刪除index.html，我的后臺(tái)只有index.php這個(gè)首頁文件，不存在蜘蛛收錄一個(gè)不存在的首頁的情況。除非首頁還在百度的緩存中，但是已經(jīng)一個(gè)禮拜了，k了收，收了k，快照隔天。空間后臺(tái)也是把 index.php作為默認(rèn)首頁。
因此，唯一讓我認(rèn)可的還是曾經(jīng)使用robots文件禁用過百度蜘蛛的原因，百度比較呆，看別人的案例，有的情況是，禁止爬行發(fā)開后，四十多天才會(huì)重新收錄的案例。因?yàn)槲艺J(rèn)為，可能是百度蜘蛛對(duì)robots的反應(yīng)慢，依然認(rèn)為是在被禁止。下面是我搜索遇到的一種說法：
這個(gè)現(xiàn)象目前主要有幾種可能
2.百度對(duì)robots的更新 要一段時(shí)間， 如果要讓其更快反映，請(qǐng)先刪除robots.txt ，猜測 之前禁止過蜘蛛。
我暫時(shí)先認(rèn)可這種辦法，先吧robots文件刪除，以圖百度快點(diǎn)反應(yīng)過來，重新收錄首頁！有沒有效果，后期會(huì)在這篇文章末尾補(bǔ)充。
補(bǔ)充：就在剛剛這篇文章完成之時(shí)，我回頭SITE了一下，發(fā)現(xiàn)快照竟然恢復(fù)了，
我不知道是我今天投訴快照的原因，還是，我把后臺(tái)的默認(rèn)首頁，全都刪掉的原因，如果能保持長久不再恢復(fù)的話，那就是默認(rèn)首頁的問題了，但是我還是覺得，可能是今天投訴快照的原因。拭目以待，繼續(xù)觀察中……
更多信息請(qǐng)查看IT技術(shù)專欄
版權(quán)所有:易賢網(wǎng)
公眾號(hào)
事業(yè)單位
當(dāng)前位置：
公考類
招聘類
各類考試