作為網上創(chuàng)業(yè)的一個項目，新上馬的一個網站，上馬網站第一天提交，第二天就收錄首頁，并且品牌關鍵詞又不錯的排名。但是第三天出現(xiàn)了一個問題，就是百度快照變成了只剩下網址了，而且快照內容是空白.
早上site，百度收錄，到了晚上site,就發(fā)現(xiàn)被k了，到第二天早上，site一下，有收錄，還是只有網址，同時關鍵詞排名消失！這樣的情況到現(xiàn)在維持了有一個禮拜左右了，但是快照仍舊是只顯示網址。
出現(xiàn)這個問題，開始的時候心理不進害怕，難道網站剛上線就受到百度的懲罰了？心理不免疑問，網站也沒有違規(guī)操作，外鏈只是手工發(fā)了幾條，并沒有過激行為。
在百度上查找，發(fā)現(xiàn)有同學出現(xiàn)相同的問題，但是并沒有找到有效的解決辦法。在谷歌搜索的時候，看到一個問題，就是大家都知道淘寶是屏蔽百度蜘蛛的，可以打開淘寶的robots.txt文件看一下，但是在百度搜一下淘寶還是有搜索結果的，也是只有網址，快照沒有顯示內容
由此我想到，一定是蜘蛛抓取不到網頁的頁面內容所致，而阻擋百度蜘蛛的一定就是robots.txt，我突然想起來，由于中間我換了后臺的cps，根目錄下的文件夾有變化，就把robots.txt內容修改過，我想這可能是百度蜘蛛抓取不到頁面的原因，因為百度對robots.txt的反應是有一段時間的。但是我又在想，這次改動，并沒有禁止過蜘蛛爬行的語句。我心里覺得問題還不在于這次改動。
我有個習慣，就是在百度正式上馬之前，習慣用robots.txt禁止蜘蛛爬行，為的是怕蜘蛛提前收錄未架構好的網站，想吧網站架構好之后，在完全放開。這個習慣的初衷是好的，對于谷歌是絕對沒問題的。但是大家都知道，百度是比較弱智的，在更新方面也是比較遲鈍的，根據(jù)大家的經驗，百度對 robots.txt的反應是有一段時間的，因此我斷定，我的網站，百度還是認為在之前的robots禁止狀態(tài)。如果不出意外的話，過了這段適應期，百度是會重新收錄的，因為此時我的robots文件是正常的。
由此次問題看出，提前禁止百度蜘蛛爬行，對于百度未必是好的方法，最好的方式，就是在網站上嗎之前，提前做好整個企劃，網站構建在盡量短的時間內完成，而不是像我之前，先禁止蜘蛛爬行，然后網址慢慢完善，這樣就有可能出現(xiàn)，百度對之前的robots.txt禁止狀態(tài)長時間反應不過來，就會造成百度只收錄網址，快照顯示空白的情況發(fā)生。
下面是找到的兩個，看起來比較靠譜的原因：
一是，空間質量不好，百度蜘蛛抓取首頁有誤，導致快照空白。（我使用的空間良好，不存在這個問題，因此不是這個原因）。
二是，網站首頁程序的原因。
仔細查看網站程序后臺設置和前臺文件，發(fā)現(xiàn)首頁有兩個文件，一個是index.asp,另一個是index.html，而空間配置的默認首頁文件是 index.html照常理應該是優(yōu)先訪問index.html的，這個是靜態(tài)文件，出于安全起見先把index.asp暫停使用，對于網站的訪問和后臺的文件生成沒有影響，于是將index.asp刪除掉，等待收錄情況。第二天早上用站長工具查詢時發(fā)現(xiàn)首頁快照收錄正常，快照日期是最新的，快照內容也有了，標題的收錄也完整了。至此，百度快照收錄空白內容的情況已完全解決。
對于這個原因，我曾以為我就是這個原因，因為曾更換了我的首頁文件，因為功能需要，我把index.html修改為index.php了，這樣就有可能是百度一直收錄的我的html首頁，而不收我的php。但是我也做出否定，因為我已經刪除index.html，我的后臺只有index.php這個首頁文件，不存在蜘蛛收錄一個不存在的首頁的情況。除非首頁還在百度的緩存中，但是已經一個禮拜了，k了收，收了k，快照隔天。空間后臺也是把 index.php作為默認首頁。
因此，唯一讓我認可的還是曾經使用robots文件禁用過百度蜘蛛的原因，百度比較呆，看別人的案例，有的情況是，禁止爬行發(fā)開后，四十多天才會重新收錄的案例。因為我認為，可能是百度蜘蛛對robots的反應慢，依然認為是在被禁止。下面是我搜索遇到的一種說法：
這個現(xiàn)象目前主要有幾種可能
2.百度對robots的更新 要一段時間， 如果要讓其更快反映，請先刪除robots.txt ，猜測 之前禁止過蜘蛛。
我暫時先認可這種辦法，先吧robots文件刪除，以圖百度快點反應過來，重新收錄首頁！有沒有效果，后期會在這篇文章末尾補充。
補充：就在剛剛這篇文章完成之時，我回頭site了一下，發(fā)現(xiàn)快照竟然恢復了，
我不知道是我今天投訴快照的原因，還是，我把后臺的默認首頁，全都刪掉的原因，如果能保持長久不再恢復的話，那就是默認首頁的問題了，但是我還是覺得，可能是今天投訴快照的原因。拭目以待，繼續(xù)觀察中……
版權所有:易賢網
公眾號
事業(yè)單位
當前位置：
公考類
招聘類
各類考試