在整個過程中，我認為有三大難點：內(nèi)容，內(nèi)部鏈接結(jié)構(gòu)，外鏈構(gòu)建。在這些結(jié)構(gòu)中，網(wǎng)站內(nèi)部鏈接結(jié)構(gòu)就是要解決搜索引擎有 效爬升、抓取的難題，既要全 面、快速地抓取，又要避免不必要的內(nèi)容被抓，還要合理地分配權(quán)力。站得越多，問題就越難完 美解決。作過大站一定深有體會，不管怎么調(diào)整網(wǎng)站結(jié)構(gòu)，都不能做到網(wǎng)頁百分之一百被索引。

       Bing這篇文章告訴，以后很可能就不用擔(dān)心抓取的問題了，有了新的網(wǎng)頁，或是舊網(wǎng)頁有了更新，只需直接提交網(wǎng)址即可(通過網(wǎng)站工具或API)，無需依賴Bing蜘蛛爬行抓取，事實上，Bing蜘蛛可以很大地減少爬行而不影響索引的新內(nèi)容。

       SearchEngineLand在Bing搜索工程師訪談中確認，減少爬升，的確是Bing的目標(biāo)。在接下來的幾年里，Bing將不再依賴爬蟲去發(fā)現(xiàn)新的內(nèi)容。Bing認為，對網(wǎng)站抓取的方法低效、浪費資源，不如站長直接提交內(nèi)容。Bing說，提交URL是頁面抓取的“非常有力”信號，要想對內(nèi)容進行快速索引，就趕快使用提交工具。的確，大的站點，頁面被抓取了一遍，可能要花費數(shù)周，或者更長時間，這時網(wǎng)站上出現(xiàn)了新網(wǎng)頁，或者舊網(wǎng)頁內(nèi)容有了更新，要被抓取，或者要推遲數(shù)周。發(fā)送URL是一種快速的方式。

       事實上百度早在做類似的事情，在百度資源平臺提交內(nèi)容是快速抓取新網(wǎng)頁的好辦法，小時級收錄的確可在數(shù)小時內(nèi)收錄，有時也可在幾分鐘內(nèi)收錄。但是百度資源平臺提交看起來并不支持舊頁面但是有新頁面。

在行業(yè)的潛在影響。

       若Google隨后繼續(xù)采用這種方式，這將對產(chǎn)業(yè)造成不小的沖擊。搜索引擎發(fā)現(xiàn)，抓取、編入新內(nèi)容的方式變得更簡單、更直接，調(diào)整網(wǎng)站結(jié)構(gòu)的必要性和難度將大大降低。

       但是還有一些潛在的問題。比方說，黑帽子的顯然不會錯過這個機會。在此之前，通過爬行獲取垃圾內(nèi)容變得越來越困難，因為從一個頁面爬到另一個頁面就是識別、過濾的過程。大規(guī)模的主動提交垃圾網(wǎng)頁之后，搜索引擎應(yīng)該如何處理？

       再者，搜索引擎減少爬行，倒也省錢了，但是舊的、沒有更新的頁面被抓取的次數(shù)就會大大減少，這會不會造成鏈接關(guān)系計算的錯誤、不及時？順帶一提，不知為何總有人說鏈接對于排名已不再重要，其實仍然很重要。的基本方式在過去十多年里沒有什么大的改變，但是仍然是一個不斷變化的行業(yè)。