對網(wǎng)站SEO優(yōu)化人員來說，網(wǎng)站的收錄、排名、流量是我們必求的東西，但前提是，我們必須讓搜索引擎蜘蛛來抓我們的網(wǎng)站，否則網(wǎng)站內(nèi)容再有價值也是徒勞。
互聯(lián)網(wǎng)就像一張大網(wǎng)一樣形成搜索引擎是通過一個單一的鏈接來抓取網(wǎng)站頁面的，這個行為就變成了蜘蛛抓取，或者叫做網(wǎng)絡(luò)爬蟲
所謂的蜘蛛就是搜索引擎的一個程序軟件，它自動地抓取頁面，蜘蛛會持續(xù)地訪問每個頁面的鏈接，
把html代碼數(shù)據(jù)輸入它自己的數(shù)據(jù)庫，這是搜索引擎的第一項任務(wù)，第二項任務(wù)是通過搜索引擎的排名算法來完成頁面的排名。
搜索引擎蜘蛛抓取原理
想要網(wǎng)站收錄，那么第一件事就是去給更新網(wǎng)站內(nèi)容，但第七城網(wǎng)絡(luò)運(yùn)營表示，有的時候你在這么更新原創(chuàng)內(nèi)容搜索引擎蜘蛛就是不收錄你的網(wǎng)站，這是什么原因呢？原因很簡單，就是你不了解搜索引擎蜘蛛的爬行原理以及抓取原理，何謂搜索引擎蜘蛛抓取原理？
1)縱向抓取原理: 深度優(yōu)先
當(dāng)搜索引擎蜘蛛進(jìn)入一個網(wǎng)站第一個入口之時，該蜘蛛就會順著第一個鏈接一直深入的縱向一個一個的頁面抓取，比如進(jìn)入第一個，在進(jìn)入下一個，再下下一個，直到進(jìn)入到無法在進(jìn)入，蜘蛛才會往返回去。
2)橫向抓取原理:廣度優(yōu)先
當(dāng)搜索引擎進(jìn)入網(wǎng)站的第一個入口的時候，該蜘蛛不會順著網(wǎng)站一個一個頁面去抓取，而是一層一層的抓取，也就是說，只有搜索引擎把第一層所有的鏈接抓取完了，才會進(jìn)入下一個鏈接去抓取其他頁面。
