您現在的位置:[辽宁35选7]辽宁35选7 > 優化網站配置之robots文件使用說明

辽宁35选7:優化網站配置之robots文件使用說明

發布日期:2013-11-27 閱讀次數:1530

隨著個人能力的提升,我開始由開始負責一些新項目操作,雖然這些項目所優化的關鍵詞排名進度還算比較好,但在操作過程中我遇到了很多問題,這些問題的發現、解決讓我認識到了SEO工作中細節的重要性,可謂是細節決定成敗。特別是通過項目的實戰操作,讓辽宁35选7小編時刻的認識到了robots文件在網站優化中的重要性。所以,seo童鞋們,特別是一些初涉seo領域的童鞋們,一定要熟練的掌握robots文件使用說明及其事項。
  Robots文件,嚴格說來是robots.txt文件,它的真正內涵應該如何理解呢?其實robots.txt不是命令,而是一個協議。搜索引擎在抓取一個網站內網頁的時候,會先抓取robots.txt文件,所以這個文件存在的意義就是告訴搜索引擎哪些頁面可以被抓取,哪些頁面不能被抓取。當搜索引擎抓取網站內的網頁時,它會首先訪問網站根目錄下的robots文件,如果存在這個文件,搜索引擎會按照文件中定義的內容進行抓取,如果沒有的話,搜索引擎就會抓取一切被允許它能夠抓到的頁面。在我的理解中,robots文件就像是告訴搜索引擎哪些頁面該訪問,哪些搜索引擎不該訪問。
  那么robots.txt文件的真正寫法是什么呢?在操作榮利站點的時候,由于這個站點以前是老站點,而且是動態頁面,現在是被調成了靜態頁面,所以里面會有很多原先的文件都消失了,所以搜索引擎就無法抓取到,會出現很多抓取錯誤,多達兩千個,這就很有必要運用robots文件把這些已經找不到的頁面定義掉,讓搜索引擎不再抓取。這些內容就牽涉到robots.txt文件的書寫問題。Robots文件中有兩個基本原則,是最簡單的robots文件要寫的,第一是User-Agent: 適用下列規則的漫游器 ;第二是Disallow: 要攔截的網頁,而Allow是定義允許搜索引擎收錄的地址。所以robots的文件寫法有以下:
  User-agent: * (這里的*代表的所有的搜索引擎種類,*是一個通配符 )
  Disallow: /admin/ 這里定義是禁止爬尋admin目錄下面的目錄
  Disallow: /require/ 這里定義是禁止爬尋require目錄下面的目錄
  Disallow: /ABC/ 這里定義是禁止爬尋ABC目錄下面的目錄
  Disallow: /A 是屏蔽A目錄下的所有文件,包括文件和子目錄,還屏蔽 /A*.*的文件
  Disallow: /cgi-bin/*.htm 禁止訪問/cgi-bin/目錄下的所有以".htm"為后綴的URL(包含子目錄)。
  Disallow: /*?* 禁止訪問網站中所有的動態頁面
  Disallow: /.jpg$ 禁止抓取網頁所有的.jpg格式的圖片
  Disallow:/ab/adc.html 禁止爬取ab文件夾下面的adc.html文件。
  Allow: /cgi-bin/ 這里定義是允許爬尋cgi-bin目錄下面的目錄
  Allow: /tmp 這里定義是允許爬尋tmp的整個目錄
  Allow: .htm$ 僅允許訪問以".htm"為后綴的URL。
  Allow: .gif$ 允許抓取網頁和gif格式圖片
  而在我的站點操作中,會用到的有兩個,即是最簡單的robots文件的基本原則,它們分別是
  User-agent: *
  Disallow:/english/(即定義掉english目錄下面的文件)  

  寫robots.txt文件要注意:robots.txt文件必須被放置在一個站點的根目錄下,一般需要在網站后臺添加;robots.txt文件名必須小寫。這兩點看似很簡單,在操作時是很多seo童鞋們是很容易犯錯誤的,所以還是提醒一下。
  現在手上的seo項目越來越多,也真正的感受到了seo工作并不是一件簡單的事情。這也告訴我:以后在操作seo項目時,要注意細節,這樣操作的操作才會越來越有把握。

標簽:robots文件
司瓦圖胡經理
技術客服,免費咨詢
技術客服司瓦圖胡經理
司瓦圖網絡自2007年正式注冊成立,目前提供各類平臺系統定制,包括電商平臺開發,微信小程序定制開發,微信平臺定制開發,企業官網制作以及400電話開通等服務!

全國服務熱線4000-522-555周一至周六8:30-18:00

地址:合肥市政務區天瓏廣場5號甲級寫字樓1007-1008室

老張個人微信

老張原創分享

Copyright © 2018 版權所有:合肥司瓦圖網絡科技有限責任公司 ALL Rights Reserved  
皖ICP備07007410號
司瓦圖老張頭像
司瓦圖老張
老張自05年進入互聯網行業,一直從事互聯網平臺開發行業,服務項目主要有:平臺定制開發,電商平臺開發,微信商城,微信小程序等。
司瓦圖老張微信
{ganrao}