欧美巨波霸乳影院,天堂网在线最新版www资源网 ,亚洲AⅤ日韩久久久久久,热RE99久久精品国产66热

小紅書南通代理商【南通首屏網(wǎng)絡(luò)】專業(yè)提供:小紅書開戶 、小紅書認(rèn)證 、小紅書種草、小紅書投流、小紅書廣告、小紅書運營 、信息流廣告、搜索廣告推流

主頁 > 新聞資訊 > 優(yōu)化方法

 

robots.txt文件如何去寫？

  • 發(fā)布時間：2021/8/8 13:25:15
robots.txt文件的寫法
User-agent: * 　　 這里的*代表的所有的搜索引擎種類，*是一個通配符
Disallow: /admin/ 這里定義是禁止爬尋admin目錄下面的目錄
Disallow: /require/ 　 這里定義是禁止爬尋require目錄下面的目錄
Disallow: /require/ 這里定義是禁止爬尋require目錄下面的目錄
Disallow: /ABC 這里定義是禁止爬尋ABC整個目錄
Disallow: /cgi-bin/*.htm 禁止訪問/cgi-bin/目錄下的所有以".htm"為后綴的URL(包含子目錄)。
Disallow: /*?* 禁止訪問網(wǎng)站中所有的動態(tài)頁面
Disallow: .jpg$ 禁止抓取網(wǎng)頁所有的.jpg格式的圖片
Disallow:/ab/adc.html 禁止爬去ab文件夾下面的adc.html所有文件
User-agent: * 　　這里的*代表的所有的搜索引擎種類，*是一個通配符
Allow: /cgi-bin/　　這里定義是允許爬尋cgi-bin目錄下面的目錄
Allow: /tmp 這里定義是允許爬尋tmp的整個目錄
Allow: .htm$ 僅允許訪問以".htm"為后綴的URL。
Allow: .gif$ 允許抓取網(wǎng)頁和gif格式圖片

用法舉例：
1. 允許所有的robot訪問
User-agent: * Allow: / 或者 User-agent: * Disallow:
2. 禁止所有搜索引擎訪問網(wǎng)站的任何部分
User-agent: *
Disallow: /
3. 僅禁止Baiduspider訪問您的網(wǎng)站
User-agent: Baiduspider
Disallow: /
4. 僅允許Baiduspider訪問您的網(wǎng)站
User-agent: Baiduspider
Disallow:
5. 禁止spider訪問特定目錄
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /~joe/
6. 允許訪問特定目錄中的部分url
User-agent: *
Allow: /cgi-bin/see
Allow: /tmp/hi
Allow: /~joe/look
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /~joe/
7. 使用”*”限制訪問url
禁止訪問/cgi-bin/目錄下的所有以”.htm”為后綴的URL(包含子目錄)。
User-agent: *
Disallow: /cgi-bin/*.htm
8. 使用”$”限制訪問url
僅允許訪問以”.htm”為后綴的URL。
User-agent: *
Allow: .htm$
Disallow: /
例9. 禁止訪問網(wǎng)站中所有的動態(tài)頁面
User-agent: *
Disallow: /*?*
10. 禁止Baiduspider抓取網(wǎng)站上所有圖片
僅允許抓取網(wǎng)頁，禁止抓取任何圖片。
User-agent: Baiduspider
Disallow: .jpg$
Disallow: .jpeg$
Disallow: .gif$
Disallow: .png$
Disallow: .bmp$
11. 僅允許Baiduspider抓取網(wǎng)頁和.gif格式圖片
允許抓取網(wǎng)頁和gif格式圖片，不允許抓取其他格式圖片
User-agent: Baiduspider
Allow: .gif$
Disallow: .jpg$
Disallow: .jpeg$
Disallow: .png$
Disallow: .bmp$
12. 僅禁止Baiduspider抓取.jpg格式圖片
User-agent: Baiduspider
Disallow: .jpg$
微信咨詢
小紅書推廣
139-5131-7433
南通百度推廣
139-5131-7433
返回頂部