urllib.robotparser --- robots.txt 語法分析程序?

源代碼： Lib/urllib/robotparser.py

此模塊提供了一個單獨(dú)的類 RobotFileParser，它可以回答關(guān)于某個特定用戶代理能否在發(fā)布了 robots.txt 文件的網(wǎng)站抓取特定 URL 的問題。 有關(guān) robots.txt 文件結(jié)構(gòu)的更多細(xì)節(jié)，請參閱 http://www.robotstxt.org/orig.html。

class urllib.robotparser.RobotFileParser(url='')?

這個類提供了一些可以讀取、解析和回答關(guān)于 url 上的 robots.txt 文件的問題的方法。

set_url(url)?

設(shè)置指向 robots.txt 文件的 URL。

read()?

讀取 robots.txt URL 并將其輸入解析器。

parse(lines)?

解析行參數(shù)。

can_fetch(useragent, url)?

如果允許 useragent 按照被解析 robots.txt 文件中的規(guī)則來獲取 url 則返回 True。

mtime()?

返回最近一次獲取 robots.txt 文件的時間。 這適用于需要定期檢查 robots.txt 文件更新情況的長時間運(yùn)行的網(wǎng)頁爬蟲。

modified()?

將最近一次獲取 robots.txt 文件的時間設(shè)置為當(dāng)前時間。

crawl_delay(useragent)?

為指定的 useragent 從 robots.txt 返回 Crawl-delay 形參。 如果此形參不存在或不適用于指定的 useragent 或者此形參的 robots.txt 條目存在語法錯誤，則返回 None。

3.6 新版功能.

request_rate(useragent)?

以 named tuple RequestRate(requests, seconds) 的形式從 robots.txt 返回 Request-rate 形參的內(nèi)容。 如果此形參不存在或不適用于指定的 useragent 或者此形參的 robots.txt 條目存在語法錯誤，則返回 None。

3.6 新版功能.

site_maps()?

以 list() 的形式從 robots.txt 返回 Sitemap 形參的內(nèi)容。 如果此形參不存在或者此形參的 robots.txt 條目存在語法錯誤，則返回 None。

3.8 新版功能.

下面的例子演示了 RobotFileParser 類的基本用法:

>>> import urllib.robotparser
>>> rp = urllib.robotparser.RobotFileParser()
>>> rp.set_url("http://www.musi-cal.com/robots.txt")
>>> rp.read()
>>> rrate = rp.request_rate("*")
>>> rrate.requests
3
>>> rrate.seconds
20
>>> rp.crawl_delay("*")
6
>>> rp.can_fetch("*", "http://www.musi-cal.com/cgi-bin/search?city=San+Francisco")
False
>>> rp.can_fetch("*", "http://www.musi-cal.com/")
True