Googleは米国時間7月1日、Robots Exclusion Protocol(REP)が将来安定したインターネット標準になることを願って、「Google Robots.txt Parser and Matcher Library」をオープンソースコミュニティに向けて公開した。Robots Exclusion Protocol(REP)はrobots.txtを使う際の仕様で、その解析やマッチ...

関連キーワード