Robots 协议全称是 网络爬虫排除标准(Robots exclusion protocol),是互联网爬虫的一项公认的道德规范,目的用来告诉爬虫哪些页面允许爬取,哪些则不允许

阅读全文 »

Markdown 是一种轻量级标记语言,它允许人们使用易读易写的纯文本格式编写文档,Markdown文件的后缀名便是 .md

阅读全文 »
0%