首页  Posts tagged with "爬虫"

WordPress 科学的创建robots协议

前言 最近重新把wordpress整理了一下。发现robots丢了,就重新提交了一下,发现出现错误。就把结合网上大神们写的wordpress的robots文件与大家分享一下。 一、什么是robots协议 Robots是网站跟爬虫间的协议,用…

QR Code

本页二维码