经过几天试用，我发现 又拍云CDN 是个很不错的选择，尤其是在降低流量损失方面，特点很突出。 通过以下几项设置，可以有效避免你的流量损失、提升你的CDN命中率和用户体验。 一、拦截恼人的IP 1.1 国家/地区控制 其实，理论上 ...
爬虫
利用淘宝IP地址数据库屏蔽来自一些国家或地区的访问
网站有时候遇到蜘蛛或者个别国家ip的恶意骚扰、攻击，怎么办呢？对于前者，也就对于守规矩的蜘蛛，那么我们可以通过向 robots.txt 文件中添加规则来限制、禁止其爬取，但对于那些恶意蜘蛛或 IP，robots.txt 显然不适 ...
如何书写网站的robots文件
robots.txt 用于指导网络爬虫（蜘蛛、搜索引擎）访问网站指定目录，英文也称之为“The Robots Exclusion Protocol”。robots.txt 的格式采用面向行的语法：空行、注释行（以 # 打头，具体 ...