本文目录一览：
如何应对 *** 爬虫带来的安全风险
我们的网站上或多或少存在一些页面涉及到网站的敏感信息不希望在搜索引擎上公开；还有一些页面是根本没必要被搜索引擎收录的：比如网站的管理后台入口。对于SEOER而言有一些页面如果被收录后反而会影响关键词着陆页的排名，或者降低了着陆页的转化率，比如电子商务网站的商品评论页。那么我们通过什么样的 *** 可以限制搜索引擎收录此类页面呢？
1994年6月30日，在经过搜索引擎人员以及被搜索引擎抓取的网站站长共同讨论后，正式发布了一份行业规范，即robots.txt协议。这个协议既非法律，也非命令，而是一个自律性的契约，需要各种搜索引擎自觉去遵守这个协议。这个协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。
当一个 *** 爬虫访问一个站点时它会首先检查该站点根目录下是否存在robots.txt；如果没有对网站的robots协议进行设置，则爬虫会尽可能的收录所有能够访问到的页面，而如果存在该robots协议文件，爬虫则会遵守该协议，忽略那些不希望被抓取的页面链接，下面我们以为例：
User-agent: Googlebot
Disallow: /baidu
Disallow: /s?
Disallow: /shifen/
Disallow: /homepage/
Disallow: /cpro
百度是不希望谷歌搜索引擎的Googlebot爬虫收录/baidu 、/shifen 、/homepage/ 、/cpro 目录下以及所有/s开头的搜索结果页面的。
User-agent:表示爬虫的名字
Allow:表示允许爬虫访问的页面
Disallow:是指禁止爬虫访问的页面
Visit-time:只有在visit-time指定的时间段里,robot才可以访问指定的URL
Request-rate: 用来限制URL的读取频率
除了上述robots.txt文件之外，我们还可以针对每一个页面，在网页的原信息中设置该页面是否允许被收录：
noindex: 不索引此网页
nofollow:不通过此网页的链接索引搜索其它的网页
none: 将忽略此网页，等价于“noindex，nofollow”
index: 索引此网页
follow:通过此网页的链接索引搜索其它的网页
all: 搜索引擎将索引此网页与继续通过此网页的链接索引，等价于index，follow。
举例 〈meta name= “ Baiduspider ” content= “ none" /〉 是不允许百度蜘蛛索引该页面，并且不允许爬行该页面中的所有链接。
还有一种 *** ，就是在超级链接的rel属性中填写“nofollow”,形如 〈a rel=”nofollow” href=”*”〉 超级链接 〈/a〉 ，表示搜索引擎不要跟踪链接。
但是所有上述 *** 都是基于Robot的自律性协议，并非强制执行的法律法规。如果遇到不遵守该协议的 *** 爬虫疯狂的抓取网站页面并对网站性能产生了严重影响，更为有效的方使用入侵检测系统（IDS）入侵防护系统（ IPS ） *** 设备。
百度搜索引擎反爬取是什么意思？
爬虫，全称“ *** 爬虫”，是一种程序或者脚本，可以按照一定的规则，自动抓取万维网上的信息。目前已经步入大数据时代，爬虫已经成为了获取数据不可或缺的方式。做过爬虫的可能都遇到过，爬取的时候IP会突然被网站封掉，因为大多数网站都会设置“反爬虫”措施。
为什么要反爬虫？原因其实很简单。一是爬虫会在短时间内发出大量请求，占用服务器的带宽，影响正常用户的访问。二是爬虫会轻易地将网站上大量的信息资源快速爬走，危害用户的隐私安全及知识产权，这是我们都无法容忍的。所以，防止“爬虫入侵”是非常必要的。
常见的反爬虫方式有以下几种：
1.根据访问频率确定是否为爬虫。
每台电脑在上网时都对应唯一的IP，当这台电脑访问网站的时候会被记录IP。如果这个IP访问的频率过快，远超过一个正常人的访问频率时，就会被认定为爬虫。使用 *** IP更换不同IP，对方网站每次都以为是新用户，自然就没有拉黑的风险。如果工作任务量大，抓取速度快，目标服务器会容易发现，所以就需要用 *** IP来换IP后再抓取。IPIDEA包含了全球的ip资源足以满足爬虫的需求。
2.根据Headers确定是否为爬虫。
当我们使用浏览器访问网站时，浏览器会自动在访问请求上生成Headers，内容主要包含浏览器版本及采用的编码方式、使用的操作系统等信息，但爬虫一般不会附加这些信息，所以可以被识别出来。
3.利用动态页面反爬虫。
静态页面由HTML代码生成，页面的内容随之固定。而动态页面由脚本语言生成，有些内容需要运行一些脚本才能见到。访问动态页面时，某些内容还需要一些特定的操作才能显示，比如点击、输入验证码等，这就增加了爬取的难度，简单的爬虫就会被剔除掉。
爬虫究竟是合法还是违法的？
据说互联网上 50%以上的流量都是爬虫创造的，也许你看到很多热门数据都是爬虫所创造的，所以可以说无爬虫就无互联网的繁荣。
前天写了一篇文章《 只因写了一段爬虫，公司200多人被抓！》，讲述程序员因写爬虫而被刑侦的事件。文章传播很广，评论中讨论最热是： 爬虫究竟是合法还是违法的？
这个话题涉及到我们很多程序员的日常工作，所以有必要和大家细聊一下。
01.技术无罪？
在今年国家颁布 《中华人民共和国 *** 安全法》 之后，很多以前处于灰色地带的业务都不能做了。
君不见之前曾经非常火的各种社工库网站，现在绝大部分都已经消失匿迹了吗？因为最新的安全法强调： 贩卖个人信息超过50条属于“情节严重”，需要追求其法律责任。
很多草根站长都纷纷主动关闭了网站；还有很多涉及版权信息的网站，比如书籍、影视剧、课程等后期也会面临越来越严格的审查，这就是目前大的形势。
2014年12月20日，人人影视字幕站发布微博称，人人影视正式关闭，并表示或将继续为正版商提供翻译服务，也可能转变为讨论社区的形式。
2019年6月，吾爱破解因版权问题关站整改...
.....
随着中国经济的不断往前走，知识产权问题会越来越重视，非法爬虫是现在一个重要的打击部分，
如果有程序员走在灰色的边缘尽早收手，不要因为一点小的收益导致触犯法律，从而得不偿失。
技术是无罪的，但是用到了错的地方代价也是非常巨大的。
02.爬虫岗位人人自危
我在拉钩上搜索： 爬虫工程师，显示有 217 条相关 *** 信息，薪资从10-60k 都有，说明市场上对爬虫的需求是很大的。
简单回答一下这些问题：
还有朋友认为这事责任在企业不在程序员，日常工作中项目初期设计和最后上线需要通过公司的法务批准，所有代码必须有其他程序员同事评审通过才能提交。
这位朋友说的挺对的，按道理每个公司都应该有法务和风控在前面，后面才是产品设计和程序员开发的事情，但如果一家公司为了利益，老板可以直接让这两个部门闭嘴，后面程序员可以不干吗？
更甚至很多公司其实就没有这两个部门或者说形同虚设。那么做为程序员自己也需要操一份心，凡是涉及到入侵类的程序都不能干，因为有一个东西叫做： 单位犯罪 。
单位犯罪 ，是指公司、企业、事业单位、机关、团体为单位谋取利益，经单位决策机构或者负责人决定实施的，法律规定应当负刑事责任的危害 社会 的行为。
我国刑法对单位犯罪原则上采取 双罚制度 ，即单位犯罪的，对单位判处罚金，并 对其直接负责的主管人员和其他直接责任人员判处刑罚。
03.什么样的爬虫是非法的？
爬虫不能涉及个人隐私！
如果爬虫程序采集到 公民的姓名、身份证件号码、通信通讯联系方式、住址、账号密码、财产状况、行踪轨迹等个人信息 ，并将之用于非法途径的，则肯定构成非法获取公民个人信息的违法行为。
也就是说你爬虫爬取信息没有问题，但不能涉及到个人的隐私问题，如果涉及了并且通过非法途径收益了，那肯定是违法行为。
另外，还有下列 三种情况 ，爬虫有可能违法，严重的甚至构成犯罪：
现在网上有很多付费的课程，比如极客时间、Gitchat、慕课网、知识星球等等，这些付费内部信息如果被非法爬取手法出售获利，一种违法行为。
之前我就遇到一个网友，把各个知识星球的内容都抓下来，合到一起自己去卖，自作聪明觉得发现了一个大的商机，其实自己不知道这个行为其实很危险，风险和收益明显不对等。
我这两天看的时候，他的一个公众号都被封了，后来又转移了一个小号继续搞，迟早又是被封的命运，真的很不值当。最可怜是那些买他服务的用户，因为他宣传时承诺永久，肯定永久不了。
04.什么样的爬虫是合法的？
1、 遵守 Robots 协议
Robots 协议也叫 robots.txt（统一小写）是一种存放于网站根目录下的 ASCII 编码的文本文件，它通常告诉 *** 搜索引擎的漫游器（又称 *** 蜘蛛），此网站中的哪些内容是不应被搜索引擎的漫游器获取的，哪些是可以被漫游器获取的。
Robots 协议就是告诉爬虫，哪些信息是可以爬取，哪些信息不能被爬取，严格按照 Robots 协议 爬取网站相关信息一般不会出现太大问题。
2、不能造成对方服务器瘫痪
但不是说只要遵守 Robots 协议的爬虫就没有问题，还涉及到两个因素，之一不能大规模爬虫导致对方服务器瘫痪，这等于 *** 攻击。
2019年05月28日国家网信办发布的《数据安全管理办法（征求意见稿）》中，拟通过行政法规的形式，对爬虫的使用进行限制：
*** 运营者采取自动化手段访问收集网站数据，不得妨碍网站正常运行；此类行为严重影响网站运行，如自动化访问收集流量超过网站日均流量三分之一，网站要求停止自动化访问收集时，应当停止。
3、不能非法获利
恶意利用爬虫技术抓取数据，攫取不正当竞争的优势，甚至是牟取不法利益的，则可能触犯法律。实践中，非法使用爬虫技术抓取数据而产生的纠纷其实数量并不少，大多是以不正当竞争为由提请诉讼。
举个例子，如果你把大众点评上的所有 *** 息都抓取了下来，自己复制了一个一模一样的网站，并且还通过这个网站获取了大量的利润，这样也是有问题的。
一般情况下，爬虫都是为了企业获利的，因此需要爬虫开发者的道德自持和企业经营者的良知才是避免触碰法律底线的根本所在。
05.最后
有风险的行业谨慎进入，比如现金贷、不合规的P2P、赌博类 游戏 、黑五类产品的行业。如果公司安排入侵某个网站数据，或者有同事/朋友邀请泄露公司信息的都需要保持警惕，有时候一个很小的动作都有可能导致出问题。
我们绝大多数公司和个人使用的爬虫都是没有问题的，不必人人自危，只要把握住不要爬取个人信息，不要利用爬虫非法获利，不要爬取网站的付费内容，基本上不会有问题。
程序员是世界上最单纯的一批人，也是一批高智商低情商的人，工作是工作但也需要适当保持谨慎，对于一些游走在法律边缘的事情请保持距离。
敬畏法律，遵纪守法，从我做起。
参考：
作者： 纯洁的微笑 .出处：