鲲鹏反Web数据抓取方案

      跟着Web数据收集手艺的普及，大量网站和移动App的海量数据面对着被抓取的要挟。从手艺角度讲Web数据收集手艺是摹拟阅读器或手机客户端与Web办事器进行交互，该进程与正当的阅读器或手机客户端直接拜候Web办事器并没有素质的区分，这就增添了企业对本身数据庇护的难度。

      我们（西安鲲之鹏收集信息手艺有限公司）是一家专业从事网站（Web）数据收集的数据办事供给商，一向专注于网站（Web）数据抓取范畴。公司前身是起头于2010年的鲲鹏Web数据收集工作室，为澳大利亚、美国、喷鼻港、台湾、中国大陆等地供给Web数据收集外包办事，前后成功完成了数千个数据收集项目。有着很是丰硕的网站数据收集和反网站数据收集经验。连系我们本身丰硕的数据收集经验，我们给出以下三种行之有用的反Web数据抓取方案。

1、        限制客户端IP拜候频率。

合用：Web网站和移动App。

代表利用：公共点评网。

思绪：数据收集法式的特点就是拜候速度快，凡是一个客户端IP向Web

办事器发出数十个乃至上百个并发要求，按照该特点，我们可以在Web网站或移动App办事端法式增添策略，阻挡频率太高的拜候（间断毗连或返回异常页面）。例如，我们限制一个IP对我们系统天天最大的拜候量是100次，那末即使收集者具有100个IP（或高匿名HTTP代办署理），天天的收集量也只能到达1万个页面，大大增添了收集的难度。

实现难度：中等。该方案只需要对办事端法式进行点窜，不需要点窜客户端。

结果：好。可以有用避免大范围的收集。

2、        数据传输加密。

合用：Web网站和移动App。

代表利用：往哪儿网。

思绪：对办事端和客户端（包罗阅读器）之间的HTTP交互数据采取对称加密算法（例如，DES）进行庇护：

1.        HTTP要求：客户端 –> 办事端。

HTTP要求明文数据在发送出客户端之前利用密钥进行加密，如许收集者抓包阐发只能看到无意义的密文数据，从而没法本身用法式实现一个有用的HTTP要求。密文数据达到办事端后先用密钥进行解密，然后再对明文进行处置。以下图所示。

2.        HTTP应对：办事端 –> 客户端。

办事端法式在向客户端发出应对明文数据之前，先利用密钥对数据进行加密，如许收集者抓包阐发看到的也是密文，从而没法对HTTP应对数据进行有用的提取。密文数据到客户端后先用密钥进行解密，然后再对明文进行展现。以下图所示。

实现难度：高。该方案需要对办事端和客户端法式都要进行点窜，工作量比力大。

结果：很是好。可以有杜尽各类收集手段。

也能够仅对部门敏感数据进行加密庇护，例如德律风号码、邮箱、身份证号。其它非敏感数据依然利用明文。

3、        插手签名机制。

合用：仅移动App。

代表利用：淘宝手机客户端。

思绪：在HTTP要求中加入一个签名参数（下简称sign），用于在办事端检测该HTTP要求是不是正当。当App法式发出一个HTTP要求时，按照QueryString, Post Entity, User-Agent等相干参数依照必然的算法（利用非对称加密）天生sign，并将sign于其它参数一路提交给办事端。办事端领受到HTTP要求后利用不异的算法按照QueryString, Post Entity, User-Agent等参数天生校验sign，若是两个sign的值不异则以为这是一个正当的要求（则领受该HTTP要求），反之即以为这是一个不法的要求（谢绝该要求）。

实现难度：高。该方案需要对办事端和客户端法式都要进行点窜，工作量比力大。

结果：很是好。可以有杜尽各类收集手段。