---
title: 屏蔽疯狂抓取数据的metafacebook爬虫meta-externalagent
description: 使用fail2ban和nginx的配置屏蔽疯狂抓取数据的metafacebook爬虫meta-externalagent
author: chaihongjun
category: operations
published: 2026-08-21
url: https://chaihongjun.me/operations/60.html
---

# 屏蔽疯狂抓取数据的metafacebook爬虫meta-externalagent

最近开发网站考虑到做GEO优化的需要，所以在编写robots.txt还特意做了细致区分。结果发现网站后台的redis疯狂的几乎是无限制的产生规则诡异的缓存键，寻求AI之后得知可能是爬虫或者扫描器之类的行为。

于是我远程SSH登录服务器，使用tail动态查询网站日志情况，结果日志是疯狂的增加内容。罪魁祸首就是它:
MDBLOCK0
想到服务器有安装fail2ban，于是再次询问怎么匹配UA进行i屏蔽，于是有了如下操作：

1.首先是编辑一个新的过滤器配置文件：
MDBLOCK1
填写如下内容：
MDBLOCK2
2. 再配置jail启用这个规则

MDBLOCK3
填写如下内容：
MDBLOCK4
注意,logpath换成你的日志绝对路径，然后再
MDBLOCK5
让新的规则就生效了。

这样就让meta(facebook)爬虫meta-externalagent无法爬取了，终于消停了，当然，在nginx配置里也可以怎加一个配置:
MDBLOCK6
最后，需要说明的是，如果只是配置nginx，那么日志文件依然膨胀，而使用fail2ban之后，日志清净多了，再次去网站后台检查redis缓存键，发现终于恢复正常了。

截止发完博客，fail2ban 依然在努力的工作：

![屏蔽疯狂抓取数据的metafacebook爬虫meta-externalagent](https://chaihongjun.me/public/uploads/images/20260821/1787322536838516.png)

---

> 本文首发于 [chaihongjun.me | 柴宏俊 web 技术学习笔记](https://chaihongjun.me/operations/60.html)，采用 CC BY-NC-ND 4.0 协议，转载请保留出处与链接。