分享文章
新闻分类
-
Cloudflare正在与谷歌谈判 要求谷歌允许网站屏蔽AI概览爬虫但不影响SEO
目前谷歌搜索已经在大多数市场推出 AI 概览功能，当用户输入内容进行检索时率先出现的是由 Google Ge
Lya_babe
2025-07-10
-
Cloudflare测试AI付费抓取功能 AI公司必须付钱才能抓取网站内容(附网站开通方法)
此前网络服务提供商 Cloudflare 就透露将针对当前人工智能公司爬虫未经授权对网站的抓取行为提供新功能
imkowan
2025-07-03
-
1800万条数据被非法爬取！涉案公司主管获刑3年，企业被判罚金
近日，静安区人民检察院办理了一起非法获取计算机信息系统数据罪案，检察官充分运用调查核实权，通过自行补充侦查，
hannababe
2025-06-25
-
非法爬取淘宝数据：判赔 3000 万
淘宝、天猫及其关联公司，主张被告通过“小旺神”软件非法获取、使用其平台数据，构成不正当竞争。包括“淘数”有限
ninibaby
2025-06-25
-
SpiderFlow一款高度灵活可配置的开源爬虫平台
文章来自公众号：源代码哥宝子们，今天给大家带来一款开源的、面向所有用户的Web端爬虫构建平台-SpiderF
mikomikochu
2025-06-12
-
Crawl4AI 面向大模型友好的开源网页爬虫和数据抓取工具
Crawl4AI 是当前 GitHub 上最热门的开源项目之一，由一群充满活力的开发者社区持续维护。它为大语
DeepEggs
2025-05-03
-
GitHub实施更严格的风控规则阻止中文用户访问 疑似是为了反爬虫和反抓取
早前 GitHub 因为失误部署了屏蔽所有中国 IP 地址的规则，中国 IP 地址访问时会出现禁止访问提示，
忘吃午饭了
2025-05-01
-
维基百科向AI公司推出免费数据集 只求不要再无止境抓取
此前维基百科关联站点维基媒体发布消息称由于被 AI 爬虫轰炸，导致大量昂贵的服务器资源被 AI 爬虫消耗，一
kkitty
2025-04-18
-
维基百科附属的维基媒体被AI爬虫轰炸 超过65%的昂贵网络流量由AI爬虫消耗
维基百科附属的媒体资源共享项目维基媒体目前正在被 AI 爬虫轰炸，维基媒体项目托管着 1.44 亿张图片、视
甜子兔
2025-04-04
-
Cloudflare推出AI迷宫功能 通过生成海量无关内容将爬虫放进迷宫里避免抓取网站
网络服务提供商 Cloudflare 此前已经推出人工智能爬虫识别和拦截程序，避免主要目的是抓取数据的 AI
吉高宁宁
2025-03-23
赞助链接
微信
新浪微博
