Applebot：今天才知道苹果也有自己的网络爬虫,如何屏蔽苹果的网络爬虫

今天查看日志又发现有一个新的网络蜘蛛(Applebot)访问了网站，刚开始还以为是什么垃圾网络蜘蛛伪造苹果的网络爬虫，查了下才知道苹果居然还真有自己的网络爬虫

User-Agent Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15(KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)

Applebot：今天才知道苹果也有自己的网络爬虫

Applebot 人隐私权说明

Applebot 模型训练和个人隐私权 - 官方 Apple 支持 (中国)

一直以来都以为苹果没有自己的网络爬虫,数据来源是利用了Bing或者Google等第三方搜索引擎来提供Siri、Spotlight等的搜索服务的。

目前看官网信息Applebot主要是为了抓取数据给苹果自家AI模型训练使用的，爬取我这边是什么时候开始的，可能注意力之前过于关注度娘因而没有注意到。暂时看着Applebot网络爬虫访问量不是很多，对服务器压力不大就先不管了，万一哪天可以看到有苹果AI助理/苹果搜索的访问来源呢。

官方提到的Applebot抓取数据的一些用途

Applebot 抓取的数据用于为多项功能提供支持，例如集成到 Apple 生态系统内许多用户体验（包括“聚焦”、Siri 和 Safari 浏览器）中的搜索技术。在 robots.txt 中启用 Applebot 可让网站内容显示在世界各地的 Apple 用户使用这些产品获得的搜索结果中。 Applebot 抓取的数据还可用于协助训练 Apple 基础模型，这些模型为各种 Apple 产品（包括 Apple 智能、Apple 服务和 Apple 开发者工具）中的生成式 AI 功能提供支持。网页发布者可以选择在 robots.txt 文件中禁止 Applebot-Extended，以使自己的内容不被用于训练生成式基础模型。