8月22日消息，据报道，近日百度百科开始屏蔽谷歌和必应等大多数搜索引擎，预计是为了阻止这些搜索引擎和其他爬虫，未经授权抓取百度百科的内容用于训练AI。
百度百科的robots.txt文件显示，目前仅有百度搜索、搜狗搜索、中国搜索(Chinaso)、YYSpider和宜搜搜索(EasouSpider)等少数几个搜索引擎被允许抓取其内容。
谷歌搜索、必应搜索、微软MSN、UC浏览器的Yisouspider以及其他一切搜索引擎爬虫均被明确禁止抓取百度百科的内容。
虽然360搜索没有在封禁列表中单独列出，但百度百科的策略是禁止一切非白名单爬虫抓取，所以360搜索和其他搜索引擎也都是被屏蔽的。
不过百度百科这种做法其实也只是防君子不防小人，肯定还有很多爬虫通过各种方式继续抓取内容然后拿去训练AI。
来源：https://www.top168.com/news/show-64171.html
浩信科技网还为您提供以下相关内容希望对您有帮助：
百度/ 谷歌 / 必应搜索结果中屏蔽垃圾网站
Google Hit Hider - 这款强大的油猴脚本支持多搜索引擎，包括谷歌、百度、必应等，提供「Block」按钮，一键屏蔽你不想要的网站，甚至能实现永久屏蔽。它的功能还包括批量导入黑名单、自定义选项等。uBlacklist - 主要屏蔽谷歌、Brave、DuckDuckGo和Yahoo等搜索引擎，不支持百度。不过，它拥有高亮显示搜索结果...
互联网搜索引擎有哪些
1. 百度 2. 谷歌 3. 搜狗 4. 必应 5. 360搜索等。百度是中国最大的搜索引擎，市场占有率很高。除了搜索功能外，百度还提供了一系列与搜索相关的服务，如百度地图、百度文库等。百度AI技术在搜索中也发挥了重要作用，使得搜索结果更加精准和用户友好。谷歌是全球知名的搜索引擎，拥有强大的搜索算法和...
免费的搜索引擎有哪些
1. 百度 2. 谷歌 3. 搜狗 4. 必应 5. 360搜索等。以下是对其中几个主流免费搜索引擎的详细解释：百度是国内最大的搜索引擎，占据市场主导地位。其提供网页、图片、新闻等搜索服务，还融合了AI技术，推出了问答、知识图谱等功能。百度致力于为用户提供快速、准确、个性化的搜索结果。谷歌是全球知名的...
有哪些搜索引擎网站
1. 百度搜索 2. 谷歌搜索 3. 搜狗搜索 4. 必应搜索（Bing）5. 雅虎搜索等。详细解释：百度搜索是国内最主流、使用人数最多的搜索引擎之一。它提供了广泛的网页搜索、知识问答、图片、视频等服务。百度还通过其AI技术，为用户提供个性化的搜索结果和推荐服务。由于其本土化特点，百度搜索对于中文内容的...
互联网搜索引擎有哪些
1. 百度：作为中国最大的搜索引擎，百度拥有极高的市场占有率。它不仅提供搜索服务，还有百度地图、百度文库等多样化服务，并且利用百度AI技术提升搜索的准确性和用户体验。2. 谷歌：谷歌是全球领先的搜索引擎，以其强大的搜索算法和广泛的内容覆盖而闻名。除了搜索，谷歌还提供Gmail、Google Maps等众多服务...
请列出国内外十大搜索引擎,并说明它们的优缺点!
3. 谷歌（国际）：谷歌是全球最大的搜索引擎，提供包括英文在内的多种语言搜索服务。其搜索结果质量高，涵盖广泛，是国际通用的首选搜索引擎。4. 雅虎：虽然近年来逐渐式微，但雅虎搜索引擎依旧有其独特之处，如优质的新闻内容和搜索结果的多样性。然而，其搜索算法和响应速度相对较弱。5. 必应（Bing）...
国外搜索引擎开放了吗 国外搜索引擎能看微信内容吗-今日头条_百度...
今天下午有报道称，腾讯已经开始在搜索引擎放开搜索限制，微信公众号等内容能在谷歌、必应等国外搜索引擎直接查找，打开浏览国内的百度依然不能实现。国外搜索引擎开放了吗？国外搜索引擎能看微信内容吗？接下来就和小编来了解一下吧 ！国外搜索引擎可看微信内容？腾讯：并未开放给国外，漏洞已修复 此事一...
在凡科建了个免费的网站,谷歌、360、必应、SOSO等等都收录了,为什么百 ...
如果网站没有被收录，那么就可能是网站的主题或者是内容方面的问题了。其实每一个网站在建设的时候都会设置一个robot.txt，当搜索引擎进入网站爬行的时候，首先会查看这个文件，如果设置了禁止搜索引擎抓取的话，搜索引擎就会离开网站。那么就不会对网站进行收录了。凡科建站自助建站的使用极简单，3000+模板...
十大搜索引擎是哪十个?
新闻搜索、Flash搜索、信息快递搜索、百度搜霸、搜索援助中心等功能。9、Bing（微软必应）由微软公司推出的网络搜索引擎，注重用户隐私，及避免个性化检索所致的过滤气泡。10、Yahoo！（雅虎）由Verizon Media运营的互联网搜索引擎，提供网页搜索、新闻组搜索等功能。以上内容参考：百度百科-百度 ...
举例常见的通用搜索引擎有什么
常见的通用搜索引擎有：谷歌（Google）、百度（Baidu）、必应（Bing）、雅虎（Yahoo!）等。谷歌（Google）是全球最大的搜索引擎，以其高效、准确的搜索结果和简洁易用的界面而广受欢迎。它利用先进的算法和技术，能够迅速抓取和索引互联网上的大量信息，为用户提供相关的搜索结果。无论是学术资料、新闻报道...