品吗他们可以但他们也可以前往任何

能会导致严重的索引问题。如果无法访问和处理您的重要资源那么它该如何索引您的内容呢有罪如果没有适当的网站抓取就不可能全面评估网站。但查看其文件已经可以让您识别任何被阻止的关键内容。的文件就是这种情况。如下所示它们使用指令阻止路径。它使所有内部托管始终包含尽可能多的要阻止爬行的路径片段。它将帮助您避免错误地阻止一些关键页面。从网站中删除主要内容如果您使用未经优化的来提供网站上的主要内容例如产品描述则会阻止爬虫查看页面上最重要的信息。


因此寻找有关您产品的具体详细信息的潜在客户可能无法 电话数据 在上找到此类内容。有罪使用快速切换器扩展您可以轻松禁用页面上所有生成的元素。这就是我在的产品页面之一中所做的正如您在上面看到的产品描述部分随着的禁用而消失。我决定使用命令来检查是否可以索引此内容。我复制了在启用的页面上看到的产品描述片段。然而谷歌没有显示我正在寻找的确切产品页面。用户会沉迷于通过寻找特定产其他出售该商品的商店。




的例子证明依赖加载的主要内容会让爬虫更难找到并显示你的有价值的信息。然而这并不一定意味着他们应该消除网站上所有由生成的元素。为了解决这个问题沃尔玛有两种解决方案从实现的角度来看实现动态渲染预渲染在大多数情况下是最简单的。实现服务器端渲染。该解决方案将解决我们在观察到的问题而无需向和用户提供不同的内容如动态渲染的情况。在大多数情况下服务器端渲染还有助于解决低端设备上的性能问题因为所有在到达客户端设备之前都会由服务器渲染。