处理内容抓取的14种最聪明的方法

抄袭是一个现在已经困扰了互联网的问题。您可以创建高质量的原始内容。然而，总有一些其他网站在那里，等待偷它并把它作为自己的。

虽然这本身可能是令人沮丧的，但是当网站与被盗内容的网站开始在搜索结果中开始排名时放大。他们不仅最终偷了你的观众，甚至可以通过它批准，因此也偷了你的收入。

但是，内容刮擦了什么？你怎么能处理它？让我们找出来！

什么是内容抓取?

内容抓取是一种使用脚本从网站上抓取内容的方法。这些脚本从不同的来源提取内容，并把它们放在一个网站上。

人们可能会出于各种原因窃取你的内容。有些人可能想通过联盟营销赚钱。其他人可能想要产生线索，甚至是增加广告收入。

但是，理解联合和抓取之间的区别很重要。内容抓取是指另一个网站在没有任何事先许可的情况下自动使用你的内容。

另一方面，同联的是双方同意在协议下使用内容。

您已经努力创造了高质量的内容。它肯定没有免费来找你。你有权保护它。在我们进入如何处理内容刮板之前，让我们看看你如何先抓住它们。

如何找到内容刮板

寻找和捕捉内容刮板可能看起来像是一个艰难而耗时的任务。但是，有几种方法可以通过它发现它们。他们之中有一些是：

1.执行谷歌搜索

这是找到正在进行内容抓取的用户的最简单方法。所有你需要做的是进行谷歌搜索与你的帖子的标题。虽然这听起来像一个可怕的方法来找到他们，但你可能会遇到一些好机会。

2.trackback

如果您在帖子中放入内部链接，每次网站擦除您的内容并链接回给您时都会获得追踪。这样，您将很容易地发现内容刮刀，而不会努力。

但是，如果你启用了Akismet.，这些载体中的许多可能最终可以在垃圾邮件文件夹中找到。您可能需要浏览那些以浏览那些才能发现它们。请记住，如果您有内部链接，此方法仅适用。

3.谷歌网站管理员工具

谷歌网站管理员工具最好的之一免费SEO审计工具，可以帮助您找到刮刀。在“流量”部分下，您将看到一个名为“链接到您网站的选项”选项。在此列表中有一些良好的机会，可能有一些刮刀。它们可能有大量的链接指向您的页面。

如何处理内容刮痧

现在您知道了如何查找内容搜集器，让我们看看如何处理它们。

1.添加链接

重要的是在您的网站内尽可能多的内部链接。这些链接指向您与一名读者相关的旧文章目前正在查看。

互连帮助您的读者轻松找到新的文章，并使搜索引擎爬行的过程。

但是，在处理内容刮擦时甚至可以帮助。当有人窃取您的内容时，他们可能会保持这些链接完好无损。这可以帮助您从他们的网站获取一些免费链接。

为关键字添加链接，吸引读者去点击它会降低你的跳出率。同时，当这篇文章被刮掉的时候，刮板网站的受众也可能会点击它。这样，你最终也会窃取刮板的用户。

另一种进一步确保联系的方法是增加Yoast SEO插入。它允许您将自定义的HTML代码添加到RSS Feed中。通过此，您可以在其中添加链接到您的网站。

2.没有任何方法

这是最简单的方法，也是非常自我解释的。战斗内容刮痧确实是耗时的。您将最终满足可用于创建更多优质内容的时间和精力。

但是，请记住，这可能不是您可以采取的最佳方法。如果您的是高当局网站，那么您可以专注于在不需要注意内容刮板的情况下进行工作。

但如果您的网站排名不足，那么它可能不是对您的最佳方法。谷歌最终可能会将您的网站标记为刮刀，如果它认为您的刮板是原始网站。

3.萍PubSubHubbub

谷歌可以在找到您的帖子之前发现您的内容的已刮擦版本。但是，它不确定哪个帖子是原始的帖子。如果你是pingPubSubHubbub，你会告诉谷歌，你是内容的主要来源，并首先编写它。

如果你使用这样的平台WordPress.com.或博主，您可能不需要这样做。但是，如果您使用的是自托管WordPress，可以选择安装PubsubHubbub插件以简化该过程。

4.使用谷歌警报

谷歌Alerts，其中之一最好的免费谷歌工具，是在谷歌上索引某个关键字时通知的很好方法。虽然找到了品牌提到的很棒的用途，但您也可以使用它来查找内容刮板。

每次你发布一篇文章，你可以为你的文章的确切标题设置一个谷歌警告。每当有人进行内容抓取并发布带有相同标题的帖子时，您就会得到通知。

你也可以从你的帖子中挑出一些独特的句子，并为此设置一个提醒。这也可以帮助你找到他们。

通过Google警报图像

5.“杀光他们”的方法

如果您发现刮刀给您免费反向链接，您可能会决定玩它很酷。但是，可能还有其他刮刀在内容擦除后删除链接。他们可以剥离所有的超链接，你最终会失去所有的辛勤工作。

当这种情况发生时，您需要使用“杀光他们”的方法。要做到这一点，您需要检查您的访问日志并发现他们的IP地址。然后可以在根访问文件中阻止该地址。

当您这样做时，他们将无法再能够从您的特定IP地址窃取您的内容。

另一种方法是直接联系刮板，让他们把内容取下来。雷电竞备用网址你甚至可以让他们告诉你这些内容的来源。如果他们不遵守，你可以在他们的服务器主机上提交数字千年版权法(DCMA)。

另一种关闭它们的方法是将它们重定向到一个虚拟feed。在这个feed中，你可以给他们发送巨大的乱码文本feed，甚至把它们发送回他们自己的服务器。在后一种情况下，它将导致一个循环，导致他们的网站崩溃。

6.防止盗链图片

如果你发现人们正在从你的RSS feed中抓取内容，那么他们可能也在窃取你的带宽。他们可能通过从你的网站上窃取图片来达到目的。

为了阻止他们这样做，你可以对你的网站的。htaccess文件做一些改变来禁用图像盗链。

7.链接关键字与附属链接

在内容抓取之后，您可能会失去一些有价值的流量。但是，您可以通过简单的添加来利用这一点联盟链接到某些关键字。您可以使用诸如此类的插件自动执行此过程搜索引擎优化智能链接和忍者联盟。

这样，虽然你可能会失去一些流量，但你仍然可以从它获得会员收入。据你所知，你甚至可能利用scraper的用户。

8.摘要RSS提要

当你有一个RSS提要时，你可以选择完整的提要或摘要。使用摘要RSS提要的好处之一是可以防止内容抓取。

为此，您可以前往WordPress和在设置下，单击“读取”。在“饲料中的每篇文章的字段中：”将设置更改为“摘要”。

这样，只有RSS提要的摘要是可见的，内容抓取器将无法抓取完整的提要。

9.限制单个IP地址

如果你从一台电脑上接收大量请求，那么它可能是一个内容scraper。防止内容抓取的一种方法是阻止试图太快访问您的网站的计算机。

但是，您还需要记住，一些代理服务可能通过单个IP地址呈现流量。这也适用于VPN和公司网络。因此，您可能会在此过程中最终阻止加入合法用户的大量访问您的网站。

此外，拥有更好资源的信息搜集者也可能规避这种保护。他们可能使用多台机器来运行他们的刮泥器。这样，只有少数请求会从一台机器进入您的网站。这让你很难把他们拒之门外。

它们也可能选择减慢刮刀，以便在请求之间等待。这样，它可以将自己伪装为普通用户。

10.经常更改HTML

内容刮板主要依靠在网站的HTML中找到一些模式。使用这些模式，他们帮助他们的脚本从您的网站的HTML找到合适的内容。

但是，如果您的网站的HTML经常更改，那么您最终可能会令刮刀令人沮丧。这是因为他们现在可能必须尽量找出模式。由于此，他们可能会停止从您的网站刮的内容。

虽然这听起来像一个乏味的任务，你没有必要完全改变网站。即使更改HTML中的类或id这样简单的东西也足以使scraper偏离轨道。

11.创建访问登录

HTTP本身并不保留每个请求的任何信息。但是，大多数HTTP客户端可以存储会话cookie。这使得它成为一个非常有利于刮板工作的环境，因为它不需要识别自己。

但是，当需要登录来访问页面时，情况会发生变化。在每个查看内容的请求中，scraper都需要发送一些标识信息。这些信息可以非常方便地追踪他们，并找出谁正在抓取你的网站。

虽然它不会阻止内容刮擦，但它绝对可以帮助您识别那些正在做的人。

12.使用验证码

验证码的目的是将人与计算机分开。它们呈现了一些简单的问题，人类可以很容易地解决，但计算机发现很难解决。虽然这可以帮助你区分人类，但它也会让你失去一些有价值的流量。

这样做的原因是简单的。人类发现CAPTCHA非常讨厌处理。这就是为什么你需要在使用时要小心。只有当特定客户端在短差距中发送多个请求时，您可能只能显示CAPTCHA。

图像通过毁了

13.制作新的“蜜罐”页面

处理内容抓取的另一种方法是制作“蜜罐页面”。这些是人类永远不会访问的页面。然而，会点击你网站上所有链接的机器人可能会意外地到达那里。

一种方法来避免人类打开它是通过CSS命令“显示：无”隐藏它。一旦机器人点击URL并到达蜂蜜POP页面，就会找到他们的信息。然后，您可以启动阻止来自该特定客户端的所有请求。

14.在媒体中嵌入信息

内容刮板通常假设它们将从HTML文件中获取文本字符串。但是，如果您的网站内容嵌入在图像中，电影，PDF或其他媒体文件中，则需要从那里获取它。这本身就是一项重大任务。

虽然这确实有助于防止或减少内容刮，但它也会影响您的网站速度。这是由于将使用的媒体文件的大小较大。对于那些盲目或残疾人而言，它也可能变得不那么易于访问。

最后，您很难在必须嵌入媒体内时轻松更新内容。

最后的想法

内容抓取可能是一个痛苦的处理，甚至可以带走宝贵的流量从您的网站。然而，通过找到正确的IP地址，你可以阻止他们访问你的网站。互联可以帮助你从这个scraper的网站获得一些反向链接。

当你找到他们的IP地址时，你甚至可以向他们的主机提交一个DMCA。使用验证码也可以阻止机器人进入你的网站。最后，通过巧妙地在文字中插入附属链接，你也可以从刮板的流量中赚钱。

您使用什么方法来处理内容抓取?请在下面的评论中告诉我们。