如何在我的应用程序(网络或控制台)中进行类似谷歌的重新抓取
如何在我的应用程序(Web或控制台)中进行类似Google的重新抓取。 我只需要重新抓取那些在特定日期之后更新的页面。
System.Net.WebResponse中的LastModified标头仅提供服务器的当前日期。 例如,如果我在2012年1月27日下载了一个带有HTTPWebRequest的页面,并检查LastModified日期的标题,则显示服务页面时服务器的当前时间。 在这种情况下,它只是2012年1月27日。
谁能建议任何其他方法?
首先,要指出的是,你要做的事情非常困难,并且有很多研究级别的论文试图解决它(我稍后会给你链接一些)。 虽然你可以有一些快捷方式,例如从响应标题中检查Content-Length而不下载页面的其余部分,但是无法查看网站是否在没有抓取的情况下进行了更改。 这将允许您的系统节省流量,但它不会以真正有用的方式解决您的问题。
其次,既然你关注内容,那么Last-Modified
标题字段对你来说不是很有用,我甚至可以说它根本不会有用。
第三,你所描述的内容有一些相互冲突的要求,因为你只想抓取那些已经更新内容的网页,而这与Google的工作方式不完全相关(但是,你想要像谷歌一样抓取)。 谷歌的抓取重点是为最常搜索/访问过的网站提供最新鲜的内容。 例如:Google很少有兴趣频繁抓取每天两次更新其内容的网站,当时该网站每天有10位访问者,而Google则更有兴趣抓取每天获得1000万访问者的网站,即使其内容更新不太常见。 同样更新其内容的网站也可能拥有大量访问者,但从谷歌的角度来看,这并不完全相关。
如果你必须发现新的网站(报道),同时你想获得你所知道的网站的最新内容(新鲜度),那么你就会有相互冲突的目标(对于大多数抓取工具来说都是如此,甚至是Google)。 通常最终会发生的事情是,当你有更多的覆盖范围时,你的新鲜感会降低,如果你有更多的新鲜度,那么你的覆盖范围就会减少。 如果你有兴趣平衡两者,那么我建议你阅读以下文章:
这个想法的总结是你必须多次(可能几百次)抓取一个网站,以便你建立一个很好的历史记录。 一旦你有了一套很好的历史测量,那么你就可以使用一个预测模型来插入网站何时会再次更改,并在预期的更改后安排一段时间的爬网。
上述就是C#学习教程:如何在我的应用程序(网络或控制台)中进行类似谷歌的重新抓取分享的全部内容,如果对大家有所用处且需要了解更多关于C#学习教程,希望大家多多关注—计算机技术网(www.ctvol.com)!
本文来自网络收集,不代表计算机技术网立场,如涉及侵权请联系管理员删除。
ctvol管理联系方式QQ:251552304
本文章地址:https://www.ctvol.com/cdevelopment/1029659.html