基于MD5值比对的Xpath自动提取方法

本发明提出一种基于MD5值比对的Xpath自动提取方法,其在指定列表页后自动提取列表页中的链接信息,并在自动提取的链接信息中由用户选择若干个页面参与Xpath自动生成；所述自动生成的过程为：对参与自动生成过程的页面进行解析,得到Xpath和内容的键值对生成Xpath对应的MD5值,综合比较页面的Xpath、内容值和MD5值,生成最终详情页所需数据项的Xpath。该算法能够有效辅助用户提取Xpath。通过该算法流程也可自适应页面结构变化、将该算法融合至爬虫设计中可降低爬虫维护成本、提高工作效率,且生成Xpath过程可供没有语言基础的用户使用。