Python爬虫小练习——QuaternaryScienceReviews,Recentarticles教程
原创目的:获得目的:获得目标:获得Quaternary Science Reviews期刊Recent articles关于部分中的文章信息董事会的文章信息
网址: https://www.journals.elsevier.com/quaternary-science-reviews
第一步还是要看第一步还是要看第一步还是看第一步robots.txt
https://www.journals.elsevier.com/robots.txt
查询未发现对爬网程序的限制,请随意爬网
第二步是分析网页,找出目标在哪里
F12检查源代码,我发现里面的内容在html该文件相对简单。文件,比较简单。文件,它相对简单。文件相对简单。
第三步代码实现第三步代码实现第三步代码实现
import requests
from lxml import etree
headers = {user-agent:Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.162 Safari/537.36,
}
def get_recent_articles():
recent_articles_url = https://www.journals.elsevier.com/quaternary-science-reviews/recent-articles
res = requests.get(recent_articles_url,headers=headers)
html = etree.HTML(res.text)
items = html.xpath(//*[@id="Content1"]/div[2]/div[@class="pod-listing"])
print(Quaternary_Science_Reviews Recent articles: {} articles.format(len(items)))
for item in items:
article_title = item.xpath(./div/a/@title)
article_date = item.xpath(./div/div/text())
article_link = item.xpath(./div/a/@href)
print(
--------------------------------------------------------------------
%s%s%s--------------------------------------------------------------------%(article_title[0],article_date[0],article_link[0]))
if __name__ == __main__:
get_recent_articles()
总结
该代码很容易实现,并且在该过程中有一个错误。
for item in items:
article_title = item.xpath(’./div/a/@title’)
article_date = item.xpath(’./div/div/text()’)
article_link = item.xpath(’./div/a/@href’)
xpath二次提取,前缀为“二次提取,前缀为”.”
版权声明
所有资源都来源于爬虫采集,如有侵权请联系我们,我们将立即删除
itfan123



