Python爬虫小练习——QuaternaryScienceReviews,Recentarticles教程

原创
小哥 4年前 (2022-10-17) 阅读数 3 #PYTHON

目的:获得目的:获得目标:获得Quaternary Science Reviews期刊Recent articles关于部分中的文章信息董事会的文章信息

网址: https://www.journals.elsevier.com/quaternary-science-reviews

第一步还是要看第一步还是要看第一步还是看第一步robots.txt

https://www.journals.elsevier.com/robots.txt
查询未发现对爬网程序的限制,请随意爬网

第二步是分析网页,找出目标在哪里

F12检查源代码,我发现里面的内容在html该文件相对简单。文件,比较简单。文件,它相对简单。文件相对简单。

第三步代码实现第三步代码实现第三步代码实现

import requests
from lxml import etree

headers = {user-agent:Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.162 Safari/537.36,
           }

def get_recent_articles():
    recent_articles_url = https://www.journals.elsevier.com/quaternary-science-reviews/recent-articles
    res = requests.get(recent_articles_url,headers=headers)
    html = etree.HTML(res.text)

    items = html.xpath(//*[@id="Content1"]/div[2]/div[@class="pod-listing"])
    print(Quaternary_Science_Reviews Recent articles: {} articles.format(len(items)))
    for item in items:
        article_title = item.xpath(./div/a/@title)
        article_date = item.xpath(./div/div/text())
        article_link = item.xpath(./div/a/@href)
        print(
--------------------------------------------------------------------
%s%s%s--------------------------------------------------------------------%(article_title[0],article_date[0],article_link[0]))

if __name__ == __main__:
    get_recent_articles()

总结

该代码很容易实现,并且在该过程中有一个错误。
for item in items:
article_title = item.xpath(’./div/a/@title’)
article_date = item.xpath(’./div/div/text()’)
article_link = item.xpath(’./div/a/@href’)

xpath二次提取,前缀为“二次提取,前缀为”.”

版权声明

所有资源都来源于爬虫采集,如有侵权请联系我们,我们将立即删除