Python实现基金查询机器人可实时查询

原创
小哥 4年前 (2022-10-14) 阅读数 2 #PYTHON

今天给大家分享一个综合了数据采集、处理、分析、可视化、接口调用等技术点的项目。

一、说点东西

老早就想搞个基金监控机器人了,方便自己查看自己关注基金的各种指数涨跌情况,及时进行止损或者止盈,今天我们先建楼基,手把手带大家实现一个基金查询机器人,目前主要可以查询基金指定日期段数据和查看基金净值走势图,后面慢慢新增功能。

二、开始动手动脑

2.1 环境准备

  • Linux、Mac、Windows 都可以

  • python 3.7及以上

  • 相关第三方包:pandas(数据处理)、requests(爬取数据)、re(文本内容解析)、akshare(获取基金股票数据)、matplotlib(数据可视化)、dataframe-image(dataframe表格转成图片)

2.2 获取指定日期段基金数据

基金数据可以从一些金融相关的网站获取到,比如天天基金网、新浪基金网等,可以自己写爬虫程序获取网站数据,也可以使用现成的工具包获取数据,比如之前介绍过的 tushare 和 akshare 等库。

这里我们同时介绍下两种方法:

2.2.1 回顾下akshare获取基金数据

目前akshare不支持获取指定日期范围内的基金净值数据,但是可以一次获取到基金历史净值数据,调用函数 fund_em_open_fund_info 获取基金历史数据,然后自己根据日期选取时间段进行分析。

import akshare as ak
fund_data = ak.fund_em_open_fund_info(fund=005827, indicator=单位净值走势)

print(fund_data)

2.2.2 自己调用现成数据接口

本质上akshare也是从一些金融相关的网站获取到数据,我们也可以自己写代码进行获取,通过浏览器我们很快能搜索到基金数据接口,来自东方财富的天天基金网。

fhttp://fund.eastmoney.com/f10/F10DataApi.aspx?type=lsjz&code={code}&page={page}&sdate={start_date}&edate={end_date}&per={per}

code - 基金代码
page - 基金数据页码
start_date - 数据开始日期
end_date - 数据结束日期
per - 每页展现数据量,最多40

根据指定参数,浏览器会返回指定参数,一段js赋值代码,包括了 基金数据(content)、总记录条数(records)、总页数(pages)、当前页数(curpage)。

格式非常规整,我们可以直接通过正则提取数据,

获取单页面 基金数据

def get_html(code, start_date, end_date, page=1, per=40):
    url = fhttp://fund.eastmoney.com/f10/F10DataApi.aspx?type=lsjz&code={code}&page={page}&sdate={start_date}&edate={end_date}&per={per}
    # print(url)
    rsp = requests.get(url)
    html = rsp.text
    
    return html

通过返回的数据可以发现,基金数据部分是一个由table标签包裹的html代码,那我们可以直接使用pandas的read_html来解析数据。

# 从html中解析出数据表部分 并解析成df
def parses_table(html):
    # 获取基金数据表
    pattern = content:"",
    table = re.search(pattern, html).group(1)
    table = 
    fund_data = pd.read_html(table)[0]
    return fund_data

前面有提到,基金数据接口返回数据每页最多展示40条,所以要想获取所有数据,我们可能需要遍历每一页,那么我们还需要通过正则将总页数 pages 获取到,然后遍历调用 get_html 和 parses_table 函数解析出所有数据。

# 获取指定日期内 累计净值 等数据
def get_fund_data(code, start_date, end_date):
    first_page = get_html(code, start_date, end_date)
    # 获取总页数
    pattern = pages:(.*),
    pages = re.search(pattern, first_page).group(1)
    # 转成int数据
    try:
        pages = int(pages)
    except Exception as e:
        r = f【错误信息】{e}
        # print(r)
        return r 
    
    # 存放每页获取到的基金数据 dataframe格式 便于后面合并
    fund_df_list = []
    
    # 循环便利所有页面
    for i in range(pages): 
        if i == 0:
            fund_data = parses_table(first_page)
        else:
            page_html = get_html(code, start_date, end_date, page=i+1)
            fund_data = parses_table(page_html)
        fund_df_list.append(fund_data)
    
    # 将每页的数据合并到一起
    fund_df = pd.concat(fund_df_list)
    
    return fund_df

上面两种方法都可以获取到基金净值数据,最后我选择了 akshare 方式获取,设置一个定时任务,每天三点更新自己关注的基金所有数据,存储到本地,后面要查询的时候直接读取本地文件查询即可。

  • 定时任务:每天早上3点获取所有关注的基金历史数据,存储到本地

     定时任务:每天早上3点获取所有关注的基金历史数据,存储到本地

    def get_all():     try:         # 从文件读取 自己关注的基金代码列表         with open(./FD/funds.txt) as f:             funds = [i.strip() for i in f.readlines()]         # 遍历 一个个更新数据         for fund in funds:             fund_df = ak.fund_em_open_fund_info(fund, indicator=单位净值走势)             fund_df = fund_df.sort_values(by=[净值日期], ascending=False)             fund_df.to_csv(f"./FD/DATA/F{fund}_data.csv", index=False)             # print(f"./FD/DATA/F{fund}_data.csv")             time.sleep(random.randint(1,5))         return 基金数据更新完成     except Exception as e:         r = f"【错误信息】{e}"         return r

  • 获取指定基金 指定日期段 净值数据

     获取指定基金 指定日期段 净值数据

    def get_fund_data(fund, start_d, end_d):     fund_df = pd.read_csv(f./FD/DATA/{fund}_data.csv)     result_df = fund_df.query(f"{start_d}<=净值日期<={end_d}")     return result_df

2.3 返回数据呈现方式

目前先简单点,设置规则如下:

  • 1)如果数据量小于等于30条,就返回原始数据图

原始数据图 就是直接将获取到的数据转成图片的方式发送给用户,这里我们使用 dataframe-image 这个第三方包,使用非常简单,pip安装后,直接调用 export 函数即可快速将datafrmae数据转成图片。

# 将dtaframe表格转变成图片
def df_to_img(fund_df, fund, start_d, end_d):
    if fund_df.shape[0] <=1:
        dfi.export(fund_df, f./FD/IMG/{fund}_{start_d}_{end_d}_data.png)
        return 
    
    # 格式化表格 凸显最大最小值
    fund_df = fund_df.style.highlight_max(subset=[单位净值], color=red)
             .highlight_min(subset=[单位净值], color=green)
             .format({日增长率: {:}%})
    
    dfi.export(fund_df, f./FD/IMG/{fund}_{start_d}_{end_d}_data.png)

为了图片数据更好看,我们还使用了 df.style 设置数据表格样式(单位净值最大值、最小值高亮和日增长率添加百分号)。

  • 2)如果数据量大于30条,就返回原始数据趋势图

原始数据趋势图 就是将数据可视化下,然后返回给用户,这里我们选择绘制数据的走(趋)势图,使用 matplotlib 进行绘制。

# 绘制基金单位净值走势图
def draw_fund_line(fund_df, fund, start_d, end_d):
    plt.rcParams[figure.figsize] = (8.0, 4.0) # 设置figure_size尺寸
    plt.rcParams[savefig.dpi] = 300 #保存图片分辨率

    # 不显示右、上边框
    ax=plt.gca() 
    ax.spines[right].set_color(none)
    ax.spines[top].set_color(none)

    # 设置坐标网格
    plt.grid(axis="y", color=gray)  

    # 计算最大值 最小值坐标 并标注到图中
    fund_max = fund_df.loc[fund_df[单位净值].idxmax()]
    fund_min = fund_df.loc[fund_df[单位净值].idxmin()]

    ax.annotate(f({fund_max[0]},{fund_max[1]}), xy=(fund_max[0], fund_max[1]), color=red)
    ax.annotate(f({fund_min[0]},{fund_min[1]}), xy=(fund_min[0], fund_min[1]), color=green)

    # 画图
    plt.plot(fund_df[净值日期],fund_df[单位净值], color="c")
    plt.title(基金单位净值走势图)
    plt.xticks(rotation=30)
    plt.xlabel(净值日期)
    plt.ylabel(单位净值)
    plt.savefig(f./FD/IMG/{fund}_{start_d}_{end_d}_data.png)

这里使用的是折线图,有一些对图片样式的设置,比如:大小、边框、最大/小值标注,但依然不是很美观,后面继续优化。

  • 完整调用

     返回数据

    def response_data(fund, start_d, endd):     # 本地查看 查询结果是否已存在     imgs = os.listdir(./FD/IMG/)     if f{fund}{startd}{end_d}data.png in imgs:         return f./FD/IMG/{fund}{startd}{end_d}_data.png          # 获取数据     fund_df = get_fund_data(fund, start_d, end_d)          # 如果数据量小于等于30条,就返回原始数据图     if fund_df.shape[0]<= 30:         df_to_img(fund_df, fund, start_d, end_d)     else:         # 否则返回数据趋势图         fund_df = fund_df.sort_values(by=[净值日期])         draw_fund_line(fund_df, fund, start_d, end_d)

        return f./FD/IMG/{fund}_{startd}{end_d}_data.png

2.4 对接钉钉机器人设置守护程序

目前项目对接了两种机器人:钉钉群机器人和企业机器人,相关配置方法因篇幅原因这里不展开介绍。

钉钉群机器人主要用来汇报每天自动汇报基金数据更新情况,后面还可以加基金涨跌检测情况等。

企业机器人主要用来做基金数据查询自动回复功能,也可以拓展主动发消息给用户。

2.5 最终效果图

  • 指定查询

查看某基金某个时间段内的基金净值数据。(30条以内数据,表格展示;大于30条,趋势图展示)

查询格式: F基金代码 起始日期 结束日期,如:F005827 2021-12-03 2022-02-10

效果图

  • 普通查询

查看某基金近10天内净值和日增长率数据+趋势图

查询格式: F基金代码,如:F005827

最近10天内,只有两个交易日

点阅读原文,看原创200个趣味案例!

版权声明

所有资源都来源于爬虫采集,如有侵权请联系我们,我们将立即删除