2022-07-25 16:34

最近几天在Python交流群里大家在交流东方财富网分时数据的抓取方法,早在之前就给大家分享了东方财富网其他交易数据的抓取方法,过程比较简单,很适合新手实践。

今天我们要实现的是时分数据的获取,这里给大家提供一个实现方法,希望对大家有所参考。首先是关于目标网站url的寻找,确实花费了一番心思,因为藏的比较深,之后复制这个链接,在浏览器中打开的话,可以看到密密麻麻的,有点烧脑。通过简单的分析,发现网站的爬虫机制不是很严,但是基本的IP在爬虫程序里面是需要加上的,封IP是最常见的反爬机制。代理的选择没有那么复杂,直接推荐做爬虫的使用亿牛云代理,IP靠谱,服务靠谱,主要的是还提供了参考示例,对很多不会使用代理IP的新手来说是再友好不过的。接下来就是东方财富网实时数据抓取实现过程:

#! -*- encoding:utf-8 -*-


    import requests

    import random


    # 要访问的目标页面

    targetUrl = "http://httpbin.org/ip"


    # 要访问的目标HTTPS页面

    # targetUrl = "https://httpbin.org/ip"


    # 代理服务器(产品官网 www.16yun.cn)

    proxyHost = "t.16yun.cn"

    proxyPort = "31111"


    # 代理验证信息

    proxyUser = "username"

    proxyPass = "password"


    proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {

        "host" : proxyHost,

        "port" : proxyPort,

        "user" : proxyUser,

        "pass" : proxyPass,

    }


    # 设置 http和https访问都是用HTTP代理

    proxies = {

        "http"  : proxyMeta,

        "https" : proxyMeta,

    }



    #  设置IP切换头

    tunnel = random.randint(1,10000)

    headers = {"Proxy-Tunnel": str(tunnel)}




    resp = requests.get(targetUrl, proxies=proxies, headers=headers)


    print resp.status_code

    print resp.text

这个代码可以反复的去请求这个网页,只要有数据更新,都可以获取到,不停抓更新出来的数据,太强了!总的来说,这个方法要简单一些,还有一种方法更加底层,实现起来门槛高一些,下次可以跟大家分享下。


评论