2022-06-15 16:39

最近几天新东方集团旗下的“东方甄选”直播间火了。跟传统的嘶吼式带货直播不同,从新东方讲台上转型而来的主播们自带“讲授知识”特色,成为一股直播界清流,他们介绍物品时中英双语无缝切换、遇到知识点时延伸拓展、时不时地即兴讲段子抖包袱……这些新东方老师们特有的技能让“东方甄选”直播间斩获了流量的口碑的双丰收。  

之前有和大家分享过微博热搜数据的爬取,那么今天我们再实践一次,今天我们来爬取下新东方爆火后在热搜上的数据是怎么样的。我们主要是爬取新东方话题在抖音热搜榜的这些内容:排名、热度、标题、链接。数据爬取方法比较多,今天我们就选择使用requests,因为 requests相对简洁,整个代码运行速度也更快,如果页面数据不是动态加载的话,使用会更方便。但是抖音一直以来的风控都比较严,特别是针对IP方面,所以在爬取过程中我们加上了代理IP,代理主要是由亿牛云提供。简单的实现过程如下:

#! -*- encoding:utf-8 -*-

    import requests
    import random

    # 要访问的目标页面
    targetUrl = "http://httpbin.org/ip"

    # 要访问的目标HTTPS页面
    # targetUrl = "https://httpbin.org/ip"

    # 代理服务器(产品官网 www.16yun.cn)
    proxyHost = "t.16yun.cn"
    proxyPort = "31111"

    # 代理验证信息
    proxyUser = "username"
    proxyPass = "password"

    proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {
        "host" : proxyHost,
        "port" : proxyPort,
        "user" : proxyUser,
        "pass" : proxyPass,
    }

    # 设置 http和https访问都是用HTTP代理
    proxies = {
        "http"  : proxyMeta,
        "https" : proxyMeta,
    }


    #  设置IP切换头
    tunnel = random.randint(1,10000)
    headers = {"Proxy-Tunnel": str(tunnel)}



    resp = requests.get(targetUrl, proxies=proxies, headers=headers)

    print resp.status_code
    print resp.text

在关于新东方的热搜里面我觉得这个热搜题目挺让人印象深刻的“知识付费了4袋大米”。他们直播间里面除了英语还会讲解一些天文地理的知识,可谓是直播间的一股清流了,很多人都在发表评论说新东方爆火以后,直播届迎来“降维打击”。


评论