最近几天新东方集团旗下的“东方甄选”直播间火了。跟传统的嘶吼式带货直播不同,从新东方讲台上转型而来的主播们自带“讲授知识”特色,成为一股直播界清流,他们介绍物品时中英双语无缝切换、遇到知识点时延伸拓展、时不时地即兴讲段子抖包袱……这些新东方老师们特有的技能让“东方甄选”直播间斩获了流量的口碑的双丰收。
之前有和大家分享过微博热搜数据的爬取,那么今天我们再实践一次,今天我们来爬取下新东方爆火后在热搜上的数据是怎么样的。我们主要是爬取新东方话题在抖音热搜榜的这些内容:排名、热度、标题、链接。数据爬取方法比较多,今天我们就选择使用requests,因为 requests相对简洁,整个代码运行速度也更快,如果页面数据不是动态加载的话,使用会更方便。但是抖音一直以来的风控都比较严,特别是针对IP方面,所以在爬取过程中我们加上了代理IP,代理主要是由亿牛云提供。简单的实现过程如下:
#! -*- encoding:utf-8 -*- import requests import random # 要访问的目标页面 targetUrl = "http://httpbin.org/ip" # 要访问的目标HTTPS页面 # targetUrl = "https://httpbin.org/ip" # 代理服务器(产品官网 www.16yun.cn) proxyHost = "t.16yun.cn" proxyPort = "31111" # 代理验证信息 proxyUser = "username" proxyPass = "password" proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % { "host" : proxyHost, "port" : proxyPort, "user" : proxyUser, "pass" : proxyPass, } # 设置 http和https访问都是用HTTP代理 proxies = { "http" : proxyMeta, "https" : proxyMeta, } # 设置IP切换头 tunnel = random.randint(1,10000) headers = {"Proxy-Tunnel": str(tunnel)} resp = requests.get(targetUrl, proxies=proxies, headers=headers) print resp.status_code print resp.text
在关于新东方的热搜里面我觉得这个热搜题目挺让人印象深刻的“知识付费了4袋大米”。他们直播间里面除了英语还会讲解一些天文地理的知识,可谓是直播间的一股清流了,很多人都在发表评论说新东方爆火以后,直播届迎来“降维打击”。