如何通过requests和time模块限制爬虫请求速率？_小淘米

2025-06-05 17:00

标签:

一、为什么需要限制爬虫请求速率？

在爬取网站数据时，网站服务器需要处理我们的请求并返回数据。如果爬虫的请求过于频繁，服务器可能会因为负载过高而崩溃，或者将我们的爬虫IP地址封禁。此外，许多网站都有反爬虫机制，例如检测单位时间内来自同一IP的请求频率。如果请求频率超过设定的阈值，网站可能会采取措施阻止爬虫的访问。

因此，合理限制爬虫的请求速率不仅可以避免对网站服务器造成不必要的压力，还可以降低被封禁的风险，同时也能提高爬虫的稳定性和可靠性。

二、requests模块简介

requests是Python中一个非常流行的HTTP库，它允许我们轻松地发送HTTP请求。通过requests，我们可以模拟浏览器的行为，向目标网站发送GET、POST等请求，并获取相应的响应内容。

以下是requests模块的基本使用方法：

import requests

# 发送GET请求
response = requests.get('https://www.example.com')
print(response.text)  # 打印响应内容

# 发送POST请求
data = {'key': 'value'}
response = requests.post('https://www.example.com/post', data=data)
print(response.text)

requests模块提供了丰富的功能，例如设置请求头、处理Cookie、上传文件等。它简单易用，是开发爬虫时常用的工具之一。

三、time模块简介

time模块是Python的内置模块，提供了各种与时间相关的功能。在爬虫开发中，我们主要使用time.sleep()函数来实现请求速率的限制。

time.sleep(seconds)函数的作用是让程序暂停指定的秒数。通过在每次请求之间插入适当的暂停时间，我们可以有效地控制爬虫的请求速率。

四、通过requests和time模块限制爬虫请求速率

1. 基本实现

以下是一个简单的示例，展示如何通过requests和time模块限制爬虫的请求速率：

import requests
import time

# 目标网站URL
url = 'https://www.example.com'

# 请求速率限制，每秒发送1个请求
request_interval = 1  # 每次请求之间的间隔时间（秒）

# 爬取10次数据
for i in range(10):
    response = requests.get(url)
    print(f"第{i + 1}次请求，状态码：{response.status_code}")
    
    # 暂停指定时间
    time.sleep(request_interval)

在这个示例中，我们设置了request_interval为1秒，表示每次请求之间暂停1秒。通过time.sleep(request_interval)，我们实现了对爬虫请求速率的限制。

2. 动态调整请求速率

在实际的爬虫开发中，我们可能需要根据目标网站的响应情况动态调整请求速率。例如，如果网站响应时间较长，我们可以适当降低请求速率；如果网站响应时间较短，我们可以适当提高请求速率。

以下是一个动态调整请求速率的示例：

import requests
import time

# 目标网站URL
url = 'https://www.example.com'

# 初始请求速率限制，每秒发送1个请求
request_interval = 1  # 每次请求之间的间隔时间（秒）

# 动态调整请求速率的参数
min_interval = 0.5  # 最小间隔时间
max_interval = 2    # 最大间隔时间
adjust_factor = 0.1  # 调整因子

# 爬取10次数据
for i in range(10):
    start_time = time.time()  # 记录请求开始时间
    response = requests.get(url)
    print(f"第{i + 1}次请求，状态码：{response.status_code}")
    
    # 计算请求耗时
    request_time = time.time() - start_time
    
    # 根据请求耗时动态调整请求速率
    if request_time > request_interval:
        request_interval = min(max_interval, request_interval + adjust_factor)
    else:
        request_interval = max(min_interval, request_interval - adjust_factor)
    
    print(f"调整后的请求间隔时间：{request_interval}秒")
    
    # 暂停指定时间
    time.sleep(request_interval)

在这个示例中，我们引入了min_interval、max_interval和adjust_factor三个参数，分别表示最小间隔时间、最大间隔时间和调整因子。根据每次请求的耗时，我们动态调整request_interval的值，从而实现动态控制爬虫的请求速率。

3. 多线程爬虫中的请求速率限制

在多线程爬虫中，多个线程同时发送请求，如果不加以限制，可能会导致请求频率过高。为了在多线程爬虫中限制请求速率，我们可以使用threading.Lock来实现线程同步。

以下是一个多线程爬虫中限制请求速率的示例：

import requests
import time
import threading
from requests.auth import HTTPProxyAuth

# 目标网站URL
url = 'https://www.example.com'

# 代理信息
proxyHost = "www.16yun.cn"
proxyPort = "5445"
proxyUser = "16QMSOML"
proxyPass = "280651"

# 构造代理字典
proxies = {
    "http": f"http://{proxyHost}:{proxyPort}",
    "https": f"http://{proxyHost}:{proxyPort}"
}

# 构造代理认证信息
proxy_auth = HTTPProxyAuth(proxyUser, proxyPass)

# 请求速率限制，每秒发送2个请求
request_interval = 0.5  # 每次请求之间的间隔时间（秒）
lock = threading.Lock()  # 创建线程锁

# 爬虫线程函数
def crawl():
    global request_interval
    while True:
        with lock:
            try:
                # 使用代理发送请求
                response = requests.get(url, proxies=proxies, auth=proxy_auth)
                print(f"线程{threading.current_thread().name}，状态码：{response.status_code}")
            except requests.exceptions.RequestException as e:
                print(f"线程{threading.current_thread().name}，请求失败：{e}")
            
            # 暂停指定时间
            time.sleep(request_interval)

# 创建多个线程
threads = []
for i in range(5):
    thread = threading.Thread(target=crawl, name=f"Thread-{i + 1}")
    threads.append(thread)
    thread.start()

# 等待所有线程结束
for thread in threads:
    thread.join()

在这个示例中，我们使用threading.Lock来确保每次只有一个线程发送请求。通过在每次请求之间插入暂停时间，我们实现了多线程爬虫的请求速率限制。

五、注意事项

遵守法律法规：在进行网络爬虫开发时，必须遵守相关法律法规，不得侵犯他人的合法权益。
尊重网站规则：在爬取网站数据时，应尊重网站的robots.txt文件规则，避免爬取禁止访问的内容。
合理设置请求速率：请求速率应根据目标网站的实际情况进行合理设置，避免对网站服务器造成过大压力。
处理异常情况：在爬虫开发中，应充分考虑网络异常、服务器错误等情况，并进行相应的异常处理，以提高爬虫的稳定性和可靠性。

六、总结

通过requests和time模块，我们可以轻松地实现对爬虫请求速率的限制。合理控制爬虫的请求速率不仅可以避免对目标网站服务器造成不必要的压力，还可以降低被封禁的风险，同时也能提高爬虫的稳定性和可靠性。在实际的爬虫开发中，我们可以根据目标网站的响应情况动态调整请求速率，也可以在多线程爬虫中通过线程同步实现请求速率的限制。

赏