目标网站封爬虫的问题分析

篇文章主要介绍了爬虫被封的问题，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧

在日常爬虫工作中，我们肯定是会遇到这样的情况的“您的请求太过频繁，请稍后再试”，或者说代码完全正确，可是爬虫过程中突然就访问不了，那么恭喜你，你的爬虫被对方识破了。一般遇到这样的情况，目标网站轻则给予友好提示警告，严重的可能会对你的ip进行封禁。这是代理ip那就尤为重要了，所以今天我们就来分享如何使用代理IP，去解决爬虫被封的问题。

我们如何为爬虫加入代理ip，建议大家可以把采集的ip存入数据库，这样每次爬虫的时候直接调用即可，顺便提一下代码中怎么加入代理ip。这里和大家分享一种比较简单的代理使用方式，demo亲自实践过，简直不要太好用，小编觉得对于一些新手爬虫小伙伴来说真的是很简单实用的一种方式。

<?php
    // 要访问的目标页面
    $url = "http://httpbin.org/ip";
    $urls = "https://httpbin.org/ip";

    // 代理服务器(产品官网 www.16yun.cn)
    define("PROXY_SERVER", "tcp://t.16yun.cn:31111");

    // 代理身份信息
    define("PROXY_USER", "username");
    define("PROXY_PASS", "password");

    $proxyAuth = base64_encode(PROXY_USER . ":" . PROXY_PASS);

    // 设置 Proxy tunnel
    $tunnel = rand(1,10000);

    $headers = implode("\\r\\n", [
        "Proxy-Authorization: Basic {$proxyAuth}",
        "Proxy-Tunnel: ${tunnel}",
    ]);
    $sniServer = parse_url($urls, PHP_URL_HOST);
    $options = [
        "http" => [
            "proxy"  => PROXY_SERVER,
            "header" => $headers,
            "method" => "GET",
            'request_fulluri' => true,
        ],
        'ssl' => array(
                'SNI_enabled' => true, // Disable SNI for https over http proxies
                'SNI_server_name' => $sniServer
        )
    ];
    print($url);
    $context = stream_context_create($options);
    $result = file_get_contents($url, false, $context);
    var_dump($result);

    // 访问 HTTPS 页面
    print($urls);
    $context = stream_context_create($options);
    $result = file_get_contents($urls, false, $context);
    var_dump($result);
?>

好了，学会这种方式，再也不怕网站封我爬虫了。还有就是小编会经常分享一些python、爬虫、被封、python爬虫的内容，如果大家想对相关知识点有系统深入的学习，可以关注一起交流呀！