2018-10-29 12:30

 版权声明:原创作品,允许转载,转载时请务必以超链接形式标明文章原始出处、作者信息和本声明,否则将追究法律责任。https://blog.kokojia.com/love15200922/b-1946.html

其实,对于针对于各种编程语言来说,我们都在学,但是关于哪个语言好,我们至今都还在争辩,不过,适合自己拿来开发的语言就是好的。

那么,开发十年,就只剩下这套Java开发体系了 >>>   

学弟他作为一个宅男,闲着没事就喜欢用我教他的Python来爬一些 “资源” 套图欣赏,我每次都骂他你总是这样找个女朋友不好点,他不以为然,依旧如故。气的我只好把他写的东西发出来让更多的人来谴责他!

自从教学弟学会了Python,他每天都爬一些好不正经的图片!

 

我们先看一下他的效果图:

自从教学弟学会了Python,他每天都爬一些好不正经的图片!

 

自从教学弟学会了Python,他每天都爬一些好不正经的图片!

 

自从教学弟学会了Python,他每天都爬一些好不正经的图片!

 

在这里还是要推荐下我自己建的Python开发学习群:304050799,群里都是学Python
开发的,如果你正在学习Python ,小编欢迎你加入,大家都是软件开发党,不定
期分享干货(只有Python软件开发相关的),包括我自己整理的一份2018最新的
Python进阶资料和高级开发教程,欢迎进阶中和进想深入Python的小伙伴

第一步:选取爬取的分类

第二步:开始爬取(默认保存C:sex, )

自从教学弟学会了Python,他每天都爬一些好不正经的图片!

 

好了我们来看看代码

一、导包

自从教学弟学会了Python,他每天都爬一些好不正经的图片!

 

二、定义全局变量

网址我和谐了,怕带坏你们。As we know,这些网站的域名一直变但是网站结构一般不会变化,所以日后变化就改动一下url变量就行。

自从教学弟学会了Python,他每天都爬一些好不正经的图片!

 

自从教学弟学会了Python,他每天都爬一些好不正经的图片!

 

三、总共八个核心处理函数

1、伪装报头访问函数

自从教学弟学会了Python,他每天都爬一些好不正经的图片!

 

2、菜单,捕获输入函数

自从教学弟学会了Python,他每天都爬一些好不正经的图片!

 

3、爬虫调度器函数

自从教学弟学会了Python,他每天都爬一些好不正经的图片!

 

4、加载页面函数

自从教学弟学会了Python,他每天都爬一些好不正经的图片!

 

5、加载图片

自从教学弟学会了Python,他每天都爬一些好不正经的图片!

 

6、生成文件夹

默认c:/sex/

自从教学弟学会了Python,他每天都爬一些好不正经的图片!

 

8、main

自从教学弟学会了Python,他每天都爬一些好不正经的图片!

 

四、程序运行效果

自从教学弟学会了Python,他每天都爬一些好不正经的图片!

 

自从教学弟学会了Python,他每天都爬一些好不正经的图片!

 

自从教学弟学会了Python,他每天都爬一些好不正经的图片!

 

全部是7个分类,使用多进程,保存了多少个分类就自动开多少个进程。输入目录对应编号就可以了,输入0时则结束输入,开始爬取了。

小编结语:其实,当我们知道(每次运行前,如果旧的c:/sex/没删除,则应先手动删除)写的有点仓促,以后有时间会完善这个程序,希望大家继续关注我们

文章来源于:程序员大牛

大数据+Python网络爬虫实战项目视频教程,共7节视频教程,随时随地学习,24小时内讲师答疑,与万千学友在线讨论。

 版权声明:原创作品,允许转载,转载时请务必以超链接形式标明文章原始出处、作者信息和本声明,否则将追究法律责任。https://blog.kokojia.com/love15200922/b-1946.html

评论