Python网络爬虫实战项目代码大全_python 网络爬虫案例_xiaoxianerqq的博客-程序员秘密
技术标签： python
转自 ： http://blog.csdn.net/fanpeihua123/article/details/53582206
Python学习思维脑图大全汇总打包 （密码:visk）
WechatSogou [1]- 微信公众号爬虫。基于搜狗微信搜索的微信公众号爬虫接口，可以扩展成基于搜狗搜索的爬虫，返回结果是列表，每一项均是公众号具体信息字典。
DouBanSpider [2]- 豆瓣读书爬虫。可以爬下豆瓣读书标签下的所有图书，按评分排名依次存储，存储到Excel中，可方便大家筛选搜罗，比如筛选评价人数>1000的高分书籍；可依据不同的主题存储到Excel不同的Sheet ，采用User Agent伪装为浏览器进行爬取，并加入随机延时来更好的模仿浏览器行为，避免爬虫被封。
zhihu_spider [3]- 知乎爬虫。此项目的功能是爬取知乎用户信息以及人际拓扑关系，爬虫框架使用scrapy，数据存储使用mongo
bilibili-user [4]- Bilibili用户爬虫。总数据数：20119918，抓取字段：用户id，昵称，性别，头像，等级，经验值，粉丝数，生日，地址，注册时间，签名，等级与经验值等。抓取之后生成B站用户数据报告。
SinaSpider [5]- 新浪微博爬虫。主要爬取新浪微博用户的个人信息、微博信息、粉丝和关注。代码获取新浪微博Cookie进行登录，可通过多账号登录来防止新浪的反扒。主要使用 scrapy 爬虫框架。
distribute_crawler [6]- 小说下载分布式爬虫。使用scrapy,redis, mongodb,graphite实现的一个分布式网络爬虫,底层存储mongodb集群,分布式使用redis实现,爬虫状态显示使用graphite实现，主要针对一个小说站点。
CnkiSpider [7]- 中国知网爬虫。设置检索条件后，执行src/CnkiSpider.py抓取数据，抓取数据存储在/data目录下，每个数据文件的第一行为字段名称。
LianJiaSpider [8]- 链家网爬虫。爬取北京地区链家历年二手房成交记录。涵盖链家爬虫一文的全部代码，包括链家模拟登录代码。
scrapy_jingdong [9]- 京东爬虫。基于scrapy的京东网站爬虫，保存格式为csv。
QQ-Groups-Spider [10]- QQ 群爬虫。批量抓取 QQ 群信息，包括群名称、群号、群人数、群主、群简介等内容，最终生成 XLS(X) / CSV 结果文件。
wooyun_public [11]-乌云爬虫。 乌云公开漏洞、知识库爬虫和搜索。全部公开漏洞的列表和每个漏洞的文本内容存在mongodb中，大概约2G内容；如果整站爬全部文本和图片作为离线查询，大概需要10G空间、2小时（10M电信带宽）；爬取全部知识库，总共约500M空间。漏洞搜索使用了Flask作为web server，bootstrap作为前端。
QunarSpider [12]- 去哪儿网爬虫。 网络爬虫之Selenium使用代理登陆：爬取去哪儿网站，使用selenium模拟浏览器登陆，获取翻页操作。代理可以存入一个文件，程序读取并使用。支持多进程抓取。
findtrip [13]- 机票爬虫（去哪儿和携程网）。Findtrip是一个基于Scrapy的机票爬虫，目前整合了国内两大机票网站（去哪儿 + 携程）。
163spider [14] - 基于requests、MySQLdb、torndb的网易客户端内容爬虫
doubanspiders [15]- 豆瓣电影、书籍、小组、相册、东西等爬虫集
QQSpider [16]- QQ空间爬虫，包括日志、说说、个人信息等，一天可抓取 400 万条数据。
baidu-music-spider [17]- 百度mp3全站爬虫，使用redis支持断点续传。
tbcrawler [18]- 淘宝和天猫的爬虫,可以根据搜索关键词,物品id来抓去页面的信息，数据存储在mongodb。
stockholm [19]- 一个股票数据（沪深）爬虫和选股策略测试框架。根据选定的日期范围抓取所有沪深两市股票的行情数据。支持使用表达式定义选股策略。支持多线程处理。保存数据到JSON文件、CSV文件。
BaiduyunSpider[20]-百度云盘爬虫。
[1]: GitHub - Chyroc/WechatSogou: 基于搜狗微信搜索的微信公众号爬虫接口
[2]: GitHub - lanbing510/DouBanSpider: 豆瓣读书的爬虫
[3]: GitHub - LiuRoy/zhihu_spider: 知乎爬虫
[4]: GitHub - airingursb/bilibili-user: Bilibili用户爬虫
[5]: GitHub - LiuXingMing/SinaSpider: 新浪微博爬虫（Scrapy、Redis）
[6]: GitHub - gnemoug/distribute_crawler: 使用scrapy,redis, mongodb,graphite实现的一个分布式网络爬虫,底层存储mongodb集群,分布式使用redis实现,爬虫状态显示使用graphite实现
[7]: GitHub - yanzhou/CnkiSpider: 中国知网爬虫
[8]: GitHub - lanbing510/LianJiaSpider: 链家爬虫
[9]: GitHub - taizilongxu/scrapy_jingdong: 用scrapy写的京东爬虫
[10]: GitHub - caspartse/QQ-Groups-Spider: QQ Groups Spider（QQ 群爬虫）
[12]: GitHub - lining0806/QunarSpider: 网络爬虫之Selenium使用代理登陆：爬取去哪儿网站
[14]: GitHub - leyle/163spider: 爬取网易客户端内容的小爬虫。
[15]: GitHub - dontcontactme/doubanspiders: 豆瓣电影、书籍、小组、相册、东西等爬虫集 writen in Python
[16]: GitHub - LiuXingMing/QQSpider: QQ空间爬虫（日志、说说、个人信息）
[17]: GitHub - Shu-Ji/baidu-music-spider: 百度mp3全站爬虫
[18]: GitHub - pakoo/tbcrawler: 淘宝天猫 商品 爬虫
[19]: GitHub - benitoro/stockholm: 一个股票数据（沪深）爬虫和选股策略测试框架
[20]:GitHub - k1995/BaiduyunSpider: 爱百应，百度云网盘搜索引擎，爬虫+网站
更多Python干货欢迎关注：
微信公众号：Python中文社区
Python初级技术交流QQ群：152745094
Python高级技术交流QQ群：273186166
Python网络爬虫组QQ群：206241755
PythonWeb开发组QQ群：577672548
Python量化交易策略组QQ群：264204289
Python数据分析挖掘组QQ群：539956362
Python自然语言处理组QQ群：570364809
--------------------------
Python学习资源下载：
Python学习思维脑图大全汇总打包 （密码:visk）
智能推荐
python字符串日期比较_python中如何比较两个时间点_灯火熄灭时的博客-程序员秘密
python中如何比较两个时间点?下面给大家讲解一下具体步骤：1.string转datetime#字符串转datetimedt = datetime.datetime.strptime('2017-04-19 00:42:44','%Y-%m-%d %H:%M:%S')相关推荐：《Python视频教程》2.datetime转string#datetime转字符串str = dt.strftime(...
Latency、Bandwidth、Throughput、Response Time概念的区别 延时、吞吐、带宽、相应时间的区别_response time 延时_YLTENG的博客-程序员秘密
Latency、Bandwidth、Throughput、Response Time概念的区别先看一下翻译关系延时（Latency）带宽（Bandwidth）吞吐（Throughput）响应时间（Response Time）总结先看一下翻译单词和中文翻译的对应：延时（Latency）吞吐（Throughput）带宽（Bandwidth）响应时间（Response Time）关系先来看一张图：下面所有的说明都和这张图有关延时（Latency）延时（Latency）：水从一端传播到另.
Java空值处理：如何避免空指针异常？_java为空值不抛出异常_CooperNiu的博客-程序员秘密
空值处理：如何避免空指针异常？常见的5种空指针异常场景参数值是Integer等包装类型时，因为自动拆箱出现了空指针异常字符串比较出现空指针异常诸如ConcurrentHashMap这样的容器不支持Key和Value为null，强行put null的Key或Value会出现空指针异常A对象包含了B，在通过A对象的字段获得B之后，没有对字段判空就级联调用B的方法方法或远程服务返回的List不是空而是null，没有判空就直接调用List的方法出现空指针异常解决方法使用Optional.ofNu
Redis缓存：java写入文件不覆盖_jediss rmapcache.putifabsent不能覆盖数据_普通网友的博客-程序员秘密
基本知识1.学会分析源码程序员每天都和代码打交道。经过数年的基础教育和职业培训，大部分程序员都会「写」代码，或者至少会抄代码和改代码。但是，会读代码的并不在多数，会读代码又真正读懂一些大项目的源码的，少之又少。这种怪状，真要追究起来，怪不得程序员这个群体本身 —— 它是两个原因造成的：我们所有的教育和培训都在强调怎么写代码，并没有教大家如何读代码大多数工作场景都是一个萝卜一个坑，我们只需要了解一个系统的局部便能开展工作，读不相干的代码，似乎没用读源码三问：“为什么要有这样的架构”，“他
boost::shared_ptr智能指针分析_huangjh2018的博客-程序员秘密
1. 简介 boost.smart_ptr 库中最有价值、最重要的组成部分，也是最有用的。 shared_ptr 与 scoped_ptr 一样包装了new 操作符在堆上分配的动态对象，但它实现的是引用计数型的智能指针，可以被自由地拷贝和赋值，在任意的地方共享它，当没有代码使用（引用计数为0）它时才删除被包装的动态分配的对象。shared_ptr 也可以安全地放到标准容器中，并弥补了a
WIFI系列协议--802.11n-增强高吞吐量简称HT--600Mbit_high throughput control值_佛戏人生的博客-程序员秘密
WIFI系列协议--802.11n-增强高吞吐量简称HT--600Mbit1.1.
随便推点
基于 ClickHouse OLAP 的生态：构建基于 ClickHouse 计算存储为核心的“批流一体”数仓体系..._禅与计算机程序设计艺术的博客-程序员秘密
概述本文关键词：■ OLAP■ Multidimensional information systems■ Data warehousing■ Databases■ Decision support systems (DSS)■ Executive information systems (EIS)■ Business intelligence (BI)■ Business analytics■ ...
不要用测试工具测试多线程_小新8的博客-程序员秘密
昨天用junit4测试一个多线程，发现测试的主线程在运行完主代码就自动跳出了，导致开启的其他线程的代码都没运行完就被迫停止了。所以测试多线程，还是用主函数比较好。
JMeter性能测试实战之QPS检测过程解析_独行侠梦的博客-程序员秘密
目录结构一、测试需求二、测试步骤 1.添加线程组 2.添加HTTP请求 3.设置QPS限制 4.添加监视器 5.运行脚本 6.聚合报告分析...
Hadoop HDFS 实现原理图文详解_禅与计算机程序设计艺术的博客-程序员秘密
一、HDFS体系结构1.1 HDFS 简介Hadoop分布式文件系统(HDFS) 是运行在通用硬件(commodity hardware)上的分布式文件系统（Distributed Fi...
BT种子文件_lanzily99的博客-程序员秘密
什么是bt种子文件，bt种子怎么用出处：最新电脑技术网时间：2012-03-22人气：1081我来评论教程贴士：很多朋友下载东西时都用过bt种子文件，那什么是bt种子文件呢？bt种子文件怎么用呢？本教程就为大家一一讲解。 很多朋友下载东西时都用过bt种子文件，那什么是bt种子文件呢？bt种子怎么用呢？ 种子是一个形象的比喻。bt种子文件就是记
天龙八单机服务器 修改 藏宝,天龙八部单机版_袁圆园建建的博客-程序员秘密
天龙八部单机版搭建第一部分win机安装1.1 基本设置关闭windows 防火墙，设置本地连接IP为固定IP，例如192.168.1.101，这里的IP下文会用到；子网255.255.255.0 、网关192.168.1.1、DNS(可以通过开始——运行——cmd，输入ipconfig /all 查看，如果不设置DNS，将可能无法上网了)。1.2 安装Oracle 10。1.2.1 ?选择安装方法...