Python爬虫有什么用爬虫爬什么用( 二 ) _小知识

PS：貌似活跃房产经纪的数量能反应市场活跃度?
PS：我觉得我可以把全国城市的都爬下来。
@孟德超
非计算机系。所以我做的比起其他人来说要简单的多，但是却解决了一些很实用的问题，也让我认识到各行各业的人都需要学一点编程。
我一个同学做数学建模，需要57个城市两两之间的距离。他们本来想在百度查，可是57*56/2=1596，也就是说他们光查数据就要百度1596次。刚好我那个时候接触了一点爬虫，就找到一个可以查询距离的网站，大概写了几十行代码，两分钟就解决问题了。
@余生梦
说个简单实用的例子吧。昨晚突然发现我在某培训网站的的会员马上就要过期了，于是赶紧写了个爬虫，把没看完的教学视频全下载下来了……
@ animalize
【Python爬虫有什么用爬虫爬什么用】用爬虫技术做了个个人信息收集系统，部署在卡片式电脑(如树莓派、Cubieboard)上。
为什么Python更适合爬虫

C，C++ 。高效率，快速，适合通用搜索引擎做全网爬取。缺点，开发慢，写起来又臭又长
脚本语言：Perl, Python, Java, Ruby 。简单，易学，良好的文本处理能方便网页内容的细致提取，但效率往往不高，适合对少量网站的聚焦爬取
C#？（貌似信息管理的人比较喜欢的语言）

因为写爬虫是一边写，一边测试。测试不过再改改。这个过程用 python 写起来最方便。
Python 有 scrapy 这样成熟的框架，我们大可不必自己从0开始
即使从0开始，以 Python 简洁的语法和一大波成熟的库，写起来相当的快。

学习爬虫的原因

学习爬虫，可以私人订制一个搜索引擎，并且可以对搜索引擎的数据采集工作原理进行更深层次地理解。
学习爬虫可以获取更多的数据源。这些数据源可以按我们的目的进行采集，去掉很多无关数据。
对于很多SEO从业者来说，学习爬虫，可以更深层次地理解搜索引擎爬虫的工作原理，从而可以更好地进行搜索引擎优化。
学习爬虫更有钱景。爬虫工程师是当前紧缺人才，并且薪资待遇普遍较高，所以，深层次地掌握这门技术，对于就业来说，是非常有利的。

除了以上为大家总结的4种常见的学习爬虫的原因，在下方留言评论说说你学习Python爬虫的原因
介绍一本非常经典的入门PDF，它讲解的是程序员必知的硬核基础知识，看完能让你对计算机有一个基础的了解和入门，是培养你 内核的基础，我们看下目录大纲

文章插图
回复「os」，获取PDF

文章插图

Python爬虫有什么用 爬虫爬什么用( 二 )

Python爬虫有什么用爬虫爬什么用( 二 )