Python爬虫程序实例

【例8-3】爬取本地城市天气。

中国天气网(http://www.weather.com.cn/)是官方的网站,实时提供全国天气预报等各种气象信息。在网站上输入城市即可查询天气数据。打开网址http://www.weather.com.cn/,输入本地城市,例如,柯桥http://www.weather.com.cn/weather/101210506.shtml,查看七天天气预报的网页源代码,其结果如下:

分析:通过代码可以看到我们需要的数据,全都包裹在＜ulclass= “tclearfix”＞里,用CSS的选择器定位到这里,再筛选数据就得到结果。查看data可知只有一个元素的列表,元素的text属性即是需要的文本信息,进行适当处理后格式化输出。

程序如下:

程序运行结果如下:

思考:将运行结果保存到文件中,程序如何修改。

【例8-4】爬取编程语言排行榜。(www.xing528.com)

TIOBE (TheImportanceOfBeingEarnest)开发语言排行榜每月更新一次,依据的指数是基于世界范围内的资深软件工程师和第三方供应商提供,其结果作为当前业内程序开发语言的流行使用程度的有效指标。

TIOBE排行榜的网页https://www.tiobe.com/tiobe-index/,用Chrome打开,选择开发者工具,可以看到以下代码:

从网页中可以观察到,使用选择器tbody＞tr就可以选取整个表格。获取表格后就可以对其中的数据进行处理。

程序如下:

程序运行结果如图8-5所示。

图8-5　TIOBE排行榜爬取结果