爬虫实战利用BeautifulSoup爬取天气网存储postgresql

时间:2020-03-09 来源: 国际新闻

前言

本文引用了python的爬虫学习实践,这意味着提供个人学习,而不是将本文的内容用于商业操作和非法业务。

在学习了本文的内容之后,读者将会了解到爬行网站的基本概念、python的基本语法以及集成其他第三方库的使用的熟练程度。

2先决条件

先决条件,python基本语法,请求基本操作,心理学2基本操作,美容组基本操作,时间基本使用;除了没有时间完成写作的基本语法知识搜索者外,其余的可以在知识搜索者

3网页分析

福州天气地址

3.1页数据和表格构建

一栏中找到,如上图所示,它可以非常详细地知道所需的数据时间、星期、天气状况、温度和风向。基于此,我们需要以下语句来构建表格(福州是由城市知识搜索者在这里指定的,城市可以根据地址后缀随意切换,这相当于学习抓取福州的天气预报,并且所有的城市天气预报的天气网站都有一个模式)

3.2 html document analysis

打开开发工具,或者F12,检查html代码,然后用页面元素的数量点击3.1中图片所示的网页位置;

你可以找到一个非常清晰的页面结构

首先,第一个标签的ul属性类是WEEKul标签中有7个li标签。每个li标签包含一个B标签(储存时间)和一个跨度标签(储存周);以下标签是类似的结。

基本思想如下:

使用美观组通过属性区分查找ul标签

在ul下查找所有li标签

提取li标签文本或在li标签下查找所有B和span标签,然后提取标签文本

四个详细步骤

4.1公共代码部分

公共代码是使用请求将ur转换为html文本;这里的分析图书馆不够完善。读者可以使用lxml,这简化了为知识寻求者安装虚拟环境的问题。第二,将数据插入数据库的操作;

4.2获取时间和周

查找ul标签,类别为周

查找ul标签下的所有li标签

使用两个列表存储日期和周

遍历Li标签以获取B标签中的文本和span标签中的文本

原因时间模块以标准时间处理

存储时间和列表中的周, 打印

Output

4.2 Get Weather

Find ul标签,属性类别为txt txt2查找ul标签下的所有li标签,并提升文本以存储在列表中

Output

Output

Extraction Ideas类似于

Output

Output

此处的注意点是取第二个ul,它最初与ul针对天气条件的属性一致; 提取的想法是相似的。

Output

Output

经过一个范围的内置板循环遍历读取每个列表组装成字典入库

Output

Output

整码如下。知识探索者预先提取所有要列出的数据,然后通过遍历列表来组装字典数据仓库;

新闻排行
  1. 适应改革新形势谋求教育新发展采访李一宁CPPCC常委、北京大学李一宁教授。记者宗和在采访中说,随着城市化?

    适应改革新形势谋求教育新发展采访李一宁CPPCC常委、北京大学李一宁教授。记者宗和在采访中说,随着城市化?...

  2. 2018年12月31日下午,宝丰县首届“群众食品杯”足球邀请赛在宝丰二号高足球场圆满结束。本次比赛由宝丰县体

    2018年12月31日下午,宝丰县首届“群众食品杯”足球邀请赛在宝丰二号高足球场圆满结束。本次比赛由宝丰县体...

  3. 巴西货币雷亚尔兑美元汇率跌至创纪录低点,并可能进一步下跌。巴西资本市场的短期动荡仍在继续,投资者有强

    巴西货币雷亚尔兑美元汇率跌至创纪录低点,并可能进一步下跌。巴西资本市场的短期动荡仍在继续,投资者有强...

  4. 广东的豆类蔬菜主要包括豆、豇豆(豆)、甜豆和荷兰豆。豆科蔬菜富含营养、蛋白质、碳水化合物、维生素和矿物

    广东的豆类蔬菜主要包括豆、豇豆(豆)、甜豆和荷兰豆。豆科蔬菜富含营养、蛋白质、碳水化合物、维生素和矿物...

  5. 原标题:郭台铭宣布退出国民党鸿海股价上涨2%郭台铭台湾China.com,9月12日据台湾“中央通讯社”报道,鸿海?

    原标题:郭台铭宣布退出国民党鸿海股价上涨2%郭台铭台湾China.com,9月12日据台湾“中央通讯社”报道,鸿海?...

  6. 新浪财经讯,11月21日:复星国际和SOHO中国上海外滩8-1号项目的股权纠纷再次掀起轩然大波。搜狐中国董事长潘

    新浪财经讯,11月21日:复星国际和SOHO中国上海外滩8-1号项目的股权纠纷再次掀起轩然大波。搜狐中国董事长潘...

  7. 薄荷甘草茶具有清热夏热、清凉解毒、发汗解表的功效,对头痛、红眼、咽喉痛、风热感冒等疾病有很好的疗效。

    薄荷甘草茶具有清热夏热、清凉解毒、发汗解表的功效,对头痛、红眼、咽喉痛、风热感冒等疾病有很好的疗效。...

  8. 美国国防部长斯珀(照片:路透社)海外网1月13日-当地时间1月12日,美国国防部长马克埃斯珀明确表示,当美国总

    美国国防部长斯珀(照片:路透社)海外网1月13日-当地时间1月12日,美国国防部长马克埃斯珀明确表示,当美国总...

  9. 近年来,吉林省长春市农业发展银行双阳区支行实施了“三到位”政策,通过“三到位”政策的实施,即敬业精神

    近年来,吉林省长春市农业发展银行双阳区支行实施了“三到位”政策,通过“三到位”政策的实施,即敬业精神...

  10. (记者赖黎明)近日,奉贤区学校街道办事处在区教育局召开会议。会议的主题是“完善学校周边综合安全管理机制

    (记者赖黎明)近日,奉贤区学校街道办事处在区教育局召开会议。会议的主题是“完善学校周边综合安全管理机制...

友情链接