#导入urlopen函数fromurllib.requestimporturlopen#导入BeautifulSoupfrombs4importBeautifulSoupasbf#请求获取HTMLhtml=urlopen("https://www.baidu.com/")#用BeautifulSoup解析htmlobj=bf(html.read(),\u0026#39;html.parser\u0026#39;)#从标签head、title里提取标题title=obj.head.title#打印标题print(title)看看结果:
这样就搞定了,成功提取出百度首页的标题。
如果我想要下载百度首页logo图片呢?
第一步先获取该网页所有图片标签和url,这个可以使用BeautifulSoup的findAll方法,它可以提取包含在标签里的信息。
一般来说,HTML里所有图片信息会在“img”标签里,所以我们通过findAll("img")就可以获取到所有图片的信息了。
#导入urlopenfromurllib.requestimporturlopen#导入BeautifulSoupfrombs4importBeautifulSoupasbf#请求获取HTMLhtml=urlopen("https://www.baidu.com/")#用BeautifulSoup解析htmlobj=bf(html.read(),\u0026#39;html.parser\u0026#39;)#从标签head、title里提取标题title=obj.head.title#使用find_all函数获取所有图片的信息pic_info=obj.find_all(\u0026#39;img\u0026#39;)#分别打印每个图片的信息foriinpic_info:print(i)看看结果:
打印出了所有图片的属性,包括class(元素类名)、src(链接地址)、长宽高等。
其中有百度首页logo的图片,该图片的class(元素类名)是index-logo-src。
可以看到图片的链接地址在src这个属性里,我们要获取图片链接地址:
#导入urlopenfromurllib.requestimporturlopen#导入BeautifulSoupfrombs4importBeautifulSoupasbf#请求获取HTMLhtml=urlopen("https://www.baidu.com/")#用BeautifulSoup解析htmlobj=bf(html.read(),\u0026#39;html.parser\u0026#39;)#从标签head、title里提取标题title=obj.head.title#只提取logo图片的信息logo_pic_info=obj.find_all(\u0026#39;img\u0026#39;,class_="index-logo-src")#提取logo图片的链接logo_url="https:"+logo_pic_info#打印链接print(logo_url)结果:
获取地址后,就可以用urllib.urlretrieve函数下载logo图片了
#导入urlopenfromurllib.requestimporturlopen#导入BeautifulSoupfrombs4importBeautifulSoupasbf#导入urlretrieve函数,用于下载图片fromurllib.requestimporturlretrieve#请求获取HTMLhtml=urlopen("https://www.baidu.com/")#用BeautifulSoup解析htmlobj=bf(html.read(),\u0026#39;html.parser\u0026#39;)#从标签head、title里提取标题title=obj.head.title#只提取logo图片的信息logo_pic_info=obj.find_all(\u0026#39;img\u0026#39;,class_="index-logo-src")#提取logo图片的链接logo_url="https:"+logo_pic_info#使用urlretrieve下载图片urlretrieve(logo_url,\u0026#39;logo.png\u0026#39;)最终图片保存在\u0026#39;logo.png\u0026#39;
六、结语
本文用爬取百度首页标题和logo图片的案例,讲解了python爬虫的基本原理以及相关python库的使用,这是比较初级的爬虫知识,还有很多优秀的python爬虫库和框架等待后续去学习。
当然,掌握本文讲的知识点,你就已经入门python爬虫了。加油吧,少年!
5、赶紧行动吧!疫情特殊时期,很多人在家闲着,趁这个机会学习python爬虫,上班后也能继续学习python大法。
推荐阅读
-
云端之战@印度数千民工与警察起冲突:让我们回家,莫迪宣布这一“铁令”后
-
晓鑫聊时尚|掌握米色搭配,变得时尚!轻熟女人非常值得尝试的造型
-
潮帮sir|一个赘肉明显,一个美成焦点,邓文迪与小2岁苏慧伦穿同款百褶裙
-
人民日报客户端河北频道|走向我们的小康生活:美丽乡村小辛旺
-
-
刀郎|刀郎女儿出生40天妻子跑路,妻子:你那么穷,给不了我幸福
-
-
-
-
ZAKER生活|印尼大部分居民希望结束PSBB,恢复经济,民调显示
-
自己不愿意与亲戚来往,却让自己的孩子与亲戚来往去亲戚家吃饭 啥心理
-
-
纪念抗美援朝70周年大会 全体与会人员向在抗美援朝战争中英勇牺牲的烈士默哀
-
『河南一5A景区推出无人值守一元午餐』河南一5A景区连续四年推出无人值守一元午餐,收入不少反多
-
外设天下Mad Catz S.T.R.I.K.E.13键盘评测
-
#北京朝阳公园#北京朝阳公园:即日起所有区域禁止搭设帐篷
-
2021年腊月二十六宝宝取名大全 腊月二十六出生女孩名字
-
-
酒店住宿行业已损失超两千亿,后疫情时代的民宿如何走出重创?
-
「宋妈说育儿」宝宝不会畸形吗”孕妈的质问,引出保胎辛酸泪,“每天三针保胎剂