一起学爬虫——通过爬取豆瓣电影top250学习requests库的使用 (2)

class为start的div标签中包含的是电影的星级和评分,上图黑色框部分。提取星级和评分的规则和提取电影排名、图片等信息类似,最后提取整个电影信息的正则表达式为:

regix = '<div>.*?<div>.*?<em>(.*?)</em>.*?<img.*?src="(.*?)">.*?divhd".*?class="title">(.*?)</span>.*?class="other">(.*?)</span>.*?<div>.*?<p>(.*?)<br>(.*?)</p>.*?class="star.*?<span></span>.*?span.*?average">(.*?)</span>'

提取一页中所有电影信息的代码如下:

import requests import re import json headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 SE 2.X MetaSr 1.0"} url = 'https://movie.douban.com/top250?start=0&filter=' proxies = { "http": "http://123.207.96.189:80" } response = requests.get(url, proxies = proxies,headers=headers) text = response.text regix = '<div>.*?<div>.*?<em>(.*?)</em>.*?<img.*?src="(.*?)">.*?divhd".*?class="title">(.*?)</span>.*?class="other">(.*?)</span>.*?<div>.*?<p>(.*?)<br>(.*?)</p>.*?class="star.*?<span></span>.*?span.*?average">(.*?)</span>' results = re.findall(regix,text,re.S) for item in results: print(item)

结果为:

('1', 'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p480747492.jpg', '肖申克的救赎', '&nbsp;/&nbsp;月黑高飞(港) / 刺激1995(台)', '\n 导演: 弗兰克·德拉邦特 Frank Darabont&nbsp;&nbsp;&nbsp;主演: 蒂姆·罗宾斯 Tim Robbins /...', '\n 1994&nbsp;/&nbsp;美国&nbsp;/&nbsp;犯罪 剧情\n ', 'rating5-t', '9.6') ('2', 'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p1910813120.jpg', '霸王别姬', '&nbsp;/&nbsp;再见,我的妾 / Farewell My Concubine', '\n 导演: 陈凯歌 Kaige Chen&nbsp;&nbsp;&nbsp;主演: 张国荣 Leslie Cheung / 张丰毅 Fengyi Zha...', '\n 1993&nbsp;/&nbsp;中国大陆 香港&nbsp;/&nbsp;剧情 爱情 同性\n ', 'rating5-t', '9.6') ('3', 'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p511118051.jpg', '这个杀手不太冷', '&nbsp;/&nbsp;杀手莱昂 / 终极追杀令(台)', '\n 导演: 吕克·贝松 Luc Besson&nbsp;&nbsp;&nbsp;主演: 让·雷诺 Jean Reno / 娜塔莉·波特曼 ...', '\n 1994&nbsp;/&nbsp;法国&nbsp;/&nbsp;剧情 动作 犯罪\n ', 'rating45-t', '9.4') ('4', 'https://img1.doubanio.com/view/photo/s_ratio_poster/public/p510876377.jpg', '阿甘正传', '&nbsp;/&nbsp;福雷斯特·冈普', '\n 导演: Robert Zemeckis&nbsp;&nbsp;&nbsp;主演: Tom Hanks / Robin Wright Penn / Gary Sinise', '\n 1994&nbsp;/&nbsp;美国&nbsp;/&nbsp;剧情 爱情\n ', 'rating45-t', '9.4') ('5', 'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p510861873.jpg', '美丽人生', '&nbsp;/&nbsp;一个快乐的传说(港) / Life Is Beautiful', '\n 导演: 罗伯托·贝尼尼 Roberto Benigni&nbsp;&nbsp;&nbsp;主演: 罗伯托·贝尼尼 Roberto Beni...', '\n 1997&nbsp;/&nbsp;意大利&nbsp;/&nbsp;剧情 喜剧 爱情 战争\n ', 'rating5-t', '9.5') ('6', 'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p457760035.jpg', '泰坦尼克号', '&nbsp;/&nbsp;铁达尼号(港 / 台)', '\n 导演: 詹姆斯·卡梅隆 James Cameron&nbsp;&nbsp;&nbsp;主演: 莱昂纳多·迪卡普里奥 Leonardo...', '\n 1997&nbsp;/&nbsp;美国&nbsp;/&nbsp;剧情 爱情 灾难\n ', 'rating45-t', '9.3') ('7', 'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p1606727862.jpg', '千与千寻', '&nbsp;/&nbsp;神隐少女(台) / Spirited Away', '\n 导演: 宫崎骏 Hayao Miyazaki&nbsp;&nbsp;&nbsp;主演: 柊瑠美 Rumi Hîragi / 入野自由 Miy...', '\n 2001&nbsp;/&nbsp;日本&nbsp;/&nbsp;剧情 动画 奇幻\n ', 'rating45-t', '9.3') ('8', 'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p492406163.jpg', '辛德勒的名单', '&nbsp;/&nbsp;舒特拉的名单(港) / 辛德勒名单', '\n 导演: 史蒂文·斯皮尔伯格 Steven Spielberg&nbsp;&nbsp;&nbsp;主演: 连姆·尼森 Liam Neeson...', '\n 1993&nbsp;/&nbsp;美国&nbsp;/&nbsp;剧情 历史 战争\n ', 'rating5-t', '9.5') ('9', 'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p513344864.jpg', '盗梦空间', '&nbsp;/&nbsp;潜行凶间(港) / 全面启动(台)', '\n 导演: 克里斯托弗·诺兰 Christopher Nolan&nbsp;&nbsp;&nbsp;主演: 莱昂纳多·迪卡普里奥 Le...', '\n 2010&nbsp;/&nbsp;美国 英国&nbsp;/&nbsp;剧情 科幻 悬疑 冒险\n ', 'rating45-t', '9.3') ('10', 'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p1461851991.jpg', '机器人总动员', '&nbsp;/&nbsp;瓦力(台) / 太空奇兵·威E(港)', '\n 导演: 安德鲁·斯坦顿 Andrew Stanton&nbsp;&nbsp;&nbsp;主演: 本·贝尔特 Ben Burtt / 艾丽...', '\n 2008&nbsp;/&nbsp;美国&nbsp;/&nbsp;爱情 科幻 动画 冒险\n ', 'rating45-t', '9.3') ('11', 'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p524964016.jpg', '忠犬八公的故事', '&nbsp;/&nbsp;忠犬小八(台) / 秋田犬八千(港)', '\n 导演: 莱塞·霍尔斯道姆 Lasse Hallström&nbsp;&nbsp;&nbsp;主演: 理查·基尔 Richard Ger...', '\n 2009&nbsp;/&nbsp;美国 英国&nbsp;/&nbsp;剧情\n ', 'rating45-t', '9.3') ('12', 'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p579729551.jpg', '三傻大闹宝莱坞', '&nbsp;/&nbsp;三个傻瓜(台) / 作死不离3兄弟(港)', '\n 导演: 拉库马·希拉尼 Rajkumar Hirani&nbsp;&nbsp;&nbsp;主演: 阿米尔·汗 Aamir Khan / 卡...', '\n 2009&nbsp;/&nbsp;印度&nbsp;/&nbsp;剧情 喜剧 爱情 歌舞\n ', 'rating45-t', '9.2') ('13', 'https://img1.doubanio.com/view/photo/s_ratio_poster/public/p511146807.jpg', '海上钢琴师', '&nbsp;/&nbsp;声光伴我飞(港) / 一九零零的传奇', '\n 导演: 朱塞佩·托纳多雷 Giuseppe Tornatore&nbsp;&nbsp;&nbsp;主演: 蒂姆·罗斯 Tim Roth / ...', '\n 1998&nbsp;/&nbsp;意大利&nbsp;/&nbsp;剧情 音乐\n ', 'rating45-t', '9.2') ('14', 'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p1910824951.jpg', '放牛班的春天', '&nbsp;/&nbsp;歌声伴我心(港) / 唱诗班男孩', '\n 导演: 克里斯托夫·巴拉蒂 Christophe Barratier&nbsp;&nbsp;&nbsp;主演: 杰拉尔·朱诺 Géra...', '\n 2004&nbsp;/&nbsp;法国 瑞士 德国&nbsp;/&nbsp;剧情 音乐\n ', 'rating45-t', '9.2') ('15', 'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2455050536.jpg', '大话西游之大圣娶亲', '&nbsp;/&nbsp;西游记完结篇仙履奇缘 / 齐天大圣西游记', '\n 导演: 刘镇伟 Jeffrey Lau&nbsp;&nbsp;&nbsp;主演: 周星驰 Stephen Chow / 吴孟达 Man Tat Ng...', '\n 1995&nbsp;/&nbsp;香港 中国大陆&nbsp;/&nbsp;喜剧 爱情 奇幻 冒险\n ', 'rating45-t', '9.2') ('16', 'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p479682972.jpg', '楚门的世界', '&nbsp;/&nbsp;真人Show(港) / 真人戏', '\n 导演: 彼得·威尔 Peter Weir&nbsp;&nbsp;&nbsp;主演: 金·凯瑞 Jim Carrey / 劳拉·琳妮 Lau...', '\n 1998&nbsp;/&nbsp;美国&nbsp;/&nbsp;剧情 科幻\n ', 'rating45-t', '9.2') ('17', 'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2190556185.jpg', '教父', '&nbsp;/&nbsp;Mario Puzo&#39;s The Godfather', '\n 导演: 弗朗西斯·福特·科波拉 Francis Ford Coppola&nbsp;&nbsp;&nbsp;主演: 马龙·白兰度 M...', '\n 1972&nbsp;/&nbsp;美国&nbsp;/&nbsp;剧情 犯罪\n ', 'rating45-t', '9.2') ('18', 'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2539252713.jpg', '龙猫', '&nbsp;/&nbsp;邻居托托罗 / 邻家的豆豆龙', '\n 导演: 宫崎骏 Hayao Miyazaki&nbsp;&nbsp;&nbsp;主演: 日高法子 Noriko Hidaka / 坂本千夏 Ch...', '\n 1988&nbsp;/&nbsp;日本&nbsp;/&nbsp;动画 奇幻 冒险\n ', 'rating45-t', '9.1') ('19', 'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2206088801.jpg', '星际穿越', '&nbsp;/&nbsp;星际启示录(港) / 星际效应(台)', '\n 导演: 克里斯托弗·诺兰 Christopher Nolan&nbsp;&nbsp;&nbsp;主演: 马修·麦康纳 Matthew Mc...', '\n 2014&nbsp;/&nbsp;美国 英国 加拿大 冰岛&nbsp;/&nbsp;剧情 科幻 冒险\n ', 'rating45-t', '9.2') ('20', 'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p1363250216.jpg', '熔炉', '&nbsp;/&nbsp;无声呐喊(港) / 漩涡', '\n 导演: 黄东赫 Dong-hyuk Hwang&nbsp;&nbsp;&nbsp;主演: 孔侑 Yoo Gong / 郑有美 Yu-mi Jeong ...', '\n 2011&nbsp;/&nbsp;韩国&nbsp;/&nbsp;剧情\n ', 'rating45-t', '9.2') ('21', 'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p2233971046.jpg', '无间道', '&nbsp;/&nbsp;Infernal Affairs / Mou gaan dou', '\n 导演: 刘伟强 / 麦兆辉&nbsp;&nbsp;&nbsp;主演: 刘德华 / 梁朝伟 / 黄秋生', '\n 2002&nbsp;/&nbsp;香港&nbsp;/&nbsp;剧情 犯罪 悬疑\n ', 'rating45-t', '9.1') ('22', 'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p1312700744.jpg', '当幸福来敲门', '&nbsp;/&nbsp;寻找快乐的故事(港) / 追求快乐', '\n 导演: 加布里尔·穆奇诺 Gabriele Muccino&nbsp;&nbsp;&nbsp;主演: 威尔·史密斯 Will Smith ...', '\n 2006&nbsp;/&nbsp;美国&nbsp;/&nbsp;剧情 传记 家庭\n ', 'rating45-t', '9.0') ('23', 'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p1454261925.jpg', '触不可及', '&nbsp;/&nbsp;闪亮人生(港) / 逆转人生(台)', '\n 导演: 奥利维·那卡什 Olivier Nakache / 艾力克·托兰达 Eric Toledano&nbsp;&nbsp;&nbsp;主...', '\n 2011&nbsp;/&nbsp;法国&nbsp;/&nbsp;剧情 喜剧\n ', 'rating45-t', '9.2') ('24', 'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p663036666.jpg', '怦然心动', '&nbsp;/&nbsp;萌动青春 / 青春萌动', '\n 导演: 罗伯·莱纳 Rob Reiner&nbsp;&nbsp;&nbsp;主演: 玛德琳·卡罗尔 Madeline Carroll / 卡...', '\n 2010&nbsp;/&nbsp;美国&nbsp;/&nbsp;剧情 喜剧 爱情\n ', 'rating45-t', '9.0') ('25', 'https://img3.doubanio.com/view/photo/s_ratio_poster/public/p1963126880.jpg', '乱世佳人', '&nbsp;/&nbsp;飘', '\n 导演: 维克多·弗莱明 Victor Fleming / 乔治·库克 George Cukor&nbsp;&nbsp;&nbsp;主演: 费...', '\n 1939&nbsp;/&nbsp;美国&nbsp;/&nbsp;剧情 历史 爱情 战争\n ', 'rating45-t', '9.2')

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/wpgdpp.html