花瓣图片的加载使用了延迟加载的技术,源代码只能下载20多张图片,修改后基本能下载所有的了,只是速度有点慢,后面再优化下
import urllib, urllib2, re, sys, os,requests path=r"C:\wqa\beautify" url = 'http://huaban.com/favorite/beauty' #http://huaban.com/explore/zhongwenlogo/"User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2490.71 Safari/537.36"} count=0 def urlHandle(url): req = urllib2.Request(url, headers=i_headers) html = urllib2.urlopen(req).read() reg = re.compile(r'"pin_id":(\d+),.+"file":{"farm":"farm1", "bucket":"hbimg",.+"key":"(.*",.+"type":"image/(.*"', re.S) groups = re.findall(reg, html) return groups def imgHandle(groups): if groups: for att in groups: pin_id = att[0] att_url = att[1] + '_fw236' img_type = att[2] img_url = 'http://img.hb.aicdn.com/' + att_url r = requests.get(img_url) with open(path + att_url + '.' + img_type, 'wb') as fd: for chunk in r.iter_content(): fd.write(chunk) groups = urlHandle(url) imgHandle(groups) while(groups): count+=1 print count pin_id = groups[-1][0] print pin_id urltemp = url+'/?max=' + str(pin_id) + '&limit=' + str(20) + '&wfl=1' print(urltemp) groups = urlHandle(urltemp) #print groups imgHandle(groups)
标签:
python图片爬虫
免责声明:本站文章均来自网站采集或用户投稿,网站不提供任何软件下载或自行开发的软件!
如有用户或公司发现本站内容信息存在侵权行为,请邮件告知! 858582#qq.com
内蒙古资源网 Copyright www.nmgbbs.com
暂无“python制作花瓣网美女图片爬虫”评论...
RTX 5090要首发 性能要翻倍!三星展示GDDR7显存
三星在GTC上展示了专为下一代游戏GPU设计的GDDR7内存。
首次推出的GDDR7内存模块密度为16GB,每个模块容量为2GB。其速度预设为32 Gbps(PAM3),但也可以降至28 Gbps,以提高产量和初始阶段的整体性能和成本效益。
据三星表示,GDDR7内存的能效将提高20%,同时工作电压仅为1.1V,低于标准的1.2V。通过采用更新的封装材料和优化的电路设计,使得在高速运行时的发热量降低,GDDR7的热阻比GDDR6降低了70%。