Python标准库urllib2伪装http_referer和user-agent访问

发表时间:2015-11-30 14:55 | 分类:Python | 浏览:3,801 次

前面博客介绍了python标准库urllib2的基本使用和linux系统curl命令伪装http_referer和user-agent访问,不懂的可以点击链接再看下。这篇文章继续以伪装为目的,不过完全使用urllib2来实现。步骤如下,先创建request对象,然后修改request对象以增加header信息,最后把request对象传递给urllib2的urlopen方法。

代码如下:

#coding:utf-8

import urllib2

def visitWebsite(url,timeout=60):
    req=urllib2.Request(url)
    req.add_header('Referer', 'https://zhangnq.com/')
    req.add_header('User-Agent',"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/31.0.1650.63 Safari/537.36")
    
    try:
        response=urllib2.urlopen(req,timeout=timeout)
        print "Url: %s\t%s" % (url,response.getcode())
    except urllib2.URLError as e:
        if hasattr(e, 'code'):
            print "Url: %s\t%s" % (url,e.code)
        elif hasattr(e, 'reason'):
            print "Url: %s\t%s" % (url,'error')
    except:
        pass
    finally:
        if response:
            response.close()

if __name__ == '__main__':
    urls=[
        'http://www.baidu.com/',
        'http://www.qq.com/',
    ]
    for url in urls:
        visitWebsite(url)

这个伪装一般做网站采集可能会用到。好了,就是那么简单。

参考网址:https://zhangnq.com/2249.html

本文标签:

本文链接:https://www.sijitao.net/2289.html

欢迎您在本博客中留下评论,如需转载原创文章请注明出处,谢谢!

已经有2个回复
Comment (2)
Trackbacks (0)
  1. 大学问社区  ( 2015.12.2 15:25 ) : #-9

    :grin: 学习下!

  2. 工业铝型材  ( 2015.12.2 16:39 ) : #-8

    非常不错哦 耶? 大学问?怎么又看到你了。。。

  1. 还没有Trackbacks
一键脚本 博客历程 留言联系 文章归档 网站地图 谷歌地图
Copyright © 2010-2024 章郎虫博客 All Rights Reserved.