简易爬虫

2019-05-14 11:33:37阅读 50评论 0

低配版

    from urllib.request import urlopen  

    def spider(url):  
        res=urlopen(url)#打开链接(发出请求),获取响应内容  
        data=res.read()#读取响应内容  
        print(data.decode())#打印响应内容  

    spider("http://www.zhanghuan.top")#传入的url一定要加上http

结果:

    <!DOCTYPE html>  
    <html>  
    <head>  
    <meta charset="UTF-8">  
    <title>张欢个人博客</title>  
    <meta name="keywords" content="个人博客,张欢个人博客,张欢" />  
    <meta name="description" content="张欢个人博客,90后互联网从业人员,业余技术爱好者。" />  
    <link rel="stylesheet" href="/static/css/bootstrap.css">……

    </html>  


    Process finished with exit code 0

高配版

```python
from urllib.request import urlopen
import gevent

def spider(url):  
    res=urlopen(url)#打开链接(发出请求),获取响应内容  
    data=res.read()#读取响应内容  
    print(data.decode())#打印响应内容  

spider("http://www.zhanghuan.top")#传入的url一定要加上http  

gevent.joinall([  
    gevent.spawn(spider,"http://www.zhanghuan.top"),  
    gevent.spawn(spider,"http://www.baidu.com")  
])  
#利用协程实现并发

```

还没有评论,来说两句吧