简易爬虫
低配版
from urllib.request import urlopen
def spider(url):
res=urlopen(url)#打开链接(发出请求),获取响应内容
data=res.read()#读取响应内容
print(data.decode())#打印响应内容
spider("http://www.zhanghuan.top")#传入的url一定要加上http
结果:
<!DOCTYPE html>
<html>
<head>
<meta charset="UTF-8">
<title>张欢个人博客</title>
<meta name="keywords" content="个人博客,张欢个人博客,张欢" />
<meta name="description" content="张欢个人博客,90后互联网从业人员,业余技术爱好者。" />
<link rel="stylesheet" href="/static/css/bootstrap.css">……
</html>
Process finished with exit code 0
高配版
```python
from urllib.request import urlopen
import gevent
def spider(url):
res=urlopen(url)#打开链接(发出请求),获取响应内容
data=res.read()#读取响应内容
print(data.decode())#打印响应内容
spider("http://www.zhanghuan.top")#传入的url一定要加上http
gevent.joinall([
gevent.spawn(spider,"http://www.zhanghuan.top"),
gevent.spawn(spider,"http://www.baidu.com")
])
#利用协程实现并发
```
还没有评论,来说两句吧
