|
|
@@ -42,7 +42,7 @@
|
|
|
|
|
|
代理池的外部接口,由于现在这么代理池功能比较简单,花两个小时看了下[Flask](http://flask.pocoo.org/),愉快的决定用Flask搞定。功能是给爬虫提供get/delete/refresh等接口,方便爬虫直接使用。
|
|
|
<!--#### 功能图纸-->
|
|
|
-
|
|
|
+
|
|
|
|
|
|
### 3、代码模块
|
|
|
|
|
|
@@ -98,18 +98,19 @@ pip install -r requirements.txt
|
|
|
|
|
|
### 5、使用
|
|
|
定时任务启动后,会通过代理获取方法fetch所有代理放入数据库并验证。此后默认每20分钟会重复执行一次。定时任务启动大概一两分钟后,便可在SSDB中看到刷新出来的可用的代理:
|
|
|
- 
|
|
|
+
|
|
|
+
|
|
|
|
|
|
启动ProxyApi.py后即可在浏览器中使用接口获取代理,一下是浏览器中的截图:
|
|
|
|
|
|
index页面:
|
|
|
- 
|
|
|
+ 
|
|
|
|
|
|
get:
|
|
|
- 
|
|
|
+ 
|
|
|
|
|
|
get_all:
|
|
|
- 
|
|
|
+ 
|
|
|
|
|
|
|
|
|
爬虫中使用,如果要在爬虫代码中使用的话, 可以将此api封装成函数直接使用,例如:
|