阿里云租几台机器做采集,有现成调度方案吗?

打算租几台阿里云的服务器采集数据,好处是:多 IP ,带宽有保证。 如果抓取的网站封 IP ,限时间,就再开一台云服务器。 不知道有没有一个动态调度的方案,发现 IP 被封了,再开一台服务器获得新 IP ,再抓取。阿里云提供接口做这个吗?

18 条回复    2016-06-26 23:00:19 +08:00
fcicq
    1

fcicq   2016-06-26 14:23:12 +08:00

封到 /16 的 block 的话就抓瞎了, 明摆着人家能看到你是租的
l0wkey
    2

l0wkey   2016-06-26 14:24:06 +08:00

用弹性 IP
ZGLHHH
    3

ZGLHHH   2016-06-26 14:27:22 +08:00

为什么不买拨号 VPS 呢
rekulas
    4

rekulas   2016-06-26 14:52:45 +08:00

可以自己写脚本,封了自己申请 vps ,镜像复原

但是还是没有代理来的方便便宜,直接购买代理多线程抓取,也不怕封价格也便宜

lmaq
    5

lmaq   2016-06-26 16:04:25 +08:00

阿里云有 API
crab
    6

crab   2016-06-26 16:35:47 +08:00

@rekulas 现在代理不管付费还是免费,大部分都是失效快响应慢。这种用带 ADSL 拨号的 VPS 是*合适的。
odirus
    7

odirus   2016-06-26 18:01:20 +08:00

阿里的 API ? 反正我是挺讨厌的。

但他有个弹性伸缩服务,能够定时伸缩服务器数量。制作好镜像,然后从镜像中安装系统

但有个问题,他的*小时间粒度貌似是小时(前段时间验证的,现在不知道改没有)

可以考虑一下国内其他的云,秒级调度 + 弹性伸缩,不知道青云是不是?好奇,求解答

aheadlead
    8

aheadlead   2016-06-26 18:06:36 +08:00

@odirus 青云是的
boter
    9

boter   2016-06-26 18:28:45 +08:00 via iPhone

直接买袜子多好
nine
    10

nine   2016-06-26 18:35:14 +08:00

tangzhehao
    11

tangzhehao   2016-06-26 19:14:20 +08:00

@odirus 有谁家可以纵向弹性伸缩么?也就是增配不增量。
@aheadlead
aheadlead
    12

aheadlead   2016-06-26 19:28:44 +08:00

@tangzhehao 这连个 VPS 都可以吧… 青云肯定是可以的
zava
    13

zava   2016-06-26 19:58:17 +08:00   ❤️ 1

不用这么麻烦吧,直接买一些 http 代理,便宜量又足。当然可用率是要打点折扣的。
我用过的几个比较靠谱的 http 代理:

1. 快代理: http://www.kuaidaili.com/
2. 中国 IP 代理: http://cn-proxy.com/
3. 酷伯伯 HTTP 代理: http://www.coobobo.com

另外,如果都使用阿里云的 IP 进行采集,也不一定是 100%可靠,具体就不细说了……

tangzhehao
    14

tangzhehao   2016-06-26 19:59:48 +08:00

@aheadlead 不是,要自动的,就像弹性伸缩一样,譬如监控连报 3 次 CPU>85%,那就立马升配一核。
TangMonk
    15

TangMonk   2016-06-26 20:06:33 +08:00

青云关机只收取硬盘费用,不做 web 服务,只做采集的话可以定时关机,还是挺划得来的
odirus
    16

odirus   2016-06-26 20:49:01 +08:00   ❤️ 1

http://www.freeproxylists.net/zh/

这个代理质量高很多,快代理那个质量。。。买过,不会再买了。

aheadlead
    17

aheadlead   2016-06-26 21:59:33 +08:00

@tangzhehao 阿里云有个 ESS 可以动态加机器数量(横向扩展)
貌似也是支持你想要的纵向扩展 你可以试着去看看

其实这个不难写啊 如果只是临时用用的话 一个 python 脚本也就搞定了

moult
    18

moult   2016-06-26 23:00:19 +08:00

腾讯云,后台有弹性 IP ,可以随时变 IP~~