首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  Redis

spark(1.6)可以连接 redis 官方原生集群么(redis 3.0.0 以上版本)?

  •  
  •   anonymoustian · 103 天前 · 609 次点击
    这是一个创建于 103 天前的主题,其中的信息可能已经有所发展或是发生改变。

    现在 redis 服务器集群是 6 台机器,3 主 3 从,采用的是 Redis 的官方集群方案(slot)。

    我想问一下可以直接批量写入 RDD 到 Redis 集群中吗?有没有类似的中间件或者 jar 包,如果写入集群的话,连接的是单点还是集群(多个 IP )机器? 是 spark 做 CRC 的分片还是让 Redis 自己来做?

    而且 spark 算出的 rdd 数目巨大,是否会有性能上的影响?最好可以批量导入。

    有朋友做过类似的开发没,不吝赐教!感谢!

    3 回复  |  直到 2018-03-14 13:49:34 +08:00
        1
    kex0916   103 天前
        2
    kex0916   103 天前
    刚刚看了下,这个的 spark 版本有点老,redis 版本 v2.8.12 and v3.0.3,scala2.10 ,可能版本不太合适了
        3
    anonymoustian   103 天前
    @kex0916 它这上面说 Minimal requirements,我再仔细看看
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   鸣谢   ·   2791 人在线   最高记录 3541   ·  
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.1 · 19ms · UTC 10:01 · PVG 18:01 · LAX 03:01 · JFK 06:01
    ♥ Do have faith in what you're doing.
    沪ICP备16043287号-1