首页   注册   登录
 Kcelone 最近的时间轴更新

Kcelone

V2EX 第 327132 号会员,加入于 2018-07-05 16:53:33 +08:00
Python 解决, mysql 表数据去重及导入失败方案设计
Python  •  Kcelone  •  11 天前  •  最后回复来自 Kcelone
10
celery 任务有时注册失败
  •  1   
    Python  •  Kcelone  •  13 天前  •  最后回复来自 Kcelone
    1
    将 Excel 上传网站并导入数据库,如何进行设计?
  •  2   
    Python  •  Kcelone  •  24 天前  •  最后回复来自 Kcelone
    34
    Kcelone 最近回复了
    @fortunezhang 使用场景就是 a,b,c 三个字段,每个字段都会有重复,但同时出现 a1,b1,c1 的情况只在数据库中存一次,加索引的话,要在 a,b,c 三个字段加联合唯一索引。
    @ccl945 是因为数据量大易造成数据库假死吗?
    @CharlieBrown 不如唯一索引。
    @kifile @zjlletian 可以使用唯一索引的,其实在刚开始的时候用的就是唯一索引,后面改成了 insert into select where...,然后又改成了 sqlalchemy 来操作,原因就是原生 sql 不易维护,且版本影响较大,比如关键字 ignore 在 5.7 之后就不再使用。
    如果有好的想法,欢迎留言,大家集思广益,多多提建议,一起搞个技术贴模块的讨论区间出来。鄙人建了个技术群欢迎加入,在这里一起搞事情。902788038
    13 天前
    回复了 Kcelone 创建的主题 Python celery 任务有时注册失败
    本地测试( postman 连接本地服务) OK,测试服务器测试就异常。
    想来想去,要搞个 Python 后端的技术研发群,群号:902788038,欢迎各位 Python 小伙伴加入,欢迎各位有志者在群里拉帮结派搞事情。
    25 天前
    回复了 lauix 创建的主题 Python celery 有失败任务,怎么回事?
    请问你这个后面是怎么解决的?我现在遇到个类似问题,就是任务有时候会注册不成功,redis 中返回结果是 "result": {
    "exc_type": "NotRegistered",
    "exc_message": "'tasks.excel.excel_to_db'"
    },请问知道是哪里出了问题吗?
    @saulshao 嗯,类似于“ cots_18_09_20_Sep_09_1537423865 ”这样的,记录日志的数据表里 key 字段,我就三个字段,id,key, msg,这个 key 在第一步上传处理时,已经产生,请求发出后,会将其返回,用以第二步中的日志查询。目前采用的就是这种方式了,以后有新的想法,再持续更新吧,感觉做的还是有点 low。
    @draguo 或着就是做成分步完成该需求,1. 文件上传,异步处理,2.查询产生的日志。
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   3124 人在线   最高记录 3762   ·  
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.1 · 9ms · UTC 09:59 · PVG 17:59 · LAX 02:59 · JFK 05:59
    ♥ Do have faith in what you're doing.
    沪ICP备16043287号-1