java - 消息队列处理临界时间问题
phpcn_u1582
phpcn_u1582 2017-05-17 10:08:07
0
2
607

现在从消息队列接收消息,然后写入文件。每小时写一个,是批量写入。但是出现个问题,每次写的新文件开头都有一些应该属于上个小时得数据,消息体有time。如何保证所有消息都严格写入自己小时得文件。现在想到的是将批量写入的buffer按小时区分,Map<hour,buffer>,一个buffer对应一个小时,以buffer 对应的小时字段生成文件名,这样就保证每个buffer 里的数据都属于自己的文件。还有其他更好的方法吗?

phpcn_u1582
phpcn_u1582

全部回复(2)
黄舟

文件在小时整点生成,每个消息都带上各自的时间戳,匹配写

我想大声告诉你

感觉你这个问题可能有以下几个原因造成的:

  1. producer重复发送了消息

  2. mq重复发送了消息给consumer

  3. 前一小时consumer没有告知mq已经消费消息,导致后一个小时mq又发送了消息

参考资料:

  1. duplicated-messages-on-activemq

  2. avoiding-duplicated-messages-on-jms-activemq

  3. duplicate-detection

热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板