现在从消息队列接收消息,然后写入文件。每小时写一个,是批量写入。但是出现个问题,每次写的新文件开头都有一些应该属于上个小时得数据,消息体有time。如何保证所有消息都严格写入自己小时得文件。现在想到的是将批量写入的buffer按小时区分,Map<hour,buffer>,一个buffer对应一个小时,以buffer 对应的小时字段生成文件名,这样就保证每个buffer 里的数据都属于自己的文件。还有其他更好的方法吗?
文件在小时整点生成,每个消息都带上各自的时间戳,匹配写
感觉你这个问题可能有以下几个原因造成的:
producer重复发送了消息
mq重复发送了消息给consumer
前一小时consumer没有告知mq已经消费消息,导致后一个小时mq又发送了消息
参考资料:
duplicated-messages-on-activemq
avoiding-duplicated-messages-on-jms-activemq
duplicate-detection
文件在小时整点生成,每个消息都带上各自的时间戳,匹配写
感觉你这个问题可能有以下几个原因造成的:
producer重复发送了消息
mq重复发送了消息给consumer
前一小时consumer没有告知mq已经消费消息,导致后一个小时mq又发送了消息
参考资料:
duplicated-messages-on-activemq
avoiding-duplicated-messages-on-jms-activemq
duplicate-detection