storm jar接收程序,如果指定了forceFromStart=false,則從最新的數(shù)據(jù)開(kāi)始讀,最新是指多長(zhǎng)時(shí)間的,有具體的參數(shù)設(shè)置
如果指定了為true,則從最老的數(shù)據(jù)開(kāi)始消費(fèi)。
如何查看目前的消費(fèi)者是否已經(jīng)讀到最新的數(shù)據(jù):
kafka-run-class.sh kafka.tools.ConsumerOffsetChecker
#kafka查看topic各個(gè)分區(qū)的消息的信息
kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --group ** --topic *** --zookeeper *:2181,*:2181,*:2181/kafka
--zookeeper 那里是指kafka在zk中的path,即使zk有多個(gè)機(jī)器,如果在其中一臺(tái)上執(zhí)行此命令,顯示連接不上,只寫(xiě)那臺(tái)機(jī)器的地址端口+kafka的path即可
指定自己的分組 自己消費(fèi)的topic會(huì)顯示kafka總共有多少數(shù)據(jù),以及已經(jīng)被消費(fèi)了多少條
結(jié)果:
GROUP TOPIC PID OFFSET LOGSIZE LAG
消費(fèi)者組 話題id 分區(qū)id 當(dāng)前已消費(fèi)的條數(shù) 總條數(shù) 未消費(fèi)的條數(shù)
注意:以kafkaspout類(lèi)作為消費(fèi)者去讀kafka數(shù)據(jù),相當(dāng)于直接從kafka server上取文件,沒(méi)有消費(fèi)者組的概念
每次讀的數(shù)據(jù)存在自己zk的offet中
所以不能通過(guò)上述命令查看
本站僅提供存儲(chǔ)服務(wù),所有內(nèi)容均由用戶發(fā)布,如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容,請(qǐng)
點(diǎn)擊舉報(bào)。