потоковая передача kafka: java.nio.file.DirectoryNotEmptyException

У нас возникла проблема с удалением каталога состояний в потоковом приложении Kafka. Мы запускаем приложение на собственной контейнерной платформе.

Мы будем очень признательны за понимание этого вопроса.

Журнал исключения:

2018-09-18 09: 26: 09.112 INFO 1 --- [5-CleanupThread] oakspinternals.StateDirectory: stream-thread [ApplicationName-1ae22d38-32d3-451a-b039-372c79b2e6a5-CleanupThread] Удаление каталога устаревшего состояния 2_1 для задачи 2_1 по истечении 601112 мсек (задержка очистки 600000 мсек). 2018-09-18 09: 26: 09.116 ОШИБКА 1 --- [5-CleanupThread] o.a.k.s.p.internals.StateDirectory: stream-thread [ApplicationName-1ae22d38-32d3-451a-b039-372c79b2e6a5-CleanupThread] Не удалось удалить каталог состояний.

java.nio.file.DirectoryNotEmptyException: / tmp / ApplicationName / ApplicationName / 2_1 в sun.nio.fs.UnixFileSystemProvider.implDelete (UnixFileSystemProvider.java:242) ~ [na: 1.8.0_161] в sun.nio.fs.Abstract. удалить (AbstractFileSystemProvider.java:103) ~ [na: 1.8.0_161] в java.nio.file.Files.delete (Files.java:1126) ~ [na: 1.8.0_161] в org.apache.kafka.common. utils.Utils $ 2.postVisitDirectory (Utils.java:740) ~ [kafka-clients-2.0.0.jar! /: na] в org.apache.kafka.common.utils.Utils $ 2.postVisitDirectory (Utils.java:723 ) ~ [kafka-clients-2.0.0.jar! /: na] в java.nio.file.Files.walkFileTree (Files.java:2688) ~ [na: 1.8.0_161] в java.nio.file.Files .walkFileTree (Files.java:2742) ~ [na: 1.8.0_161] в org.apache.kafka.common.utils.Utils.delete (Utils.java:723) ~ [kafka-clients-2.0.0.jar! /: na] в org.apache.kafka.streams.processor.internal s.StateDirectory.cleanRemovedTasks (StateDirectory.java:287) [kafka-streams-2.0.0.jar! /: na] в org.apache.kafka.streams.processor.internals.StateDirectory.cleanRemovedTasks (StateDirectory.java:250) [kafka-streams-2.0.0.jar! /: na] в org.apache.kafka.streams.KafkaStreams $ 2.run (KafkaStreams.java:800) [kafka-streams-2.0.0.jar! /: na] в java.util.concurrent.Executors $ RunnableAdapter.call (Executors.java:511) [na: 1.8.0_161] в java.util.concurrent.FutureTask.runAndReset (FutureTask.java:308) [na: 1.8.0_161] в java.util.concurrent.ScheduledThreadPoolExecutor $ ScheduledFutureTask.access $ 301 (ScheduledThreadPoolExecutor.java:180) [na: 1.8.0_161] в java.util.concurrent.ScheduledThreadPoolExecutor $ ScheduledRoduleFutureTask. .0_161] в java.util.concurrent.ThreadPoolExecutor.runWorker (ThreadPoolExecutor.java:1149) [na: 1.8.0_161] в java.util.concurrent.ThreadPoolExecutor $ Worker.run (ThreadPoolExecutor.java:624) [na: 1.8.0_161] в java.lang.Thread.run (Thread.java:748) [na: 1.8.0_161]


person Bhavesh Patel    schedule 24.09.2018    source источник
comment
Какую версию ты используешь? Возможно, вы попали в issues.apache.org/jira/browse/KAFKA-6647 или связанный с этим баг?   -  person Matthias J. Sax    schedule 26.09.2018
comment
Привет, Матиас, мы используем версию kafka-stream 2.0.0. Я видел issues.apache.org/jira/browse/KAFKA-6647 и проверю, поможет ли это в нашем случае. Спасибо   -  person Bhavesh Patel    schedule 27.09.2018
comment
@BhaveshPatel, я столкнулся с той же проблемой. Вы когда-нибудь ее решали?   -  person Chris    schedule 09.06.2019
comment
Я также вижу эту проблему в Windows   -  person mbluke    schedule 08.08.2019
comment
У меня такая же проблема в Windows, в то время как стек kafka находится в контейнере докеров, а служба находится вне (на основе Spring). Вы найдете решение для нее?   -  person kmualem    schedule 03.12.2019