up 0 down

Tenemos un tema Kafka con 25 particiones con los siguientes ajustes tema:

delete.retention.ms=5000
cleanup.policy=compact
compression.type=lz4

Tiene unos 10 mil millones de registros en el mismo, a través de unos 13 segmentos por partición. El segmento más antiguo está a unos pocos meses de edad.

Los corredores se están ejecutando Plataforma confluentes 5.0.1 (Kafka 2,0) y se fijan para continuamente compacto:

# Ensure compaction runs continuously
log.cleaner.min.cleanable.ratio=0.00001

# Set a limit on compaction so there is bandwidth for regular activities
log.cleaner.io.max.bytes.per.second=100000000

log.segment.bytes=1073741824

Esto es por el poste confluentes relativa GDPR y compactación: GDPR y Kafka

El problema

El registro no es de compactación. 90% del tema debería haber sido retirado por ahora. Muchos de los registros tienen valores nulos, lo que debería despejar a cabo; el resto de los registros que espero ser eliminado tiene claves duplicadas.

No hay errores en el registro de los registros más limpias y lo puedo ver la limpieza de los segmentos posteriores en el tema.