Preguntas con etiqueta 'apache-kafka'

Numero de resultados: 758

0 votos
0 respuestas
Advertir log4j: No hay appenders hemos encontrado nada con logger (org.apache.kafka.clients.producer.ProducerConfig)

Estoy escribiendo un código en el que estoy tratando de producir mensajes a través de kafka y SBT. Se compila pero cuando se ejecuta de tanques de lastre separado, ten...

0 votos
0 respuestas
Filtrar mensajes repetidos En Kafka

PREFACIO: En nuestra organización estamos tratando de utilizar Kafka para resolver un problema que involucra cambios de captura en una base de datos Oracle y enviar a...

0 votos
0 respuestas
Kafka Tema no Compactación

Tenemos un tema Kafka con 25 particiones con los siguientes ajustes tema: delete.retention.ms=5000 cleanup.policy=compact compression.type=lz4 Tiene unos 10 mil mil...

0 votos
2 respuestas
servidor de kafka correr con los plugins 3 ª Parte adicionales para la recopilación de estadísticas, registro, etc.

Viniendo de fondo ActiveMQ. ActiveMQ utiliza un archivo de configuración XML de Spring para ejecutar el corredor y que puede inyectar ningún tipo de plugins 3 ª parte ...

1 voto
1 respuesta
Al utilizar @KafkaListener puedo obtener una referencia a la KafkaConsumer subyacente como yo quiero leer los endOffsets

Cuando usas @KafkaListener puedo obtener una referencia a la subyacente KafkaConsumer como yo quiero leer el endOffsets

0 votos
2 respuestas
Creación de lotes a partir de los registros de la encuesta en kafka

Tenemos un requisito para llevar a cabo las escrituras a granel a Elasticsearch. Nos gustaría saber si hay una manera mejor de procesamiento por lotes los datos y evit...

0 votos
3 respuestas
Apache cubo kyline streaming de acumulación de errores no caballetes de trabajo

Estoy siguiendo el tutorial para la generación de cubos de corriente Kylin Cubo de Transmisión (Kafka) Toda la propiedad se establece como se ha dicho en la página ...

-1 voto
1 respuesta
obtener el recuento de mensajes y último desplazamiento de cada partición del tema en Java

El uso de cliente de administración para comunicarse con Kafka en código Java. somos capaces de hacer todas las operaciones CRUD sobre el tema en particular. Nuestro n...

0 votos
2 respuestas
cuando utilizo misma clave, Kafka JDBC No conecte la publicación de los mensajes a una partición

Los mensajes que tienen la misma clave debe ir a la misma partición del tema, pero conector de fuente de Kafka JDBC es publicar el mensaje a diferentes particiones. H...

1 voto
1 respuesta
Opciones para acceder a la historia de Kafka transformación corriente?

Estoy construyendo una aplicación que debe recuperar la historia de las transformaciones de flujo para los consumidores en particular, en el supuesto de que no tiene a...

0 votos
0 respuestas
Chispa de los consumidores no lee los mensajes Kafka Scala

He definido consumidor chispa y la aplicación productor de Kafka. Sin embargo, los mensajes no fluyen en Spark. Así que no estoy seguro de dónde exactamente un problem...

-2 votos
1 respuesta
SNMP-CAMEL-KAFKA

Busco referencia donde puedo conseguir sencillo programa para enviar una captura SNMP tema Apache Kafka usando Apache Camel. Por favor, ayúdame si alguien puede expli...

0 votos
1 respuesta
Debezium conector para MySQL. El tema de historia db no se encuentra

Estoy usando el conector debezium para capturar los cambios de una base de datos MySQL y moverlo a Kafka. Estoy usando estibador. Un contenedor para MySQL, otro para e...

1 voto
0 respuestas
cómo recuperar desde un dispositivo Android/iOS a Kafka productor de chispa corriente API

Necesito guardar los datos del flujo de mayo Casandra DB usando la corriente de chispa Kafka. He implementado Kafka consumidores y productores conjunto y conectarlo a ...

1 voto
1 respuesta
kafka desfase de consumo de métricas JMX vs guión consumer-groups.sh

Estoy en el proceso de configuración de supervisión para los consumidores kafka y corredores. El seguimiento de los parámetros de servidor parece bastante trivial, per...

0 votos
0 respuestas
Cómo probar el rendimiento de compresión en kafka

He creado un servidor de Kafka en mi máquina Linux y con éxito publicar y utilizar los mensajes con y sin compresión (gzip). Necesito crear evidencia que muestra la ...

0 votos
2 respuestas
Conectar Kafka - JSON Converter - JDBC fregadero de conector - Tipo de columna JSON

caso de uso es para almacenar todo el mensaje (que es JSON) y la clave como un registro en la tabla que tiene dos columnas 'id' y 'datos'. La base de datos es Postgre...

1 voto
1 respuesta
Está bloqueando ReplyingKafkaTemplate?

Es ReplyingKafkaTemplate el bloqueo? Cualquier alternativa reactiva?

0 votos
0 respuestas
Kafka + Pyspark: Configuración fue suministrado pero no es una configuración conocida

Estoy tratando de leer una secuencia estructurada, la corriente se compone de estadísticas de ping: 64 bytes from vas.fractalanalytics.com (192.168.30.26): icmp_seq=1...

1 voto
0 respuestas
Sql chispa de streaming con Kafka en los datos JSON: desde_json función no es capaz de analizar JSON de varias líneas procedente de tema kafka

Aquí, estoy enviando los datos JSON para kafka del tema "prueba", dará el esquema para JSON, hacer alguna transformación e imprimirla en la consola. Aquí está el códig...

1 voto
0 respuestas
Configurar el servicio de pedidos Kafka en la red Hyperledger Tela construido con Hyperledger Compositor

Estoy escribiendo una aplicación en angular y utilicé el siguiente tutorial Compositor Hyperledger como guía: Hyperledger Tutorial Compositor desarrollador Todo fue ...

0 votos
0 respuestas
No se puede enviar la solicitud HTTP para el punto final del registro de esquema cuando mi aplicación productor se despliega en entorno de prueba

La excepción es Error al enviar solicitud HTTP al punto final: http: // kafkatestserver: 8081/sujetos/topicname/versiones Las propiedades son a continuación: schemaR...

0 votos
3 respuestas
Cómo incluir el valor de marca de tiempo kafka como columnas en la chispa estructuran en streaming?

Busco a la solución de agregación de valor de marca de tiempo de kafka a mi chispa esquema de streaming estructurado. He extraído el campo de valor de kafka y haciendo...

1 voto
2 respuestas
compactación Kafka para de-duplicación

Estoy tratando de entender cómo funciona la compactación Kafka y tienen la siguiente pregunta: ¿El kafka garantiza la unicidad de las claves de los mensajes almacenado...

0 votos
1 respuesta
Cuestión en la escritura de datos de Apache Kafka a archivo de texto

Mi configuración de entorno de desarrollo: Windows 10 Enterprise Edition, 16 GB de RAM, sistema operativo de 64 bits 2.81GHz. He instalado Virtual Box y la imagen de U...

0 votos
0 respuestas
Deserializar estructura del formato de Avro Kafka con from_avro función en Spark no funciona correctamente

solía to_avro serializar un campo de estructura de trama de datos en 'valor' y escribir a un tema kafka.Mi estructura tiene varios campos de cadena. Me probado y todo ...

0 votos
0 respuestas
Kafka corrientes de paquete de continuación de los datos de métrica

La aplicación recopila miles de métricas en un tema de Kafka primas métricas. El almacenamiento en formato RAW y ir a buscar a mostrar en la interfaz de usuario es int...

1 voto
1 respuesta
¿Tiene un hilo consumidor contra muchas particiones por tema en Kafka puede causar latencia?

Nuestra configuración kafka es el siguiente: 30 particiones por tema hilo 1 consumidor hemos configurado de esta manera para poder escalar en marcha en el futuro. ...

2 votos
2 respuestas
Kafka Streams - No se ha podido reequilibrar error

Tengo una aplicación básica Kafka corrientes que lee de una in_topic, Lleva a cabo un agregado de rodadura, y lleva a cabo una unión a publicar en una out_topic. Esto ...

0 votos
1 respuesta
Kafka tienda de estado local de varias particiones

Estoy usando API procesador de kafka y creo un almacén de estado de un tema de 3 particiones (tengo 3 corredores), tengo 1 instancia de flujo. Me pregunto para saber c...

0 votos
0 respuestas
Kafka a Kafka usando Gobblin detrás de la seguridad krb5

Todo funciona si se ejecuta un trabajo sencillo con Kafka a Kafka sin seguridad Kerberos. Necesito hacer igual pero detrás de seguridad Kerberos. Echar un vistazo a mi...

0 votos
1 respuesta
Usando KStreams combinar registros

Estoy trabajando en mi primer Kafka corriente usando Java y, esencialmente, estoy tratando de leer los registros de un tema y luego fusionar los valores de una serie d...

0 votos
1 respuesta
ConnectException: Conexión rechazada Kafka productor

He desplegado Kafka usando el timón y Minikube. Necesito construir un productor en Scala para ese corredor de la dirección IP y el anfitrión son obligatorios. He defin...

0 votos
1 respuesta
MicroBatchExecution Spark Transmisión estructurado con Kafka 2.4.0

Cuando trato de ejecutar Spark aplicación de streaming estructurado con la integración Kafka me siguen dando este error: ERROR MicroBatchExecution: Query [id = ff14fc...

0 votos
1 respuesta
Récord en Kafka 0.10 viene con contentType incluso después de usar app.spring.cloud.stream.bindings.output.producer.headerMode = prima

He creado un simple arroyo en primavera nube de flujo de datos en la que tengo http como fuente y como sumidero de kafka. stream create --definition "http --port=<...

0 votos
0 respuestas
Kafka Lag no disminuyendo en consumir utilizando Aplicación Spark

Estoy tratando de insertar datos de kafka a Cassandra usando 1 chispa nodo y 1 nodo Cassandra. Fragmento de mi código es el siguiente: - import com.datastax.spark.con...

0 votos
1 respuesta
Uno o más esquemas por tema cuando se utiliza el esquema de registro con Kafka, y Avro...?

Hay algo que estoy tratando de entender acerca de cómo los mensajes Avro-serializado son tratados por Kafka y esquema Registro - desde esta publicación He comprendido ...

1 voto
1 respuesta
temas Kafka se borran después de reinicio

Tengo un racimo kubernetes con una vaina empleado del zoológico y tres vainas corredor kafka. descriptor de despliegue de ZK es: apiVersion: extensions/v1beta1 kind:...

0 votos
1 respuesta
El aumento de rendimiento productor Kafka

encontré esto artículo mientras yo estaba trabajando en el cálculo de mi rendimiento productor. En ella Jay Kreps prevé para un solo productor 3x hilo y la replicación...

0 votos
0 respuestas
Kafka KTable - KTable unirse con la agregación dando TimeoutException: Caducidad 1 registro (s)

Esta es toda la topología representada por dos temas de entrada (inputTopic1 y inputTopic2) y un tema de salida (outputTopic). Primero creamos una tabla desde el prime...

1 2 3 4 5 6 7 8 ... 18 19 right