Preguntas con etiqueta 'python-multiprocessing'

Numero de resultados: 190

9 votos
2 respuestas
de forma robusta para gestionar y matar a cualquier proceso

Estoy escribiendo código para experimentos llevados a cabo en paralelo. No tengo control sobre lo que hacen los experimentos, podrían abrir utilización subprocess.Pope...

0 votos
0 respuestas
Parada de los padres (subprocess.Process) la propagación de la señal a los niños (multiprocessing.Process) en Windows

proceso padre (subprocess.Process) Crea algunos niños con multiprocessing.Process. Y si el padre recibe SIGINT/SIGBREAK también ha propagado a los procesos de los niño...

1 voto
0 respuestas
Cómo utilizar el concepto de multiprocesamiento con la máscara RCNN?

Actualmente tengo un escenario en el que tengo un marco y estoy realizando una máscara rcnn en eso. Este proceso es bastante lento. Quiero usar multiprocesamiento en e...

1 voto
1 respuesta
Programa paralelo en Python no produce ninguna salida

Tengo una tarea sencilla. Una función particular necesita ser ejecutado por un gran número de archivos. Esta tarea se puede paralelizar fácilmente. Aquí está el códig...

0 votos
2 respuestas
dict compartida de multiprocessing.Lock en python3

¿Es posible tener un diccionario común de Esclusas en python3? Necesito múltiples cerraduras porque quiero proteger un diccionario de recursos compartidos. Cada recurs...

0 votos
1 respuesta
Multiprocesses no se ejecutarán en paralelo en Windows en Jupyter Notebook

Actualmente estoy trabajando en Windows en el cuaderno jupyter y han estado luchando para conseguir multiprocesamiento de trabajo. No se ejecuta todo de mi asíncrona e...

1 voto
0 respuestas
¿Cómo saber si una función apply_async ha comenzado o si todavía está en la cola con multiprocessing.Pool

Estoy usando multiprocessing.Pool de pitón y apply_async para llamar a un montón de funciones. ¿Cómo puedo saber si una función ha comenzado el procesamiento por un m...

0 votos
0 respuestas
¿Cómo lidiar con el éxito parcial en caso de Concurrent.future.ProcessPoolExecutor Python

with ProcessPoolExecutor(max_workers=1) as executor: def f(a): if a == 5: raise Exception("Asdf") return a results = executor.map(f, range(200)) wh...

5 votos
1 respuesta
Multiprocesamiento AsyncResult.get() se bloquea en Python 3.7.2, pero no en 3.6

Estoy tratando de puerto de un cierto código de Python 3.6 a Python 3.7 en Windows 10. Veo el código de multiprocesamiento colgar al llamar .get() sobre el AsyncResult...

1 voto
1 respuesta
¿Por qué multiprocessing.Queue tiene un pequeño retraso, mientras que (aparentemente) multiprocessing.Pipe no lo hace?

documentación para multiprocessing.Queue señala que hay un poco de retraso desde el momento en que un elemento se pone en cola hasta que se ha conservado en vinagre re...

1 voto
2 respuestas
En Python hace que el proceso padre siga existiendo siempre que cualquier proceso secundario no se están ejecutando daemonic

Estoy utilizando el módulo de multiprocesamiento de Python. Estoy probando el siguiente código: from multiprocessing import * from time import sleep def f(): pri...

0 votos
0 respuestas
Python multiprocess.pool se bifurcará gran capacidad de memoria de proceso padre

estoy usando multiprocess.pool, y También estoy usando el parámetro maxtasksperchild. Ahora el problema es, cuando el maxtasksperchild ha alcanzado, la piscina proces...

0 votos
1 respuesta
Mostrar varios ProgressBars y actualizarlos a la vez sin necesidad de imprimir líneas adicionales

versión de Python: 3.6 SO: Windows 10 Quiero paralelo una ejecución de la función de varios parámetros. Por esa razón por la que el uso multiprocessing objeto Pool c...

0 votos
0 respuestas
Python 2.7: No se puede recuperar datos de la cola, mientras que multiprocesamiento

Ejecución de Python 2.7 en un MAC: Tengo lo que creo que es una configuración relativamente simple multiprocesamiento/cola, pero yo soy incapaz de recuperar los resul...

0 votos
1 respuesta
Python: Cómo escribir JSOnline sin sobrescribir?

Tengo un pedazo de código, procesar miles de archivos en un directorio, para cada archivo, se genera un objeto (diccionario) con parte de su clave-valor como: { ....

0 votos
1 respuesta
¿Cómo poner en paralelo iteración sobre un gran archivo de tipo bytes?

Lo que tengo: Bytes de archivo de hasta 16 Gbytes con desplazamiento (por ejemplo, 100 bytes). Lo que necesito: acción de la manilla "f" en el código de una manera más...

0 votos
0 respuestas
Los procesos de multiproceso piscina dejar de correr?

He escrito un rastreador web utilizando pool = multiprocessing.Pool(8) descargar los artículos de un sitio web. Al principio cuando comienzo a la ejecución del códig...

0 votos
1 respuesta
¿Es mejor (más rápido) a los elementos de la cola 1-a-1 o un objeto grande

Al utilizar multiprocessing.Queue, siempre me he preguntado si era mejor (más rápido) a: a) elementos de cola de 1-a-1 o b) Cola varios objetos más grandes (es decir...

0 votos
0 respuestas
Python3 objeto estado compartido

Tengo este código que en teoría debería funcionar bien. Sin embargo, el fichero es un punto muerto y no puedo averiguar por qué. Estoy tratando de compartir un objeto ...

0 votos
0 respuestas
¿Cómo obtener el parámetro de tiempo de espera en ProcessPoolExecutor para devolver un error de tiempo de espera después del segundo ''?

Estoy tratando de entender cómo el parámetro de tiempo de espera funciona en el concurrent.futures.ProcessPoolExecutor paquete. El problema que estoy enfrentando es qu...

0 votos
0 respuestas
Keras no funciona bien en el entorno multihilo

Estoy experimentando problemas en el uso de un modelo Keras en un trabajo multi-roscado en pitón. Más o menos mi código es similar a esto: def load_my_model(): from...

0 votos
1 respuesta
Serialización de ctypes.structure en Python

Estoy tratando de trabajar con un envoltorio de Python usando ctypes. Modificación de un ejemplo dado por el fabricante, que envío marcos como un objeto ctypes.structu...

2 votos
1 respuesta
Cómo añadir tareas adicionales a una piscina multiprocesamiento correr, basándose en los resultados de los trabajadores?

Decir que tengo un conjunto de 20 CPU tareas pesadas (~ 1 hora cada uno, pero algunos toman mucho más tiempo) que se ejecuta llamando a una función a través de, por ej...

0 votos
0 respuestas
uso excesivo de memoria en la piscina de multiprocesamiento

Tengo un código usando la piscina multiprocesamiento pitón. Pero se está utilizando la memoria excesiva. He probado tanto pool.map y pool.imap_unordered, sin embargo, ...

0 votos
1 respuesta
¿Cuál es el equivalente de concurrent.futures-multiprocessing.Lock?

Por razones de coherencia, que estoy tratando de puerto de un código basado en mayores multiprocessing a concurrent.futures (utilizando ProcessPoolExecutor). En mi vie...

3 votos
0 respuestas
Python multiprocesamiento Pérdida de memoria en Ubuntu, pero no en Windows

Estoy tratando de dividir y reordenar datos de aproximadamente 100 archivos. Los archivos contienen información acerca de aprox. 400k usuarios, y están ordenados crono...

0 votos
2 respuestas
¿Qué debo usar para acelerar este código? (Multiprocessing vs Multithreading)

Podría también me muestran cómo? Gracias por adelantado. Aquí está el código: def test(): with open("proxies.txt", "r") as f: for line in f: ...

0 votos
1 respuesta
¿Está el paquete python multiprocesamiento trabajando en la nube de Google ml-motor?

Estoy tratando de poner en paralelo mi función de pre-procesamiento con el uso del paquete de multiprocesamiento pitón (que se puede encontrar aquí: https://docs.pytho...

1 voto
1 respuesta
Cómo resolver BrokenPipeError cuando se utiliza el multiprocesamiento en Python

Estoy trabajando en el aprendizaje multiproccessing, y no he tenido problemas hasta que me encontré con éste cuando se trabaja con las colas. En esencia, la cola se ll...

2 votos
0 respuestas
Python multiprocessing.Pool.map_async() no hace todos los trabajos con SparkContext

Me gustaría convertir archivos de un formato a otro utilizando los 32 núcleos que tengo. Tengo este pedazo de código que debe hacer lo que quiera. Es decir. recorrer t...

1 voto
1 respuesta
memoria compartida entre el proceso y la tarea principal de pitón

con un poco de ayuda que pudiera ejecutar un proceso en el pitón, Ahora me wa no compartir un valor betwenn las dos tareas. Puedo establecer el valor dentro del init, ...

0 votos
1 respuesta
No os.fork() continuar donde lo dejó?

Tengo una función donde se está procesando determinados datos, y si los datos cumplen determinados criterios, es para ser manipulados por separado mientras que el rest...

0 votos
1 respuesta
pitón multiprocesamiento piscina en Racimo

Estoy utilizando el siguiente código (ejemplo) para hacer el procesamiento en paralelo en un clúster. Se ejecuta perfectamente en el clúster utilizando todos los núcle...

1 voto
0 respuestas
Multiprocesamiento desempeño de las funciones dentro de la tubería de código

Así que estoy paralelización de una tubería de código en la que estoy haciendo básicamente tema modelado de un gran número de documentos. La parte de formación para el...

0 votos
1 respuesta
Utilice otras funciones en una función no funciona con multiprocess.Pool

He intentado utilizar otra función dentro de una función, y utilizar Pool a map a varios núcleos. Y fracasó. Cómo utilizar la función multi-nivel en Pool? Python 3.6.4...

0 votos
0 respuestas
multiprocessing.Pool.map lento de lo normal del mapa de secuencia muy larga?

map(f,very long sequence) más rápido que multiprocessing.Pool.map(f, very long sequence)? los x es dict de tuplas. parece [(0, {0: 50}), (1, {0: 44, 67: 58, 76: 8...

0 votos
0 respuestas
Cómo mejorar el rendimiento multiproceso?

Tengo que mejorar aún más el rendimiento de mi solicitud pitón. Acabo de utilizar la biblioteca "multiproceso" (tenedor de multiprocesamiento, porque necesito el eneld...

2 votos
1 respuesta
Matar a un proceso de multiprocesamiento cuando se cumple la condición

La idea im tratando de ejecutar es la siguiente: RUN 3 Procesos haciendo cálculos Una vez que uno de los 3 procesos terminaron la tarea Matar a otros inmediatamente y...

0 votos
0 respuestas
bucle de ejecutar fuera del servidor WebSocket

Estoy tratando de hacer un pequeño proyecto en el que el usuario pide algunos datos al servidor y el servidor devolverá una tabla de números aleatorios. Necesito esta...

0 votos
0 respuestas
Python `multiprocessing.Manager()` no lo hace correctamente apagado

Probablemente estoy cometiendo un error trivial en alguna parte, pero incluso un ejemplo de utilizar el mínimo multiprocessing.Manager en un with bloque (o sin) a vece...

0 votos
0 respuestas
multiprocesamiento Python: cuestiones estado del proceso cuando se utiliza el centinela

(Python 3.7) Estoy usando el centinela valor de una multiprocessing.Process objeto en una seleccionar() llamar, para evitar llamar unirse() porque tengo otros descrip...

0 votos
1 respuesta
multiprocesamiento Python y NLTK ruta wordnet similitud

Estoy usando la piscina multiprocesamiento para acelerar el proceso de extracción del título en un corpus de texto. En un momento dado del código, estoy usando módulo ...

0 votos
0 respuestas
Multiprocesamiento - Cómo detectar cuando el proceso ha comenzado con éxito?

Después de hacer process.start(), ¿Cómo puede detectar el código una vez que el proceso ha lanzado con éxito? Así que he intentado utilizar colas para enviar un mensa...

2 votos
2 respuestas
Cómo heredar de multiprocessing.Pipe?

Quiero construir una clase contenedora alrededor del pitón de multiprocessing.Pipe objeto. Heredando de la multiprocessing módulo se sabe que tiene sus desafíos (véase...

2 votos
1 respuesta
multiprocessing.Process no maneja argumentos `sys.exit` lo mismo que Python

Estoy tratando de coaccionar multiprocessing.Process que me diera el mismo código de salida como el intérprete de Python, pero se comporta de manera diferente dependie...

0 votos
2 respuestas
Python - Paralelo + procesamiento por lotes de archivos en un directorio

Tengo un problema similar a la mencionada en el Python - Cómo paralelo consumir y funcionar con los archivos en un directorio. Problema:   Tengo 100k + archivos en un...

0 votos
2 respuestas
Cómo corregir multiprocesamiento eco servidor para manejar múltiples clientes

Quiero crear un servidor de eco multiprocesamiento. Actualmente estoy usando telnet como mi cliente para enviar mensajes a mi eco server.Currently puedo manejar las pe...

2 votos
0 respuestas
TypeError: objeto 'MapResult' no está usando Iterable pathos.multiprocessing

Estoy corriendo una función de corrección ortográfica en un conjunto de datos que tengo. solía from pathos.multiprocessing import ProcessingPool as Pool para hacer el ...

2 votos
0 respuestas
Multiprocesamiento de error para la aplicación PNL

Estoy trabajando en un proyecto de la PNL. Tengo un conjunto de datos masiva de 180 millones de palabras. Antes de comenzar el entrenamiento Quiero corregir la ortogra...

4 votos
1 respuesta
¿Por qué no aparece la cola de multiproceso para ser seguro para subprocesos?

Estoy construyendo un temporizador de vigilancia que se ejecuta otro programa Python, y si no puede encontrar un registro de entrada de cualquiera de los hilos, se apa...

1 2 3 4 right