Para que puedas adoptar una solución adecuada a tu problema es importante que antes entiendas los conceptos mencionados en el título.
Concurrencia Es la capacidad de hacer progresar varias cosas a la vez o aparentemente a la vez, o al menos avanzando todas ellas a un ritmo similar. Por ejemplo, tú puedes decir que estás viendo la serie "Mr. Robot" y la serie "Black Mirror", y lo que ocurre es que ves un capítulo de una, después un capítulo de la otra, y así sucesivamente. Ambas van avanzando de forma concurrente.
Paralelismo Es la capacidad de ejecutar varias cosas realmente a la vez. En el mismo ejemplo de antes significaría que estás viendo las dos series simultáneamente, una con cada ojo, y escuchando una de ellas con cada oreja. Nuestro cerebro no tiene esa capacidad (porque no podemos prestar atención a dos cosas a la vez).
Nota, el paralelismo es un caso particular de concurrencia, pero no al revés. Puedes tener concurrencia sin paralelismo, como en el primer ejemplo en el que estás viendo varias series, pero no a la vez.
Núcleos son unidades funcionales dentro de una CPU. A todos los efectos puedes pensar en ellos como CPUs independientes. Cuando una máquina tiene 4 núcleos vale pensar que tiene 4 CPUs. En un instante dado cada núcleo sólo puede estar haciendo una cosa, pero si tienes 4 núcleos entonces podrías estar haciendo 4 cosas a la vez (al menos en principio, ya que puede que se esté usando un solo núcleo, o que haya interacciones entre los núcleos como puntos de sincronización que hagan que uno espere por otro, etc.)
Procesos son programas en ejecución. Los programas normalmente están "inertes" almacenados en un disco, hasta que los ejecutas. Al ejecutarlos el sistema operativo creará para ellos un proceso, que es una zona de la memoria donde se cargará tu programa con sus variables, y una serie de estructuras que la CPU necesita para saber "por dónde va".
Si por ejemplo estás leyendo varios libros "a la vez" (concurrentemente) necesitarás marcar por donde ibas en cada libro para cuando pases de uno a otro. Podemos hacer una analogía: el disco duro es una "biblioteca" que guarda libros que no se pueden sacar, si quieres leer uno lo fotocopias y te llevas la fotocopia (eso representaría la RAM). El concepto de "proceso" sería como la fotocopia que te llevas más el marcador que indica por dónde va la lectura.
Hilo Son como una versión minimalista de un proceso. Varios hilos pueden estar ejecutando un mismo programa (del cual solo hay una copia en memoria), porque cada hilo tiene su propio "marcador" de por dónde va la ejecución. De hecho un hilo podría estar ejecutando una función de ese programa mientras otro hilo está ejecutando otra función.
Por ejemplo, siguiendo con la analogía antes propuesta de la biblioteca, imagina que dos personas quieren leer un mismo libro. Si usamos "procesos", necesitaremos fotocopiar el libro dos veces de modo que cada lector tiene una copia completa del libro, y su propio marcador de por dónde iba (cada proceso tiene su propia copia en RAM del programa). Sin embargo usando hilos habría una sola fotocopia del libro, pero las dos personas lo estarían leyendo a la vez, quizás cada una de ellas en un capítulo diferente, y cada una tendría su propio marcador. El hilo básicamente es el marcador.
Relación entre procesos, hilos y núcleos. Cuando un proceso arranca tiene un solo hilo asociado con él, y ese hilo será ejecutado en un núcleo. Arrancar otro hilo dentro del mismo proceso es algo relativamente rápido. Sólo hace falta otro "marcador" y no es necesario cargar de nuevo el programa a otra zona de la memoria. Si en cambio se arranca un nuevo proceso el mecanismo es más costoso y ocupará más memoria. Pero en cualquiera de los dos casos al final se tendrán dos hilos (los dos dentro del mismo proceso o bien cada hilo en su proceso separado). La unidad mínima de ejecución es el hilo.
Si tienes un solo núcleo, todos los hilos (del mismo proceso o de procesos separados) se ejecutarán forzosamente en el único núcleo disponible. Lo que hará ese núcleo es ejecutar unas cuantas instrucciones de un hilo, detenerlo, ejecutar unas cuantas instrucciones de otro hilo, detenerlo, etc... Es decir, todos los hilos en ese núcleo avanzan de forma concurrente. El hilo también puede quedar detenido "por si solo" sin que el operativo tenga que detenerlo, si inicia una operación de entrada/salida (leer del disco, esperar un paquete de red...) Mientras ese hilo está esperando a que los datos que necesita estén listos, el núcleo puede entretanto ir ejecutando código de otros hilos. Si todos los hilos están esperando, la CPU queda "ociosa" (y por tanto no estará al 100%). La mayor parte del tiempo las CPUs están ociosas, pues las operaciones de entrada/salida requieren mucho tiempo de espera comparado a las operaciones de computación que son las que requieren de la CPU.
Si la CPU tiene varios núcleos, el operativo intentará aprovecharlos, poniendo cada hilo en un núcleo diferente. Estos hilos se ejecutarían por tanto realmente en paralelo (hasta que uno de ellos se detenga por una operación de E/S).
Si hay más hilos que núcleos, forzosamente algún núcleo tendrá asignados varios hilos, y esos se ejecutarán de forma concurrente y no paralela.
En la analogía de la biblioteca, los lectores serían los núcleos. Cada fotocopia de un libro con un marcador sería un proceso (con un hilo) y si hay más marcadores para leer el mismo libro por varios puntos a la vez, se tendrían varios hilos en el proceso. Un solo lector (un solo núcleo) puede leer varios libros, saltando de uno a otro (concurrencia). Pero eso no hará que termine de leer antes los libros. Para eso se necesita paralelismo (varios lectores, cada uno con su libro). Asignar a un solo lector más de un libro (es decir, tener más hilos que núcleos) tampoco hará que la lectura acabe antes.
Imagina además que los libros que se están leyendo son libros de cocina, y que los lectores están realmente cocinando las recetas que se indican. En ese caso en ocasiones el libro dirá algo como "Poner al horno y esperar 1h". En ese caso el lector queda libre durante 1h que puede aprovechar para ir leyendo otro libro. Esto sería el equivalente a las operaciones de Entrada/Salida.
Moraleja de lo anterior. Si el código que estamos ejecutando depende sobre todo de operaciones de E/S, sus hilos van a estar parados la mayor parte del tiempo. Tener varios hilos mejora el rendimiento porque las esperas por la E/S ocurren en paralelo (puedo tener varios hilos detenidos a la vez, esperando). En ese caso, cuantos más hilos, más operaciones de E/S "en paralelo" se podrán realizar, y eso no depende de cuántos núcleos tenga la máquina.
Si en cambio el código requiere mucha computación (como creo que es tu caso), tener muchos hilos no ayudará realmente. Si todos esos hilos se ejecutan en el mismo núcleo, lo harán de forma concurrente pero no paralela. Es decir "competirán" por el uso de la CPU y mientras uno se ejecuta los demás hilos esperarán. Sólo si la CPU tiene varios núcleos podrá ejecutar varios hilos a la vez.
En cualquier caso, tener más hilos que núcleos no supondrá ya ninguna ventaja en este caso.
El GIL. El intérprete Python (al menos el intérprete escrito en C que es el que casi todos usamos) tiene un elemento llamado el GIL. Este elemento ha sido añadido al intérprete para impedir que dos hilos se ejecuten en paralelo si ambos están intentando ejecutar instrucciones Python. La razón de esto es muy técnica (relacionado con el recolector de basura que es quien elimina objetos de la memoria cuando ya no son necesarios). Mucho se ha hablado de eliminar ese GIL, pero hasta ahora no se ha conseguido, sin afectar al rendimiento general de las aplicaciones de un solo hilo.
GIL son las iniciales de Global Intepreter Lock. Hay un GIL en cada proceso Python (cada intérprete python en ejecución). Cualquier hilo python, antes de intentar ejecutar una instrucción python (un opcode de su "lenguaje máquina") debe antes "adquirir" el GIL, que es una especie de "testigo" que sólo puede ser poseido por un hilo en un momento dado. Si otro hilo intenta adquirir el GIL, se quedará detenido hasta que el hilo que lo tenía adquirido lo libere de nuevo.
Debido a la existencia del GIL, los hilos en Python se van turnando en su ejecución, sin que nunca pueda haber dos en ejecución a la vez.
Esto implica que ni siquiera con varios núcleos puedes lograr paralelismo entre instrucciones Python cuando las instrucciones se ejecutan dentro de un mismo intérprete (proceso).
¿Pero eso no es un handicap terrible? A primera vista parece que sí, pero en la práctica no lo es tanto, y esa es la razón por la que al final el GIL siga existiendo (eliminarlo es extraordinariamente difícil y parece que no se ganaría tanto).
¿Cómo es que no es tan terrible? Primero, porque raras veces se usa Python para computación intensiva. La mayor parte de los programas python hacen mucho procesamiento de fichero o de red, que son operaciones limitadas por E/S y ya vimos que en ellas los hilos de todas formas no suelen estar ejecutándose en paralelo porque suelen estar esperando por E/S. Segundo, porque cuando Python se usa para computación intensiva suele hacerse mediante librerías como Numpy, Pandas, etc... Estas librerías están escritas en C y son inmunes al GIL (cuando el intérprete va a llamar a una función de una de estas librerías, libera el GIL, por lo que puede haber varias de estas funciones ejecutándose realmente en paralelo). Y tercero, porque el GIL afecta sólo a los hilos dentro de un mismo proceso, pero no a la posiblidad de ejecutar varios procesos en paralelo. Si se necesitara verdadero paralelismo a nivel de instrucciones Python, siempre se pueden lanzar varios procesos en lugar de varios hilos.
Preguntas por el número máximo de hilos que puedes lanzar. Pero parece que tu aplicación es limitada por CPU, por lo que lo que buscas con los hilos es permitir paralelismo para que así termine antes.
Un detalle más. Aunque multiprocessing parece preferible a multithreading, en general crear procesos es más costoso y requiere más recursos. Además en la aplicación multihilo es fácil compartir datos entre hilos (pues todos están compartiendo memoria en el mismo proceso). En cambio compartir datos entre procesos implica copiarlos de un proceso a otro. Aunque la biblioteca multithreading
se ocupa de ello de forma bastante transparente, esto va a causar un penalty en el tiempo de ejecución.