Tengo el siguiente escenario: Tengo una tabla con ~200k registros, necesito iterar sobre cada registro y llamar a una función de Azure para hacer unos cálculos un poco complejos, el problema es que de acuerdo con la documentación la actividad foreach tiene un máximo 100,000 items, esto me pone a pensar en que quizá este no sea el uso de dichas funciones (fueron creadas para otros casos) ¿hay alguna forma de solucionar mi problema en Data Factory?
1 respuesta
solo se me ocurren dos posibles soluciones:
La primera es dividir tu consulta "LargeTable" en dos o más para evitar el límite de los 100.000 registros en la actividad ForEach. Esto no me parece lo más cómodo ni lo más óptimo, ya que si tu conjunto de datos sigue creciendo no podrás hacerlo de forma dinámica.
La segunda, utilizar la actividad Until en lugar de ForEach. De forma que establezcas la actividad Until en base al número de registros obtenidos, realices la operación que hacías en la actividad ForEach y a continuación incrementes un contador. De forma que la condición de tu actividad Until podría ser que se ejecute hasta que dicho contador sea igual al nº de registros obtenidos. O ir disminuyendo el contador y que la actividad se ejecute hasta que sea 0...
https://docs.microsoft.com/es-es/azure/data-factory/control-flow-until-activity
Espero haberme explicado bien y que te sea de ayuda.
Un saludo