Para poder procesar datasets con items de longitud variable, necesitas usar el método padded_batch
, esto no te hará que todos tengan una longitud variable, si no que cada batch
sea de distinta longitud.
Es decir, si tenemos 128 datos y los dividimos en 4 batches de 32. Estos batches podrían tener la siguiente forma:
batch1.shape = (32, 54, 54)
batch2.shape = (32, 54, 67)
batch3.shape = (32, 54, 78)
batch4.shape = (32, 54, 86)
Lo que quiere decir que cada uno de los batches tiene distinta longitud, pero los datos dentro de cada batch, tienen la misma longitud. Para esto lo que se hace es ordenar previamente los datos por longitud y después crear batches segun la media de longitud de cada batch.
El método .padded_batch()
tiene tres argumentos:
batch_size
: el tamaño del batch size
padded_shapes
: el tamaño de padding que se quiere poner
padding_values
: el número que se quiere usar para hacer padding, si se deja en None
este argumento, será cero, que es el número usado normalmente.
drop_remainder
: este es un argumento que aparece en todas las operaciones de padding, y sirve para olvidarse de los datos restantes. Por ejemplo si tenemos 140 datos y hacemos batch_size=32
tendremos 4 batches de 32 (que harán un total de 128 datos) y un último de 12 (para llegar a los 140), si ponemos este argumento como True
no computará el restante (esos últimos 12 datos).
Puedes ver más sobre padded_batch
y los datasets
de Tensorflow en su documentación oficial
Bonus
El padding
es una solución en el mundo de la ciencia de datos cuando existen datos de longitud variable, lo que se hace es recortar/ampliar nuestro conjunto de datos.
- Ampliar: si tenemos datos con poca longitud añadimos ceros (suele ser cero, aunque no tiene porque) hasta alcanzar la longitud requerida
- Reducir: recortamos datos hasta tener la longitud requerida.
Por ejemplo si tenemos 200 vectores con longitudes de 50 a 500, podemos crear un padding de 300. Lo que hará que todos los vectores después de esta operación tengan longitud 300, los que seán más largos serán recortados cuando llegen a 300 (perdiendo información), los que sean más cortos se agregarán ceros hasta llegar a 300.
Puedes ver más sobre padding en la documentación oficial de tensorflow