0

es la primera vez que hago una pregunta, disculpen si no he sabido formularla bien. Mi problema es el siguiente, estoy tratando de analizar un csv, y en una pregunta se me pide filtrar solo las ordenes del mes 10 del año 2021. Originalmente lo hice creando un diccionario con los valores de la columna date, recorriendolo y filtrando solo las ordenes de la fecha requerida, lo que me dio como resultado: 267. Se que este resultado es el correcto ya que al subirlo a la plataforma donde me lo preguntaban me han puesto correcto.

El tema es que estoy aprendiendo pandas, y al hacer el proceso me da otro resultado: 437. Lo que hago en pandas es convertir la columna Date a tipo datetime (el formato esta bien), luego filtrar las filas de la fecha requerida y contar la cantidad de filas.

La verdad hace 3 dias le estoy dando vuelta al asunto y no logro entender la diferencia en los resultados. Estuve mirando un poco el csv y me di cuenta que hay varias filas donde la columna fecha no tiene ningun valor.

Alguien que me pueda ayudar? Muchas gracias!

Mi codigo en pandas:

import pandas as pd
df = pd.read_csv("./sample_data/orders.csv")
df['Date'] = pd.to_datetime(df['Date'], format='%Y-%m')
october_2021 = df[(df['Date'].dt.month == 10) & (df['Date'].dt.year == 2021)]
count = october_2021.shape[0]
print("La cantidad de ordenes realizadas en octubre 2021 es:", count)
Resultado = 437

Aqui una muestra del csv:

CustomerID,OrderID,Date,OrderTotal,ProductName,Price

8091,7742581,2021-07-26 14:40:10.783,95.0000,Z03,90.0000

    
902139,7742778,2021-08-08 05:01:21.120,60.0000,0844 A/C,60.0000
    
2300266,7742593,2021-07-27 11:00:16.020,185.0000,M07,90.0000
    
2300266,7742593,2021-07-27 11:00:16.020,185.0000,M09,90.0000
    
5173013,7742609,2021-07-28 14:26:13.930,165.0000,0324,160.0000

El csv total tiene 29992 filas

Codigo en python que da el resultado correcto:

import csv #Importo el modulo csv

datafile= "./sample_data/orders.csv" #Creo una variable con la ruta del archivo

ListaFilas = [] #Una lista vacia

with open(datafile, "r") as csvfile: #Abro y leo mi archivo

 
     for count in csvfile: #Itero cada linea
            
         separates= count.split(",") #Separo cada valor por cada coma que haya
         ListaFilas.append(separates) #Agrego los valores separados a ListaFilas. Esto me devolvera una lista de listas, donde cada sublista tendra cada
                                      #Valor de cada columna



#print(ListaFilas)


def AgruparLosPedidosEnOrdenes (ListaFilas):
    diccionarioOrdenesFilas= dict()


    for x in range(1 , len(ListaFilas)):



        id = ListaFilas[x][1] #se asigna a la variable "id" el valor de la segunda columna de la fila actual (ListaFilas[x][1])
        if id in diccionarioOrdenesFilas:           #Se verifica si el "id" ya existe en el diccionario "diccionarioOrdenesFilas" 
                                                    #si es así, se agrega la fila actual al grupo existente asociado a ese "id" en el diccionario.
            grupo =  diccionarioOrdenesFilas[id] 
            grupo.append( ListaFilas[x])
            diccionarioOrdenesFilas[id] = grupo

        else:                   
            grupo= []
            grupo.append(ListaFilas[x])
            diccionarioOrdenesFilas[id] = grupo

            #print(len(diccionarioOrdenesFilas))
            valorFila = list(diccionarioOrdenesFilas.values())
            #print(valorFila[2])
                
    for x in valorFila[3]:
         pass
        #print(x)
        
    return diccionarioOrdenesFilas


diccionarioOrdenesFilas= AgruparLosPedidosEnOrdenes(ListaFilas)

def ConteoDePedidosDeCadaOrden(diccionarioOrdenesFilas):
    
    # Voy a elaborar un diccionario que cuente los pedidos de cada orden
    diccionarioOrdenesCantidadPedidos = dict()

    for orden in diccionarioOrdenesFilas:

        grupo= diccionarioOrdenesFilas[orden]
        cantidad= len(grupo)
        diccionarioOrdenesCantidadPedidos[orden] = cantidad

    #print( list(diccionarioOrdenesCantidadPedidos.items()))


    ordenConMasPedidos= max(diccionarioOrdenesCantidadPedidos.values())
    print( "Order with more items: " + str(ordenConMasPedidos))

    ordenesTotales= len(list(diccionarioOrdenesFilas.keys()))
    print("There are unique orders: " + str(ordenesTotales))

    # para tener el total de pedidos cada orden, y sacar el promedio , recorro el diccionario


    totalPedidos = 0
    for x in diccionarioOrdenesCantidadPedidos:
     totalPedidos += diccionarioOrdenesCantidadPedidos[x]

    #print(totalPedidos)

    promedioPedidos =totalPedidos/ordenesTotales
    promedioPedidos = round(promedioPedidos ,2)
    print("Averange number of items per orders:  " + str(promedioPedidos))

ConteoDePedidosDeCadaOrden(diccionarioOrdenesFilas)
 

def ConteoDeClientesDeOctubre2021(diccionarioOrdenesFilas):
    
# para tener el numero de ordenes provenientes en octubre 2021
# recorremos el diccionario ordenes fila y contamos solo los que tienen una fecha que sea octubre

        listaOrdenesOctubre = []

        for orden in diccionarioOrdenesFilas:
            fecha = diccionarioOrdenesFilas[orden][0][2]

            if not fecha== "" :
            
                textoFecha= fecha.split(" ")[0]
                mes = textoFecha.split("-")[1]
                año= textoFecha.split("-")[0]

            if mes== "10" and año == "2021":
                listaOrdenesOctubre.append(diccionarioOrdenesFilas[orden][0])


        print("lista ordenes octubre:", listaOrdenesOctubre)
        ordenesDeOctubre = len(listaOrdenesOctubre)
        print( "orders from october 2021: "+ str(ordenesDeOctubre))

        #print("keys:", list(diccionarioOrdenesFilas.keys()))

ConteoDeClientesDeOctubre2021(diccionarioOrdenesFilas)

El codigo es un poco extenso ya que tiene mas preguntas preguntas por responder y he optado en hacerlo todo en un solo bloque de codigo.

Codigo para cargar el archivo orders,csv en colab:

import requests

def import_data_files():
  r = requests.get('https://raw.githubusercontent.com/anyoneai/notebooks/main/customers_and_orders/data/customers.csv')
  with open('./sample_data/customers.csv', 'wb') as f:
    f.write(r.content)

  r = requests.get('https://raw.githubusercontent.com/anyoneai/notebooks/main/customers_and_orders/data/orders.csv')
  with open('./sample_data/orders.csv', 'wb') as f:
    f.write(r.content)
  
import_data_files()
print("Customers and orders CSV files have been added './sample_data'")
8
  • Un fragmento de código vale más que mil imagenes, una imagen vale más que mil palabras. Por lo tanto un fragmento de código vale más de un millon de palabras
    – Dante S.
    el 28 ene. a las 13:34
  • En lugar de ponerte a describir el código, muestranos uno donde eso suceda (un ejemplo minimo completo y verificable). Así es mucho más facil detectar que está pasando y no nos obligas a transcribir tu descripción en código para hacer pruebas.
    – Dante S.
    el 28 ene. a las 13:36
  • Además, otro detalle es que quizá el código no hace lo que vos pensas que hace y en nuestra versión, funciona bien.
    – Dante S.
    el 28 ene. a las 13:41
  • Muchas gracias por sus sugerencias, ya agregue el codigo en pandas que me da el resultado erroneo.
    – Nazareno
    el 28 ene. a las 13:47
  • Revisa lo que tiene october_2021. Cuando deseas obtener una porción de un dataframe es mejor utilizar loc o iloc. el 28 ene. a las 13:55

1 respuesta 1

0

Por lo que ví en tu código, hay un criterio en el código del resultado correcto que no haces en Pandas.

Lo que haces es agrupar los datos por cada orden y luego, tomas la primera fecha de cada orden.
Ahí está la papa, pues en el código de Pandas no haces esa agrupación, por lo que la cuenta se hace usando todas las fechas de cada orden que coinciden con el mes y el año buscado.

Un truco para imitar el comportamiento del otro código:

  • Agrupar por orden
  • A cada uno de esos grupos, les aplicamos una función que toma la primera fila del grupo y verifica que el año y el mes sean correctos (utilizamos .iloc para acceder usando la posición).
  • Esto nos devuelve, simplemente, una serie de booleanos indexados usando OrderID. Podemos sumar todos los booleanos de esta serie. True es 1 y False 0.
    • Si el item es True, significa que la primera fila del grupo tenía la primera fecha correcta.
    • Si el item es False, significa que la condición anterior no se cumplió. O sea, no debe aumentar el contador. contador + False = contador, por lo que también lo podemos sumarlo tranquilamente.
Código
import pandas as pd
import requests
import io

use_original = True

if(use_original):
    csv = requests.get('https://raw.githubusercontent.com/anyoneai/notebooks/main/customers_and_orders/data/orders.csv').text
else:
    csv = ("CustomerID,OrderID,Date,OrderTotal,ProductName,Price\n"
           "8091,7742581,2021-07-26 14:40:10.783,95.0000,Z03,90.0000\n"
           "902139,7742778,2021-08-08 05:01:21.120,60.0000,0844 A/C,60.0000\n"
           "2300266,7742593,2021-07-27 11:00:16.020,185.0000,M07,90.0000\n"
           "2300266,7742593,2021-10-27 11:00:16.020,185.0000,M09,90.0000\n"
           "5173013,7742609,2021-07-28 14:26:13.930,165.0000,0324,160.0000")

csv = io.StringIO(csv)

df = pd.read_csv(csv)

df["Date"] = pd.to_datetime(df["Date"], format="%Y-%m")

def valide_date(g):
    return g.iloc[0]["Date"].year == 2021 and g.iloc[0]["Date"].month == 10

result = df.groupby("OrderID").apply(valide_date).sum()
print(result)
Produce usando el original
267
Produce usando el de muestra
0
1
  • Nota: Me parece un poco raro que le den importancia solo a la primera fila del grupo. Quizá en código es correcto por pura casualidad. Ante la duda, yo lo revisaría. Mi respuesta está unicamente orientada a resolver la problematica presentada.
    – Dante S.
    el 28 ene. a las 15:03

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.