0

Muy buenas,

Estoy empezando a manejarme con las RegEx pero tengo el último paso de un ejercicio atragantado.

Me dan un archivo de texto y de ahí tengo que extraer la información.

Extracto del archivo de texto:

"146.204.224.152 - feest6811 [21/Jun/2019:15:45:24 -0700] "POST /incentivize HTTP/1.1" 302 4622
197.109.77.178 - kertzmann3129 [21/Jun/2019:15:45:25 -0700] "DELETE /virtual/solutions/target/web+services HTTP/2.0" 203 26554
156.127.178.177 - okuneva5222 [21/Jun/2019:15:45:27 -0700] "DELETE /interactive/transparent/niches/revolutionize HTTP/1.1" 416 14701
100.32.205.59 - ortiz8891 [21/Jun/2019:15:45:28 -0700] "PATCH /architectures HTTP/1.0" 204 6048
168.95.156.240 - stark2413 [21/Jun/2019:15:45:31 -0700] "GET /engage HTTP/2.0" 201 9645
71.172.239.195 - dooley1853 [21/Jun/2019:15:45:32 -0700] "PUT /cutting-edge HTTP/2.0" 406 24498
180.95.121.94 - mohr6893 [21/Jun/2019:15:45:34 -0700] "PATCH /extensible/reinvent HTTP/1.1" 201 27330
144.23.247.108 - auer7552 [21/Jun/2019:15:45:35 -0700] "POST /extensible/infrastructures/one-to-one/enterprise HTTP/1.1" 100 22921
2.179.103.97 - lind8584 [21/Jun/2019:15:45:36 -0700] "POST /grow/front-end/e-commerce/robust HTTP/2.0" 304 14641
241.114.184.133 - tromp8355 [21/Jun/2019:15:45:37 -0700] "GET /redefine/orchestrate HTTP/1.0" 204 29059
224.188.38.4 - keebler1423 [21/Jun/2019:15:45:40 -0700] "PUT /orchestrate/out-of-the-box/unleash/syndicate HTTP/1.1" 404 28211
94.11.36.112 - klein8508 [21/Jun/2019:15:45:41 -0700] "POST /enhance/solutions/bricks-and-clicks HTTP/1.1" 404 24768"

Tengo que meter la información en un diccionario con 4 campos como en el siguiente ejemplo:

{"host":"146.204.224.152",
"user_name":"feest6811", 
"time":"21/Jun/2019:15:45:24 -0700",
"request":"POST /incentivize HTTP/1.1"}

Lo que he hecho es crearme un patrón e ir sacando los campos por partes. Sé que hay expresiones mas simplificadas, pero como he comentado, estoy empezando.

patron = """
(?P<host>\d{1,3}[.]\d{1,3}[.]\d{1,3}[.]\d{1,3})                     #host 
(\s[-]\s)                                                           #separador
(?P<user_name>\w+|-)                                                #user_name
(\s[[])                                                             #separador
(?P<time>\d\d[/]\w+[/]\d\w+[:]\d\d[:]\d\d[:]\d\d\s[-]\d{4})         #time
([]]\s["])                                                          #separador
(?P<request>[A-Z]\w+\s[/]\w+[/])                                    #request
"""

Ya por último aplico el patrón con un finditer

for item in re.finditer(patron, logdata2, re.VERBOSE):
    print(item.groupdict())

El problema lo tengo justo en la última parte del patrón, en la parte de "request" ya que hay dos tipos de 'roots':

1.- ruta directa: POST /incentivize HTTP/1.1

2.- ruta "con varias carpetas": DELETE /virtual/solutions/target/web+services HTTP/2.0

Y ya por fin la pregunta, cómo puedo hacer para que la expresión regular me cumpla ambas condiciones? Si no estuvieran las "/" haría un \w+ y ya estaría casi pero al tener las barras me pierdo.

Un saludo, gracias y disculpar por la turra!

4
  • qué tal cambiando \w+ por [/+\-\w]+? Obviamente se puede agregar cualquier otro caracter dentro de la clase de caracteres, el + repite a toda la clase
    – Pollo
    Commented el 6 may. 2021 a las 4:47
  • 1
    ...o generalizarlo aún más con \S+ o similar, tal cual ya te había respondido CandidMoe en tu pregunta previa
    – Pollo
    Commented el 6 may. 2021 a las 4:57
  • Pollo, me funcionaron ambas. Muchas gracias. Es que estaba empezando a entender y me ha costado asentar los conocimientos. Por cierto me puedes explicar como funciona exactamente esta expresión que me has puesto: [/+\-\w]+. Gracias de nuevo!
    – Rafael
    Commented el 6 may. 2021 a las 6:16
  • [/+\-\w] coincide con 1 solo caracter, que puede ser /, +, -, o cualquiera de los caracteres de \w (es decir 0-9_a-zA-Z)... [/+\-\w]+ coincide con 1 o más de esos caracteres... Hay varios tutoriales listados en la info de la etiqueta regex es.stackoverflow.com/tags/regex/info
    – Pollo
    Commented el 6 may. 2021 a las 6:22

1 respuesta 1

2

El problema es que estás sobrespecificando el patrón de búsqueda. Nunca hay que sobreespecificar; hay que hacer la expresión regular más simple que reconozca lo que nos interesa.

La solución es buscar la descripción más corta que capture el campo request:

 "DELETE /virtual/solutions/target/web+services HTTP/2.0"

La descripción más corta es 'algo encerrrado entre cremillas dobles y seguido de un espacio', lo que se expresa asi:

'"(?P<request>[^"]+) '

[La expresión se lee: comienza con cremillas dobles, seguida todos los caracteres hasta la última cremilla doble antes de un espacio en blanco en la línea]

No estoy interesando en el contenido del campo request, pues no lo estoy validando. Puede tener "/", o "\", o cualquier otra cosa, da igual.

Demo

import re

datos = ['146.204.224.152 - feest6811 [21/Jun/2019:15:45:24 -0700] "POST /incentivize HTTP/1.1" 302 4622',
        '197.109.77.178 - kertzmann3129 [21/Jun/2019:15:45:25 -0700] "DELETE /virtual/solutions/target/web+services HTTP/2.0" 203 26554',
        '156.127.178.177 - okuneva5222 [21/Jun/2019:15:45:27 -0700] "DELETE /interactive/transparent/niches/revolutionize HTTP/1.1" 416 14701',
        '100.32.205.59 - ortiz8891 [21/Jun/2019:15:45:28 -0700] "PATCH /architectures HTTP/1.0" 204 6048',
        '168.95.156.240 - stark2413 [21/Jun/2019:15:45:31 -0700] "GET /engage HTTP/2.0" 201 9645',
        '71.172.239.195 - dooley1853 [21/Jun/2019:15:45:32 -0700] "PUT /cutting-edge HTTP/2.0" 406 24498',
        '180.95.121.94 - mohr6893 [21/Jun/2019:15:45:34 -0700] "PATCH /extensible/reinvent HTTP/1.1" 201 27330',
        '144.23.247.108 - auer7552 [21/Jun/2019:15:45:35 -0700] "POST /extensible/infrastructures/one-to-one/enterprise HTTP/1.1" 100 22921',
        '2.179.103.97 - lind8584 [21/Jun/2019:15:45:36 -0700] "POST /grow/front-end/e-commerce/robust HTTP/2.0" 304 14641',
        '241.114.184.133 - tromp8355 [21/Jun/2019:15:45:37 -0700] "GET /redefine/orchestrate HTTP/1.0" 204 29059',
        '224.188.38.4 - keebler1423 [21/Jun/2019:15:45:40 -0700] "PUT /orchestrate/out-of-the-box/unleash/syndicate HTTP/1.1" 404 28211',
        '94.11.36.112 - klein8508 [21/Jun/2019:15:45:41 -0700] "POST /enhance/solutions/bricks-and-clicks HTTP/1.1" 404 24768']

patron = re.compile('(?P<ip>\S+) - (?P<user>\S+) \[(?P<time>.+)\] "(?P<request>[^"]+) ')


for linea in datos:
    m = patron.match(linea)
    if m:
        print(m.groupdict())

produce:

{'ip': '168.95.156.240', 'user': 'stark2413', 'time': '21/Jun/2019:15:45:31 -0700', 'request': 'GET /engage HTTP/2.0'}
{'ip': '71.172.239.195', 'user': 'dooley1853', 'time': '21/Jun/2019:15:45:32 -0700', 'request': 'PUT /cutting-edge HTTP/2.0'}
{'ip': '180.95.121.94', 'user': 'mohr6893', 'time': '21/Jun/2019:15:45:34 -0700', 'request': 'PATCH /extensible/reinvent HTTP/1.1'}
{'ip': '144.23.247.108', 'user': 'auer7552', 'time': '21/Jun/2019:15:45:35 -0700', 'request': 'POST /extensible/infrastructures/one-to-one/enterprise HTTP/1.1'}
{'ip': '2.179.103.97', 'user': 'lind8584', 'time': '21/Jun/2019:15:45:36 -0700', 'request': 'POST /grow/front-end/e-commerce/robust HTTP/2.0'}
{'ip': '241.114.184.133', 'user': 'tromp8355', 'time': '21/Jun/2019:15:45:37 -0700', 'request': 'GET /redefine/orchestrate HTTP/1.0'}
{'ip': '224.188.38.4', 'user': 'keebler1423', 'time': '21/Jun/2019:15:45:40 -0700', 'request': 'PUT /orchestrate/out-of-the-box/unleash/syndicate HTTP/1.1'}
{'ip': '94.11.36.112', 'user': 'klein8508', 'time': '21/Jun/2019:15:45:41 -0700', 'request': 'POST /enhance/solutions/bricks-and-clicks HTTP/1.1'}

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.