0

Muy buenas,

Estoy empezando a manejarme con las RegEx pero tengo el último paso de un ejercicio atragantado.

Me dan un archivo de texto y de ahí tengo que extraer la información.

Extracto del archivo de texto:

"146.204.224.152 - feest6811 [21/Jun/2019:15:45:24 -0700] "POST /incentivize HTTP/1.1" 302 4622
197.109.77.178 - kertzmann3129 [21/Jun/2019:15:45:25 -0700] "DELETE /virtual/solutions/target/web+services HTTP/2.0" 203 26554
156.127.178.177 - okuneva5222 [21/Jun/2019:15:45:27 -0700] "DELETE /interactive/transparent/niches/revolutionize HTTP/1.1" 416 14701
100.32.205.59 - ortiz8891 [21/Jun/2019:15:45:28 -0700] "PATCH /architectures HTTP/1.0" 204 6048
168.95.156.240 - stark2413 [21/Jun/2019:15:45:31 -0700] "GET /engage HTTP/2.0" 201 9645
71.172.239.195 - dooley1853 [21/Jun/2019:15:45:32 -0700] "PUT /cutting-edge HTTP/2.0" 406 24498
180.95.121.94 - mohr6893 [21/Jun/2019:15:45:34 -0700] "PATCH /extensible/reinvent HTTP/1.1" 201 27330
144.23.247.108 - auer7552 [21/Jun/2019:15:45:35 -0700] "POST /extensible/infrastructures/one-to-one/enterprise HTTP/1.1" 100 22921
2.179.103.97 - lind8584 [21/Jun/2019:15:45:36 -0700] "POST /grow/front-end/e-commerce/robust HTTP/2.0" 304 14641
241.114.184.133 - tromp8355 [21/Jun/2019:15:45:37 -0700] "GET /redefine/orchestrate HTTP/1.0" 204 29059
224.188.38.4 - keebler1423 [21/Jun/2019:15:45:40 -0700] "PUT /orchestrate/out-of-the-box/unleash/syndicate HTTP/1.1" 404 28211
94.11.36.112 - klein8508 [21/Jun/2019:15:45:41 -0700] "POST /enhance/solutions/bricks-and-clicks HTTP/1.1" 404 24768"

Tengo que meter la información en un diccionario con 4 campos como en el siguiente ejemplo:

{"host":"146.204.224.152",
"user_name":"feest6811", 
"time":"21/Jun/2019:15:45:24 -0700",
"request":"POST /incentivize HTTP/1.1"}

Lo que he hecho es crearme un patrón e ir sacando los campos por partes. Sé que hay expresiones mas simplificadas, pero como he comentado, estoy empezando.

patron = """
(?P<host>\d{1,3}[.]\d{1,3}[.]\d{1,3}[.]\d{1,3})                     #host 
(\s[-]\s)                                                           #separador
(?P<user_name>\w+|-)                                                #user_name
(\s[[])                                                             #separador
(?P<time>\d\d[/]\w+[/]\d\w+[:]\d\d[:]\d\d[:]\d\d\s[-]\d{4})         #time
([]]\s["])                                                          #separador
(?P<request>[A-Z]\w+\s[/]\w+[/])                                    #request
"""

Ya por último aplico el patrón con un finditer

for item in re.finditer(patron, logdata2, re.VERBOSE):
    print(item.groupdict())

El problema lo tengo justo en la última parte del patrón, en la parte de "request" ya que hay dos tipos de 'roots':

1.- ruta directa: POST /incentivize HTTP/1.1

2.- ruta "con varias carpetas": DELETE /virtual/solutions/target/web+services HTTP/2.0

Y ya por fin la pregunta, cómo puedo hacer para que la expresión regular me cumpla ambas condiciones? Si no estuvieran las "/" haría un \w+ y ya estaría casi pero al tener las barras me pierdo.

Un saludo, gracias y disculpar por la turra!

4
  • qué tal cambiando \w+ por [/+\-\w]+? Obviamente se puede agregar cualquier otro caracter dentro de la clase de caracteres, el + repite a toda la clase
    – Pollo
    el 6 may. 2021 a las 4:47
  • 1
    ...o generalizarlo aún más con \S+ o similar, tal cual ya te había respondido CandidMoe en tu pregunta previa
    – Pollo
    el 6 may. 2021 a las 4:57
  • Pollo, me funcionaron ambas. Muchas gracias. Es que estaba empezando a entender y me ha costado asentar los conocimientos. Por cierto me puedes explicar como funciona exactamente esta expresión que me has puesto: [/+\-\w]+. Gracias de nuevo!
    – Rafael
    el 6 may. 2021 a las 6:16
  • [/+\-\w] coincide con 1 solo caracter, que puede ser /, +, -, o cualquiera de los caracteres de \w (es decir 0-9_a-zA-Z)... [/+\-\w]+ coincide con 1 o más de esos caracteres... Hay varios tutoriales listados en la info de la etiqueta regex es.stackoverflow.com/tags/regex/info
    – Pollo
    el 6 may. 2021 a las 6:22

1 respuesta 1

2

El problema es que estás sobrespecificando el patrón de búsqueda. Nunca hay que sobreespecificar; hay que hacer la expresión regular más simple que reconozca lo que nos interesa.

La solución es buscar la descripción más corta que capture el campo request:

 "DELETE /virtual/solutions/target/web+services HTTP/2.0"

La descripción más corta es 'algo encerrrado entre cremillas dobles y seguido de un espacio', lo que se expresa asi:

'"(?P<request>[^"]+) '

[La expresión se lee: comienza con cremillas dobles, seguida todos los caracteres hasta la última cremilla doble antes de un espacio en blanco en la línea]

No estoy interesando en el contenido del campo request, pues no lo estoy validando. Puede tener "/", o "\", o cualquier otra cosa, da igual.

Demo

import re

datos = ['146.204.224.152 - feest6811 [21/Jun/2019:15:45:24 -0700] "POST /incentivize HTTP/1.1" 302 4622',
        '197.109.77.178 - kertzmann3129 [21/Jun/2019:15:45:25 -0700] "DELETE /virtual/solutions/target/web+services HTTP/2.0" 203 26554',
        '156.127.178.177 - okuneva5222 [21/Jun/2019:15:45:27 -0700] "DELETE /interactive/transparent/niches/revolutionize HTTP/1.1" 416 14701',
        '100.32.205.59 - ortiz8891 [21/Jun/2019:15:45:28 -0700] "PATCH /architectures HTTP/1.0" 204 6048',
        '168.95.156.240 - stark2413 [21/Jun/2019:15:45:31 -0700] "GET /engage HTTP/2.0" 201 9645',
        '71.172.239.195 - dooley1853 [21/Jun/2019:15:45:32 -0700] "PUT /cutting-edge HTTP/2.0" 406 24498',
        '180.95.121.94 - mohr6893 [21/Jun/2019:15:45:34 -0700] "PATCH /extensible/reinvent HTTP/1.1" 201 27330',
        '144.23.247.108 - auer7552 [21/Jun/2019:15:45:35 -0700] "POST /extensible/infrastructures/one-to-one/enterprise HTTP/1.1" 100 22921',
        '2.179.103.97 - lind8584 [21/Jun/2019:15:45:36 -0700] "POST /grow/front-end/e-commerce/robust HTTP/2.0" 304 14641',
        '241.114.184.133 - tromp8355 [21/Jun/2019:15:45:37 -0700] "GET /redefine/orchestrate HTTP/1.0" 204 29059',
        '224.188.38.4 - keebler1423 [21/Jun/2019:15:45:40 -0700] "PUT /orchestrate/out-of-the-box/unleash/syndicate HTTP/1.1" 404 28211',
        '94.11.36.112 - klein8508 [21/Jun/2019:15:45:41 -0700] "POST /enhance/solutions/bricks-and-clicks HTTP/1.1" 404 24768']

patron = re.compile('(?P<ip>\S+) - (?P<user>\S+) \[(?P<time>.+)\] "(?P<request>[^"]+) ')


for linea in datos:
    m = patron.match(linea)
    if m:
        print(m.groupdict())

produce:

{'ip': '168.95.156.240', 'user': 'stark2413', 'time': '21/Jun/2019:15:45:31 -0700', 'request': 'GET /engage HTTP/2.0'}
{'ip': '71.172.239.195', 'user': 'dooley1853', 'time': '21/Jun/2019:15:45:32 -0700', 'request': 'PUT /cutting-edge HTTP/2.0'}
{'ip': '180.95.121.94', 'user': 'mohr6893', 'time': '21/Jun/2019:15:45:34 -0700', 'request': 'PATCH /extensible/reinvent HTTP/1.1'}
{'ip': '144.23.247.108', 'user': 'auer7552', 'time': '21/Jun/2019:15:45:35 -0700', 'request': 'POST /extensible/infrastructures/one-to-one/enterprise HTTP/1.1'}
{'ip': '2.179.103.97', 'user': 'lind8584', 'time': '21/Jun/2019:15:45:36 -0700', 'request': 'POST /grow/front-end/e-commerce/robust HTTP/2.0'}
{'ip': '241.114.184.133', 'user': 'tromp8355', 'time': '21/Jun/2019:15:45:37 -0700', 'request': 'GET /redefine/orchestrate HTTP/1.0'}
{'ip': '224.188.38.4', 'user': 'keebler1423', 'time': '21/Jun/2019:15:45:40 -0700', 'request': 'PUT /orchestrate/out-of-the-box/unleash/syndicate HTTP/1.1'}
{'ip': '94.11.36.112', 'user': 'klein8508', 'time': '21/Jun/2019:15:45:41 -0700', 'request': 'POST /enhance/solutions/bricks-and-clicks HTTP/1.1'}

Tu Respuesta

Al pulsar en “Publica tu respuesta”, muestras tu consentimiento a nuestros términos de servicio, política de privacidad y política de cookies

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.