Lo que buscas es aplicar por fila un calculo como este:

    (fila_x %*% B) %*% t(fila_x)

Ciertamente el resultado en este caso sería un matriz de 1 x 1, pero tal vez te encontraste con un problema por eso en tu formula indicas la  multiplicación elemento a elemento `*`, y este es un problema causado por un  comportamiento por defecto de R, muchas veces cuestionado, que es la promoción, cuando corresponde, de un objeto más complejo a uno más simple, en este caso, cuando seleccionas una sola fila, por ej: `A[1, ]` obtienes un vector simple y no una matriz, por lo que la multiplicación matricial dejaría de funcionar como tal. Esto se puede corregir mediante el parámetro `drop`:
 

    A[1, ]
    [1] 1 0 0
    
    A[1, , drop=FALSE]
         [,1] [,2] [,3]
    [1,]    1    0    0
     
    dim(A[1, ])             # Un vector simple no tiene dimensiones
    NULL
    
    dim(A[1, , drop=FALSE]) # una matriz si
    [1] 1 3

Entendiendo que siendo tal vez este el problema que moviliza tu pregunta, podría sugerirte algunos cambios en tú código:

    result <- data.frame()
    for(i in 1:dim(A)[1]) {
      operacion = (A[i, , drop = FALSE] %*% B) %*% t(A[i, , drop=FALSE])
      result = rbind (result, operacion)
    }
    result

              V1
    1 0.06273800
    2 0.05966857
    3 0.08249114
    4 0.96722515


Simplemente vamos iterando por fila y aplicamos la formula pero esta vez asegurándonos que siempre trabajemos con matrices.

También puedes simplificar todo en una sola línea y evitas el potencial problema de usar `rbind` dentro de un ciclo que tiene una penalidad importante en performance:

    sapply(1:dim(A)[1], 
           FUN = function(i){(A[i, , drop = FALSE] %*% B) %*% t(A[i, , drop=FALSE])})

    [1] 0.06273800 0.05966857 0.08249114 0.96722515