Las variables claramente permanecen en 0 durante toda la ejecución del programa.
Llegado a cierto punto se produce una operación que no da un resultado válido y obtienes NaN.
Particularmente se produce cuando se divide 0 por 0 o cuando se intenta calcular la raíz cuadrada de un número negativo. Más información.
Al asignar una variable o pasarla como argumento a una función, se crea una copia de su contenido. De modo que la variable original no se altera.
Puede parecer contradictorio con objetos. Ya que si pasas un objeto, los cambios se ven reflejados en la variable original.
Ahí está la cuestión. Las variables de tipo object guardan una referencia (la dirección en memoria) a una instancia. Al copiar una variable de este tipo se crea una copia de la referencia y no de la instancia.
Dicho esto, los campos de la línea
static double a,b,c,x,p,inicio,fin;
Son ocultados por los parámetros de la función:
public static void ecuacion (double a, double b,double c,double p,double inicio,double fin)
La solución más simple es quitar los parámetros de la función y usar directamente los campos estáticos:
public static void main(String[] args) {
ecuacion();
metodo();
}
public static void ecuacion() {
// ...
}
public static void metodo() {
// ...
}