Hay varios errores lógicos en este código.

1- En la parte que tratas de imprimir la tabla, si observas estás imprimiendo lo que mandaste vía POST, no la variable que debe acumular los registros `$arrayValues`.

2- La estructura acumulativa `$arrayValues` se está cargando de la siguiente forma: `array(String nombre => String telefono)`. Esto hará que cada vez que quieras meter un nuevo contacto a la agenda se sobreescriba, por lo que siempre tendrá 1 solo registro. La estructura debería ser:

```lang-txt
[
  ['name'=>'Juan Pérez', 'telephone'=>'12345'],
  ['name'=>'Jorge García', 'telephone'=>'56789'],
  ...
]
```

3- Cuando le das clic al botón "Enviar", el script se vuelve a ejecutar desde el principio y todas las variables "mueren" por lo que pierdes el valor de `$arrayValues`. Obviamente, la mejor forma de resolver esto es ... *usando Base de Datos*. <br />
En tu caso no puedes usar, entonces lo que debes hacer es tratar de re-enviar la data que ya existe en `$arrayValues` para seguir usándola en la siguiente ejecución. Una forma puede ser usando [sesiones](https://www.php.net/manual/es/book.session.php), o la otra es enviando el array vía `POST` desde el formulario.<br />
En este caso usaré la 2da opción. Pero no se puede enviar un array así por así, primero hay que [serializarlo](https://stackoverflow.com/a/14071733/1545868) y cuando lo captures de des-serializa.

```lang-php
<?php
    $arrayValues = [];
    if($_SERVER["REQUEST_METHOD"] == "POST") {
        $arrayValues = unserialize($_POST['arrayValues']);
        $name = test_input($_POST["name"]);
        $telephone = test_input($_POST["telephone"]);
        $arrayValues[] = ['name'=>$name, 'telephone'=>$telephone];
    }

    function test_input($data) {
        $data = trim($data);
        $data = stripcslashes($data);
        $data = htmlspecialchars($data);
        return $data;
    }
?>
<h1>App-Agenda</h1>
<table>
    <thead>
        <tr>
            <th>Nombre</th>
            <th>Nº de teléfono</th>
        </tr>
    <thead>
    <tbody>
        <?php
        foreach($arrayValues as $row) {
            ?>
            <tr>
                <td><?php echo $row['name'];?></td>
                <td><?php echo $row['telephone'];?></td>
            </tr>
        <?php
        }
        ?>
    </tbody>
</table>

<h2>Formulario</h2>
<form method="post" action="<?php echo htmlspecialchars($_SERVER["PHP_SELF"]);?>">
    <input type="hidden" name="arrayValues" value="<?php echo htmlentities(serialize($arrayValues));?>">
    Nombre: <input type="text" name="name">
    <br><br>
    Nº de teléfono: <input type="number" name="telephone">
    <br><br>
    <input type="submit" name="submit" value="Enviar">
</form>
```