Hay muchas formas de hacerlo, yo te aporto una la cual creo que es de las más sencillas.
Primero añade un id a tu ul en tu archivo .html:
<ul id="MiLista">
<li>Muestra 1</li>
<li>Muestra 2</li>
<li>Muestra 3</li>
<li>Muestra 4</li>
<li>Muestra 5</li>
<li>Muestra 6</li>
</ul>
Y en el archivo .js:
function promptTexto(){
var linuevoLi = document.createElement("LI");
var texto = document.createTextNode(prompt("Texto: "));;
linuevoLi.appendChild(texto);
document.getElementById("MiLista").appendChild(linuevoLi);
}
Llama a tu función de tal forma que cree el elemento li, pregunte por el texto, asigne el texto al li y lo inserte en el elemento con id "MiLista", el cual en este caso, hace referencia a tu ul.
Aquí tienes un ejemplo del funcionamiento: Ejemplo.
Cualquier duda no dudes en comentármela.