Basta con que tu htaccess, contenga lo siguiente y que lo guardes en la carpeta raíz de tu proyecto para que funcione

    <IfModule mod_rewrite.c>
    RewriteEngine on
    RewriteCond %{REQUEST_FILENAME} !-d
    RewriteCond %{REQUEST_FILENAME}.php -f
    RewriteRule ^(.*)$ $1.php
    </IfModule>


> Lo único que hemos hecho es declararle que después del punto busque
> cualquier archivo con extensión .php y haga opcional su uso; es decir
> que cargue el archivo sin importar si colocas el nombre completo con
> todo y url o solo el nombre del archivo.

Es decir debe funcionarte bajo los siguiente escenarios

hola.php //funcionará

hola //debe funcionar