Si es por incluir el footer y el navbar, solo debes crear los archivos html dentro de las carpetas include:
_includes/
footer.html
navbar.html
Cuando ya tengas listos tus diseños, luego los incluyes en las páginas específicas donde los necesitas., con el código:
<body>
{% include navbar.html %}
///contenido
{% include footer.html %}
</body>
En la documentación, oficial de Jekyll sobre los includes hacen un ejemplo con un footer precisamente.