Para poder levantar la autenticación con Github debes seguir los siguientes pasos:
1) Registar una aplicación "OAuth" en Github. Para hacerlo debes ir a tu cuenta en Github y buscar:
Settings/Developer Settings/ OAuth Applications
y Registar una nueva aplicación.
Debes llenar un formulario como este:

Debes prestar atención en Authorization Callback URL
debes colocar el que genera al activar la autenticación por Github en la consola de Firebase.

2) Agregar las librerias de firebase
y platform
a tu html
.
<!-- FIREBASE -->
<script src="https://www.gstatic.com/firebasejs/3.6.8/firebase.js"</script>
<!-- GOOGLE -->
<script src="https://apis.google.com/js/platform.js" async defer></script>
3) A continuación debes crear un provider que le diga a Firebase, que usaras la autenticación con Github, creando un provider
:
var provider = new firebase.auth.GithubAuthProvider();
Puedes elegir el ámbito de tu provider del tu método de autenticación, con esto puedes elegir la información a la que tendrás acceso.
y seleccionando el método para iniciar sesión:
firebase.auth().signInWithPopup(provider).then(function(result) {
// This gives you a GitHub Access Token. You can use it to access the GitHub API.
var token = result.credential.accessToken;
// The signed-in user info.
var user = result.user;
// ...
}).catch(function(error) {
// Handle Errors here.
var errorCode = error.code;
var errorMessage = error.message;
// The email of the user's account used.
var email = error.email;
// The firebase.auth.AuthCredential type that was used.
var credential = error.credential;
// ...
});
Con esta información ya estaría funcionando tu aplicación.
¡Exitos!