loLo que quieres obtener es la diferencia entre dos arreglos, para ello puedes usar la libreria underscore para hacerlo de manera mas simple y con menos lineas de codigo, ya que esta libreria aplica programacion funcional(sin estados de variables).
ejemplo:
$a=[1,2,3,4,5,6,7,8,9,10];
$b=[1,4,8]
__::difference($a, $b);
result:
[2,3,5,6,7,9,10]
referenciaReferencia de la libreria en php https://brianhaveri.github.io/Underscore.php/
estaEsta misma libreria existe para javascript http://underscorejs.org/