Uno de los puntos que te puede dar problemas es que en la función de agregación pasas a la columna entre comillas, eso haría que se tome como una cadena de texto simplemente.
Anexo a lo anterior tienes un problema con el uso de comillas pues tanto para la sentencia como para el valor de SUM
usas el mismo tipo, lo mas simple creo que sería la sentencia se envuelva en comillas dobles (pero de nuevo el punto anterior importa y mucho)
Aparte de eso puedes emplear 2 funciones de agregación SUM
para obtener la sumatoria de 2 columnas, pues al momento nadamás los valores de una
Detalle menor pero yo usaría el método selectRaw
para componer una consulta un tanto mas legible
Por otro lado el resto de columnas en tu SELECT
que no se pasan en una función de agregación deberían estar en tu GROUP BY
Propongo entonces:
$movimientos = Movimiento::selectRaw('SUM(movimientos.cantidad) + SUM(otraTabla.otracolumna) AS Total,
movimientos.codigo_material,
diferencias.cantidad
')
->join('diferencias','diferencias.codigo_material','=','movimientos.codigo_material')
->groupBy('movimientos.codigo_material', 'diferencias.cantidad')
->get();
En relación al agrupamiento recomiendo leas la respuesta de @gbianchi