El carrito de Woocommerce (Woocommerce Cart como mencionas) está de hecho compuesto por varios archivos. Me acuerdo que hace no mucho tiempo tuve que re-estructurarlo y agregarle/quitarle diferentes secciones. Los archivos relacionados los puedes encontrar en la siguiente carpeta:
/templates/cart
Modificando cualquiera de esos archivos, podrás personalizar la forma en que se ve el carrito de Woocommerce.
PD: No modifiques directamente los archivos base de Woocommerce, pues si se actualiza Woocommerce vas a perder los cambios (a demás de no ser recomendado editar directamente un plugin). Te recomiendo crear un Child Theme y poner ahí los archivos modificados (o sobre-escribir las plantillas mediante un plugin personalizado). Una práctica bastante usada, si es que ya tienes un tema activo y no quieres crear un Child Theme, es crear una carpeta woocommerce dentro del tema actual y poner los archivos modificados ahí, siguiendo la misma estructura que la del plugin (es probable que ya tengas aquella carpeta en el tema actual que utilizas, si es que este es compatible con Woocommerce).
Puedes ver un pequeño artículo que justo habla sobre eso:
http://blog.aulaformativa.com/consultorio-desarrollo-web/