Te presento un par de propuestas... Es posible que hayan mejores soluciones u otra estructura mejor pero es lo que se me ocurren de manera rápida respetando tu estructura.
Creando las tablas e insertando datos...
CREATE TABLE IF NOT EXISTS `hospital` (
`id_hospital` int NOT NULL,
`nomHospital` varchar(50) NOT NULL,
PRIMARY KEY (`id_hospital`)
) DEFAULT CHARSET=utf8;
CREATE TABLE IF NOT EXISTS `medico` (
`id_medico` int NOT NULL,
`nombre` varchar(50) NOT NULL,
`categoria` varchar(1) NOT NULL,
`hospital_id` int NOT NULL,
PRIMARY KEY (`id_medico`)
) DEFAULT CHARSET=utf8;
INSERT INTO `hospital` (`id_hospital`, `nomHospital`) VALUES
(1, 'Hospital_1'),
(2, 'Hospital_2');
INSERT INTO `medico` (`id_medico`, `nombre`, `categoria`, `hospital_id`) VALUES
(1, 'Alejandro', 'A', 1),
(2, 'Carlos', 'B', 1),
(3, 'Maria', 'A', 1),
(4, 'Enrique', 'A', 2);
Consultando datos, propuesta uno...
select b.nomHospital, a.categoria, count(a.categoria) as cantidad
from medico a
inner join hospital b on a.hospital_id = b.id_hospital
group by a.categoria, a.hospital_id
Salida:

Consultando datos, propuesta dos...
select nomHospital Hospital,
(
select count(a.hospital_id)
from medico a
where a.categoria = 'A'
and a.hospital_id = b.id_hospital
) categoria_a,
(
select count(a.hospital_id)
from medico a
where a.categoria = 'B'
and a.hospital_id = b.id_hospital
) categoria_b,
(
select count(a.hospital_id)
from medico a
where a.hospital_id = b.id_hospital
) suma
from hospital b
Salida:

Probado en sqlFiddle
Edición: Agregada la columna para obtener la sumatoria. Puedes comprobar el resultado en tu código o en el recurso que te dejé antes.