Tendrías que `UPDATE`ar toda la tabla con los nuevos valores ordenados, una forma de lograrlo es con un query que retorne las prioridades cambiadas dejando espacio entre las prioridades para meter ahí la nueva prioridad, un ejemplo para verlo mas claro:

    CREATE TABLE ACT_Agenda 
        (
          `prioridad` int, 
          `actividad` varchar(10)
        )
    ;
        
    INSERT INTO ACT_Agenda 
        (`prioridad`, `actividad`)
    VALUES
        ('1', 'act1'),
        ('3', 'act3'),
        ('4', 'act4'),
        ('2', 'act2'),
        ('5', 'act5')
    ;

    SET @actividad = 'act5';
    SET @prioridad = 1;
    
    SET @rank=0;
    SELECT 
      prioridad AS prioridadoriginal, 
      actividad, 
      CASE 
        WHEN (actividad=@actividad)
          THEN (@prioridad*2-1)
          ELSE prioridad*2
      END AS prioridadtemporal,
      @rank:=@rank+1 AS nuevaprioridad
    FROM ACT_Agenda
    ORDER BY prioridadtemporal ASC;

verlo funcionando:  http://sqlfiddle.com/#!9/0305b1/1

Ahora para realizar el `UPDATE` basado en un `SELECT` hay que hacer un `JOIN` , algo asi:


    SET @actividad = 'act5';
    SET @prioridad = 3;
    
    SET @rank=0;
    UPDATE ACT_Agenda A
    LEFT JOIN (
      SELECT 
        actividad, 
        CASE 
          WHEN (actividad=@actividad)
          THEN (@prioridad*2-1)
          ELSE prioridad*2
        END AS prioridadtemporal,
        @rank:=@rank+1 AS prioridad
      FROM ACT_Agenda
      ORDER BY prioridadtemporal ASC
      ) AS T on T.actividad = A.actividad
    SET A.prioridad = T.prioridad;

verlo funcionando: http://sqlfiddle.com/#!9/508449/1


Traducido al php armar el query sería algo así:

    $actividad = 'act5';
    $prioridad = intval(3);
    
    $query = "
    SET @rank=0;
    UPDATE ACT_Agenda A
    LEFT JOIN (
      SELECT 
        actividad, 
        CASE 
          WHEN (actividad='{$actividad}')
          THEN ({$prioridad}*2-1)
          ELSE prioridad*2
        END AS prioridadtemporal,
        @rank:=@rank+1 AS prioridad
      FROM ACT_Agenda
      ORDER BY prioridadtemporal ASC
      ) AS T on T.actividad = A.actividad
    SET A.prioridad = T.prioridad;
    ";
    
    echo $query;


verlo online: http://sandbox.onlinephpfunctions.com/code/f0f0ff9e131aa719db5d15eceef78d2ad12eefde

**importante**: tendrás que validar y sanitizar `$actividad` y `$prioridad` antes de armar el query para evitar cosas indeseables. En el ejemplo a `prioridad` lo transformo en un número pero `actividad` tendrás que validarlo según tus reglas.