El problema al hacer `setVisibility` a `Gone`, es que el marco del item ya fue dibujado, porque se llamo `onCreateViewHolder` y esta tomando un espacio en el `RecyclerView`. Lo que debes hacer es cambiarle los parametros de la vista y volver su altura a cero. Esto hará que desaparezca dicha vista. Pero como en el `onBindViewHolder` se reciclaran dichas vistas. Debes volverla a su estado original.

En la clase del holder debes hacer:

    private final View itemView;

En tu constructor:

    {
    . . .
       this.itemView = itemView;
    . . .
    }

Crea los métodos:

    public void hideView(){
        /*Tipo del layout padre*/.LayoutParams parameters = new /*Tipo del layout padre*/.LayoutParams(/*Width declarado en tu layout*/, 0);
        this.itemView.setLayoutParams(parameters);
       
    }
    
    public void resetView(){
        /*Tipo del layout padre*/.LayoutParams parameters = new /*Tipo del layout padre*/.LayoutParams(/*Width original definido en tu layout*/, /*Height original definido en tu layout*/);
        this.itemView.setLayoutParams(parameters);
    }

**Nota:** tanto para el `Width` como para el `Height` en los parametros puedes asignar: `ViewGroup.LayoutParams.MATCH_PARENT` o  `ViewGroup.LayoutParams.WRAP_CONTENT` según hayas definido en el `Layout` de tu Item, si no definiste un tamaño fijo. Mientras que con el tipo de Layout padre me refiero a:

 - LinearLayout 
 - FrameLayout
 - RelativeLayout

etc... El que tengas de padre en el `Layout` de los Items.

En el `onBindViewHolder` entonces haces lo siguiente:

    if(position == 1) 
        holder.hideView();
    else
        holder.resetView();
______________
Importante
-

Si tienes alguna regla adicional referente al Layout definida, digase por ejemplo: `orientation`, `margin`, `gravity`, etc... Debes definirla en los LayoutParams de los `metodos creados` también. De lo contrario, se le asignara solo el tamaño de la vista, mas no dichas propiedades. LayoutParams tiene metodos que te ayudan a definir todas esas propiedades en código. Si quieres clonar las propiedades que ya tiene definidas y guardarla en una variable puedes definir un onLayoutChangeListener y removerlo al asignarlas. Asi solo tendrias que igualarla a dichas propiedades en el `resetView();`.