Entiendes bien esto que comentas: 

> "entiendo que debería tener una referencia de mi videoview dentro de
> mi holder"


En tu clase "Holder" obtén la referencia del `VideoView`:


    public class ViewHolderDatos extends RecyclerView.ViewHolder {
            VideoView videoView;
            ...
            ...
            public ViewHolderDatos(View itemView) {

                videoView = (VideoView)itemView.findViewById(R.id.videoview);
                ...
                ...
            }
        }


En el listener del 


    @Override
    public void onBindViewHolder(@NonNull ViewHolderDatos holder, int position) {
    
    
        holder.asignarDatos(listDatos.get(position));
        final int pos = position;
    
        holder.dato.setOnClickListener(new View.OnClickListener() {
            @Override
            public void onClick(View v) {
            posicionmarcada = pos;

           //Obtiene y reproduce video
           int rawVideoId = getResources().getIdentifier(listDatos.get(position),  "raw", getPackageName());
            String path = "android.resource://" + getPackageName() + "/" + rawVideoId;
            holder.videoView.setVideoURI(Uri.parse(path));
            holder.videoView.start();
 
            notifyDataSetChanged();
            }
        });
    
        if (posicionmarcada==position){
    
    
            listDatos.get(position);
    
        }
    }