SOLUCIONADO!
No me podia ir a dormir sin hacerlo... Digamos que el problema que me daba antes, era que si que podia hacer scroll pero con un dedo presionar el texto y con el otro tirar arriba o abajo para hacer scroll... ahora ya lo hace como debe de hacerlo, si presionas con un dedo en el texto y arrastras se mueve, la logica de TextView de cualquier texto que no puedes ver... os dejo el codigo XML a continuacion:
<FrameLayout
android:layout_width="match_parent"
android:layout_height="wrap_content">
<android.support.v7.widget.CardView xmlns:card_view="http://schemas.android.com/apk/res-auto"
android:id="@+id/cv"
android:layout_width="match_parent"
android:layout_height="100dp"
android:fitsSystemWindows="true"
android:isScrollContainer="true"
card_view:cardCornerRadius="@dimen/cardview_default_radius"
card_view:cardElevation="@dimen/cardview_default_elevation"
card_view:cardUseCompatPadding="true">
<android.support.v4.widget.NestedScrollView
android:layout_width="match_parent"
android:layout_height="wrap_content">
<LinearLayout xmlns:android="http://schemas.android.com/apk/res/android"
android:layout_width="match_parent"
android:layout_height="match_parent"
android:paddingBottom="12dp"
android:gravity="center"
android:paddingLeft="@dimen/activity_horizontal_margin"
android:paddingRight="@dimen/activity_horizontal_margin"
android:paddingTop="20dp">
<com.bluejamesbond.text.DocumentView
android:id="@+id/dv"
android:layout_width="match_parent"
android:layout_height="match_parent"
android:layout_gravity="center"
android:scrollbarStyle="insideInset"
android:textAppearance="@style/TextAppearance.AppCompat.Body2"/>
</LinearLayout>
</android.support.v4.widget.NestedScrollView>
</android.support.v7.widget.CardView>
</FrameLayout>
Espero que le sirva de curiosidad a alguien!