SOLUCIONADO!

No me podia ir a dormir sin hacerlo... Digamos que el problema que me daba antes, era que si que podia hacer scroll pero con un dedo presionar el texto y con el otro tirar arriba o abajo para hacer scroll... ahora ya lo hace como debe de hacerlo, si presionas con un dedo en el texto y arrastras se mueve, la logica de TextView de cualquier texto que no puedes ver... os dejo el codigo XML a continuacion:

    <FrameLayout
        android:layout_width="match_parent"
        android:layout_height="wrap_content">

        <android.support.v7.widget.CardView xmlns:card_view="http://schemas.android.com/apk/res-auto"
            android:id="@+id/cv"
            android:layout_width="match_parent"
            android:layout_height="100dp"
            android:fitsSystemWindows="true"
            android:isScrollContainer="true"
            card_view:cardCornerRadius="@dimen/cardview_default_radius"
            card_view:cardElevation="@dimen/cardview_default_elevation"
            card_view:cardUseCompatPadding="true">

            <android.support.v4.widget.NestedScrollView
                android:layout_width="match_parent"
                android:layout_height="wrap_content">

                <LinearLayout xmlns:android="http://schemas.android.com/apk/res/android"
                    android:layout_width="match_parent"
                    android:layout_height="match_parent"
                    android:paddingBottom="12dp"
                    android:gravity="center"
                    android:paddingLeft="@dimen/activity_horizontal_margin"
                    android:paddingRight="@dimen/activity_horizontal_margin"
                    android:paddingTop="20dp">

                    <com.bluejamesbond.text.DocumentView
                        android:id="@+id/dv"
                        android:layout_width="match_parent"
                        android:layout_height="match_parent"
                        android:layout_gravity="center"
                        android:scrollbarStyle="insideInset"
                        android:textAppearance="@style/TextAppearance.AppCompat.Body2"/>

                </LinearLayout>
            </android.support.v4.widget.NestedScrollView>
        </android.support.v7.widget.CardView>
    </FrameLayout>
</LinearLayout>

Espero que le sirva de curiosidad a alguien!