Ia menghabiskan masa kecil di rumah kakeknya di Kroasia.
Sejak kecil Modric tinggal bersama kakeknya di sebuah rumah kecil berlatar bukit-bukit.
Rumah tersebut tersembunyi di lipatan pegunungan Velebit, dengan tetangga terdekat beberapa kilometer jauhnya.
Ia harus tinggal bersama kakeknya karena ayah dan ibunya bekerja mencari nafkah.
Di rumah kakeknya itulah Modric menghabiskan masa kecil sebelum kejadian menyedihkan membuatnya harus pindah dari rumah tersebut.
Rumah kakek Modric ini dibakar oleh tentara Serbia dan membuat Modric bersama kakak perempuannya harus menjadi pengungsi.