Orang tuanya, Eugene dan Gladys Kilmer, bercerai ketika ia masih kecil. Kilmer juga mengalami kehilangan besar saat adiknya, Wesley, meninggal akibat tenggelam pada 1977—tragedi yang terus membekas dalam hidupnya.
Ia melanjutkan pendidikannya di Juilliard School, New York, pada usia 17 tahun dan menjadi salah satu siswa termuda dalam program akting di sana. Ia sempat menulis dan mementaskan drama “How It All Began” saat masih di sekolah. Setelah lulus pada 1981, ia tampil di berbagai produksi teater dan memulai debut Broadway dalam “The Slap Boys” pada 1983.
Pernikahannya dengan aktris Joanne Whalley, yang ia temui di lokasi syuting film “Willow” (1988), berakhir dengan perceraian. Mereka memiliki dua anak, seorang putra dan seorang putri.
Kilmer pernah menetap di sebuah peternakan dekat Santa Fe dan bahkan mempertimbangkan untuk mencalonkan diri sebagai gubernur New Mexico. Dalam sebuah wawancara pada 2012, ia mengungkapkan bahwa ia memilih menjauh dari Hollywood selama lebih dari satu dekade untuk menghabiskan lebih banyak waktu bersama anak-anaknya. *
