Pondok Pesantren Al Madani terletak di Jl. Purwasari No 02 Dusun Kliwon RT 01 RW 01 Desa Purwasari Kecamatan Garawangi Kabupaten Kuningan Jawa Barat 45571. Pemilihan lokasi tersebut berdasarkan tanah yang dimiliki oleh abah H.Kholil. Pada awal mula pendirian pesantren, di tanah tersebut sudah ada Masjid yang selesai dibangun pada tahun 1998. Sebelum digunakan untuk pesantren, masjid tersebut dijadikan sebagai Markaz Da’wah se-wilayah Kuningan. Beberapa bulan kemudian, dibangunlah rumah yang akan ditempati oleh KH. Burhan Kholil.

Pada tahun 1999, setelah KH. Burhan Kholil menyelesaikan studi di Pakistan, dibentuklah Jamaah Da’wah Tabligh yang akan melakukan khuruuj 4 bulan ke Sulawesi. Salah satu jamaah 4 bulan tersebut adalah H.Djuanda, yang juga merupakan pendiri Pondok Pesantren Al-Madani. Sesampainya beliau di Sulawesi, beliau bertemu dengan Masyarakat dari berbagai kalangan usia, tua maupun muda. Dalam pertemuan terssbut, H.Djuanda sempat memberitahukan keberadaan Pondok Pesantren yang baru didirikan olehnya dan kedua adiknya. Ternyata para pemuda di Sulawesi banyak yang berminat ikut ke Jawa untuk belajar di pesantren yang diberitahukan oleh H. Djuanda tersebut yang saat itu belum ada santri sama sekali. Akhirnya, 6 orang pemuda Sulawesi ikut ke Jawa Bersama dengan H. Djuanda dan para Jamaah. Keenam pemuda inilah yang menjadi santri pertama Pondok Pesantren Al-Madani. Selama di pesantren, biaya hidup dan mondok keenam pemuda ini ditanggung penuh oleh H. Djuanda. Seiring berjalannya waktu, pengembangan fasilitas pondok terus dilaksanakan, santri yang bermula hanya 6 orang, tahun demi tahun semakin bertambah hingga saat ini tahun 2024, santri Pondok Pesantren Al-Madani sudah mencapai ±900 santri yang berasal dari seluruh daerah di Indonesia