Ketika KH. Asyhari Marzuqi masih di Baghdad, ayahnya telah berusaha membuat tempat pengabdian dan pengajaran ilmu ketika kelak putranya kembali ke tanah air. Awalnya, ia memberikan pilihan kepada putra pertamanya itu untuk meneruskan perjuangannya di Giriloyo dengan mengasuh pesantren di sana. Tetapi, KH. Asyhari Marzuqi punya pikiran dan pertimbangan lain.
Bagi Kiai Asyhari, pesantren tidaklah harus didirikan di daerah kampung yang tradisional, jauh dari akses kota. Justru harus ada penyebaran dakwah dengan mengembangkan pesantren di tempat-tempat strategis. Selain itu, KH. Asyhari sebenarnya tidak ingin akses pengetahuannya terkekang sehingga untuk mengakses perkembangan
informasi mutakhir menjadi terhambat. Apalagi, kebiasaannya yang cepat menerima informasi terkini membuat beliau berkeinginan tetap pada tempat yang mudah mengakses informasi dan ilmu. Maka, Kiai Asyhari justru menghendaki adanya pesantren yang tidak jauh dari perkotaan.
Kiai Marzuqi berikhtiar. Dicarilah tanah yang dekat dengan kota. Ada tanah strategis di daerah Gedongkuning, Banguntapan, Bantul. Tetapi, belum sempat diseriusi, ada tawaran tanah wakaf di daerah Kotagede. Awalnya, tanah tersebut diserahkan ke ayah H. Abdul Muhaimin yang bernama Marzuki agar dapat digunakan untuk kepentingan umat Islam.
Tetapi, hingga meninggal tanah tersebut belum termanfaatkan. Kemudian H. Abdul Muhaimin menawarkan ke KH. Tolhah Mansyur, tetapi beliau tidak sanggup memanfaatkan tanah tersebut. Kemudian ditawarkan juga kepada KH. Syaiful Mujab yang saat itu menjabat sebagai Ketua Tanfidziyah PW NU DIY. Oleh Kiai Syaiful, tanah tersebut ditawarkan kepada R.H. Suwardiyono, wakilnya di NU.
R. H. Suwardiyono adalah tokoh NU yang sangat dekat dengan KH. Ahmad Marzuqi Romli. Beliau sowan dan mengutarakan akan adanya tanah wakaf yang belum dimanfaatkan dengan baik. Maka, Kiai Marzuqi lantas memerintahkan santrinya, Kiai Nur Hadi Abdullah, untuk bersama-sama mengurus tanah tersebut. Tanah tersebut ditelusuri kepemilikannya.
Setelah ditelusuri, sesuai dengan petunjuk pada surat-surat tanah yang ada, tanah tersebut ternyata atas nama Haji Anwar yang beralamat di Kepunton, Solo. Beliau adalah orang tua dari Haji Muslim, pemilik Wisma Proyodanan Kotagede Yogyakarta. Ahli waris Haji Anwar adalah Siti Salimah Priyomulyono, Hj. Siti Djufainah Muslim Anwar Pranoto, M. Djahid Anwar, H.M Dja’far Anwar Martono, H. M. Djalil Anwar Prajarto, S.H., Dr. M. Djohar Anwar, Dra. Hj. Siti Djuwairiyah Anwar, dan Ir. M. Djailani Anwar. Ahli-ahli waris tersebut memberikan kuasa kepada Muslim Anwar Pranoto untuk mengurus perwakafan tanah kepada Yayasan Pendidikan Bina Putra.
Yayasan ini didirikan pada tanggal 12 Rabi‘ul Awal 1402 H / 08 Januari 1982 M oleh R.H. Suwardiyono, B.A., yang sekaligus sebagai ketuanya serta dibantu oleh beberapa orang yang kemudian menjadi pengurus yayasan pada periode pertama.
Yayasan inilah yang kemudian bertindak sebagai pelaksana dan pengelola pembangunan Pesantren Nurul Ummah pada masa-masa awal. Tujuan pendirian yayasan ini adalah menyelenggarakan pendidikan untuk membentuk manusia yang taqwa, berbudi pekerti mulia, percaya diri, hidup bermasyarakat secara kekeluargaan, cakap dan demokratis, serta bertanggung jawab kepada bangsa, negara, dan Allah Yang Maha Esa.
Pondok Pesantren Nurul Ummah berdiri sejak tahun 1986. Peletakkan batu pertama dilaksanakan pada tanggal 9 Februari 1986 oleh KH Asyhari Marzuqi, KH Nawawi Ngrukem, dan disaksikan oleh keluarga Krapyak.
Sementara untuk upacaranya baru dilaksanakan dua hari kemudian yakni pada tanggal 11 Februari 1986 yang dihadiri oleh Wali Kota Yogyakarta; Sugiarto, Pengurus Wilayah Nahdlatul Ulama DIY, dan masyarakat.
Sementara itu, pemberian nama “Nurul Ummah” di samping merupakan salah satu usulan dari H. Ahmad Arwan Bauis, S.H, adalah hasil musyawarah bersama yang kemudian menyetujuinya sebagai nama pesantren tersebut. Dengan dipilihnya nama “Nurul Ummah” yang berarti “Cahaya Umat” ingin menggapai kebahagiaan dunia dan akhirat (al-sa’âdah fi al-dârayn).
Sebagai suatu lembaga, secara legal formal, PP. Nurul Ummah didaftarkan ke Departemen Agama dan mendapatkan nomor piagam pondok pesantren dari Kantor Departemen Agama Propinsi Daerah Istimewa Yogyakarta, yang ditandatangani oleh Drs. H. Abdur Rosyad, kepala bidang Pembinaan Perguruan Agama Islam dengan nomor A. 8655 tertanggal 06 Juli 1986.
