Menjelajah Kotagede belum lengkap jika belum mengunjungi Masjid Gedhe Mataram Kotagede. Masjid ini merupakan masjid tertua di Yogyakarta yang dibangun oleh Sultan Agung pada tahun 1640 M. Pembangunan masjid dilakukan secara bergotong royong dengan masyarakat sekitar yang umumnya masih memeluk agama Hindu dan Budha. Masjid Gedhe Mataram sendiri berada di komplek pemakaman raja-raja Mataram yang beralamatkan di Dusun Sayangan RT 04 Jagalan, Kecamatan Baguntapan, Kabupaten Bantul.
Memasuki areal halaman masjid akan didapati sebuah pohon beringin tua berusia ratusan tahun yang masyarakat sekitar menyebutnya Wringin Sepuh. Konon bagi siapa saja yang bertapa di bawah pohon beringin hingga mendapati dua lembar daun beringin jatuh dengan posisi satu menelungkup satu terlentang maka keinginannya akan terkabulkan.
Secara admintrasi masjid ini masuk ke dalam wilayah Dusun Masjid Agung Mataram Kotagede bisa ditemukan dengan menyusuri jalan di sebelah barat pasar Kotagede, lalu ikuti Jalan Watu Gilang ke arah selatan hingga menemukan papan nama Masjid Agung Mataram Kotagede dan Makam Raja Mataram Kotagede.
Sebelum memasuki komplek masjid, akan melewati gapura berbentuk paduraksa dengan tembok bertuliskan huruf L. bantuk paduraksa dan huruf L tersebut merupakan bentuk toleransi Sultan Agung pada warga Hindu dan Buddha yang ikut bergotong royong membangun masjid.
Di bagian depan komplek masjid, ada sebuah prasasti berbentuk bujur sangkar yang diatasnya terdapat lambang Kasunan Surakarta yang menyebutkan bahwa pembangunan masjid dilakukan dua tahap. Tahap pertama dilakukan pada masa Sultan Agung. Pada tahap ini dilakukan pembangunan inti masjid berukuran kecil yang disebut Langgar. Tahap kedua dilaksanakan oleh Raja Kasunan Surakarta, Paku Buwono X. Perbedaan bangunan yang didirikan oleh Sultan Agung dan Paku Buwono X adalah pada bagian tiang. Tiang masjid yang dibangun oleh Sultan Agung berasal dari kayu, sedangkan Paku Bowono X memakai besi sebagai tiang masjid.
Secara keseluruhan, bangunan masjid berbentuk limasan yang terbagi menjadi dua, inti dan serambi. Disini terdapat Bedug yang usianya sudah cukup tua yang merupakan hadiah dari Nyai Pringgit. Sampai sekarang, bedug masih digunakan sebagai penanda masuk waktu sholat.
Di sekeliling inti masjid, terdapat parit yang dulunya digunakan sebagai saluran drainase air wudlu di sebelah utara masjid. Kini, warga memperbaiki parit dan memasanga porselen di dasar parit dan menggunakannya untuk tempat memelihara ikan. Untuk memudahkan jamaah yang hendak beribadah, dibuat jembatan kecil yang terbuat dari kayu-kayu yang disusun berderet.
Di dalam masjid terdapat mimbar yang terdapat dari kayu ukir yang merupakan hadiah dari Sultan Palembang kepada Sultan Agung. Dulunya mimbar ini digunakan berkhotbah namun kini sudah tidak dipergunakan lagi.
Berjalan mengitari masjid maka akan ditemukan perbedaan tembok di sebelah kiri halaman masjid. Tembok kiri tersusun atas batu-bata merah dan terdapat batu marmer bertuliskan kalimat dalam aksara jawa. Ternyata tembok sebelah kiri merupakan tembok yang dibangun pada mas Sultan Agung yang menggunakan air aren yang dapat membatu sebagai perekatnya sehingga tembok lebih kuat.
Menuju Masjid Gedhe Mataram Kotagede bisa dari jalan sebelah barat pasar, setelah itu lurus megikuti jalan Watu Gilang ke arah selatan sampai menemukan sebuah papan nama Masjid Agung Kotagede dan makam Raja Mataram Kotagede.