Masjid ini berarsitektur Jawa, dengan warna bangunan hijau muda dan beratap limasan berundak tiga.
Bangunan utama Masjid Jawa berukuran 12x12 meter dengan empat pilar sebagai penyangga.
Selain sisi arah kiblat, di tiga sisi lainnya terdapat masing-masing tiga pintu kayu.
Di luar bangunan utama, terdapat serambi dengan empat pintu yang terbuat dari jeruji besi.
Di luar bangunan utama, terdapat serambi dengan empat pintu yang memiliki sebuah mimbar kayu dilengkapi dengan tangga.
Ada dua bangunan utama, yaitu masjid dan madrasah yang berbentuk rumah panggung.
Kemudian di seberang masjid ada tempat pemakaman Islam.
Lokasi sekitar Masjid Jawa ini dinamakan sebagai Kampung Jawa, disini tinggal cucu KH Ahmad Dahlan yang merupakan tokoh Islam di Indonesia.
Nama sang cucu adalah Walidah Dahlan.
Saat ini kampung Jawa dihuni oleh keturunan Jawa yang ketiga.
Walaupun hanya beberapa dari mereka yang masih bisa bahasa Jawa namun beberapa tradisi Jawa masih mereka lakukan.
Misalnya tradisi kenduren, tiga hari, tujuh hari setelah ada yang meninggal masih dilakukan.