Masjid ini dahulu bentuknya menyerupai sebuah padepokan berarsitektur khas Jawa Barat dengan dua buah menara pada sisi kiri dan kanannya. Ia dibangun bersamaan dengan dibangunnya pendopo Purwakarta, sekaligus sebagai penanda terbentuknya Kota Purwakarta.
Selain bangunan masjid, peninggalan Syekh Baing Yusuf yang masih terpelihara baik di antaranya adalah kitab fikih dan tasawuf berbahasa Sunda dengan tulisan Arab, mushaf dengan tulisan tangan, dan sebuah pedang panjang yang dahulu digunakan sebagai pegangan saat berkhotbah Jumat.
Di bagian belakang masjid terdapat makam Syekh Baing Yusuf yang wafat pada tahun 1854, para pemimpin Kabupaten Karawang, serta sejumlah makam yang masih berkerabat dengan Syekh Baing Yusuf. Setiap Mauludan (menjelang Ramadan dan Rajab) makam Syekh Baing Yusuf banyak diziarahi orang. Mereka tidak hanya berasal dari Purwakarta dan sekitarnya saja, melainkan juga dari daerah lain di Indonesia.
