Pada saat perang dunia ke dua meletus negara Jepang yang saat itu terlibat menjadi sasaran kemarahan Amerika karena pangkalan militernya yaitu Pearl Harbour dihancurkan oleh skuadron bunuh diri Jepang.
Dan akhirnya Amerika pun membalas dengan menjatuhkan bom atom di Hiroshima dan Nagasaki, Kobe adalah sebuah wilayah kecil yang letaknya berdekatan dengan Nagasaki tentunya ikut menerima akibat dari serangan bom atom tersebut, namun di saat hampir semua bangunan di wilayah ini rata dengan tanah, ada satu bangunan yang tetap berdiri kokoh dengan hanya mengalami keretakan di tembok luar dan semua kaca jendelanya pecah.
Adalah Kobe Mosque Masjid pertama di Jepang yang didirikan pada tahun 1928 di Nakayamate Dori, Chuo-ku. Kobe berarti gate of God atau gerbang Tuhan. Tentara Jepang dan senjata yang berada di bassement Masjid selamat masjid ini kemudian dijadikan tempat pengungsian korban perang.
Setelah mengalami kerusakan akibat bom atom Masjid ini mulai dibangun kembali dengan dana bantuan dari Negara Kuwait dan Arab Saudi, sekolah yang berada disekitar majid pun dibangun kembali sehingga masyarakat muslim disana bisa kembali menikmati kegiatan Islam diwilayah itu.
