Masyarakat Jepang banyak yang menganut Shinto, tapi ternyata di Jepang telah memiliki masjid. Dan masjid pertama yang ada di Jepang merupakan Masjid Kobe yang berada di kawasan Nakayamate Dori, Chuo-ku, Kobe.
Masjid ini telah ada sejak tahun 1928 silam atas prakarsa para pedagang muslim India yang membentuk Islamic Committee for Kobe. Kala itu, seorang tokohnya bernama Mr. AK Bochia pergi ke India untuk mengumpulkan donasi pembangunan masjid ini.

Untuk arsitektural bangunannya sendiri dikerjakan oleh seorang India dengan mengambil tema bangunan-bangunan dari Timur Tengah, terutama Turki. Masjid Kobe sendiri mulai difungsikan pada tahun 1935 setelah mendapatkan persetujuan pembangunan dari kekaisaran. Masjid ini menjadi persinggahan ibadah bagi pedagang, mahasiswa muslim, guru dan lainnya yang merantau ke Jepang. Masjid Kobepun dikenal dengan sebutan Mecca of Japan. Pada lantai pertama masjid difungsikan untuk jamaah laki-laki dan lantai keduanya untuk jamaah perempuan. Sedangkan peruntukkan lantai ketiga dan basement digunakan untuk mengakomodasi jumlah jamaah yang besar pada acara festival tradisional Islam


Masjid Kobe ini telah mengalami beberapa peristiwa genting di Jepang, dimana salah satunya ialah peristiwa Perang Dunia Kedua dimana Jepang dibom atom oleh tentara AS. Nagasaki dan Hiroshimapun menjadi korban dari dentuman super dahsyat bom atom tersebut. Kobe yang jaraknya tak seberapa jauh dari lokasi pembomanpun tak terhindarkan luluh-lantak. Dan anehnya, masjid ini masih tetap berdiri kokoh sampai kini.