Kobe şəhərinin İslami Komitəsinin təşəbbüsü ilə keçirilmiş xeyriyyə kampaniyasında məscidin tikilməsi üçün vəsait toplanmış və 1928-ci ildə məscidin inşasına başlanılmış və 1935-ci ildə möminlərin istifadəsinə verilmişdir.
Məscid Çexislovakiyalı memar Jan Josef Švagr tərəfindən dizayn edilmişdir.
İkinci dünya müharibəsində bombardmanların qarşısında davamlı olan məscid insanların sığınacağına çevirilmişdir.
Bu məscid 1943-cü ildə Yaponiyanın hərbi dəniz qüvvələri tərəfindən müsadirə edilmiş, amma buna baxmayaraq məscid öz fəaliyyətini davam etdirmişdir.
Möhkəm tikilmiş bu məscid 1995-ci ilin böyük zəlzələsindən də salamat çıxmışdır.
Qədim qərb binaları memarlığı üsulunda tikilmiş bu məscid hazırda Kobe şəhərinin məşhur turizm sahələrindən biridir.