Die Große Moschee von Xian wurde in ihrer heutigen Form während der Ming-Zeit erbaut. Sie wurde in der Tang-Dynastie (in der Zeit des Herrschers Xuanzong, 685–762) am östlichen Ende der Seidenstraße erbaut und wurde in späteren Zeiten renoviert (insbesondere während der Herrschaft des Kaisers Hongwu der Ming-Dynastie).
Die Moschee ist eine der ältesten und berühmtesten Moscheen des Landes. Sie ist ein Anziehungspunkt für Touristen und wird noch heute von chinesischen Muslimen (hauptsächlich von Hui-Chinesen) als Gebetsort genutzt. Was die Große Moschee von Xian von den meisten Moscheen im Nahen Osten oder in den arabischen Ländern unterscheidet, ist ihr chinesischer Baustil.
Der gesamte Koran ist mit der chinesischen Übersetzung in die Holzwände dieser Moschee eingraviert, was dieses Bauwerk weltweit einzigartig gemacht hat.