Elle se situe à l'emplacement de l'ancienne église Saint Jean le Baptiste (IVe siècle), qui elle-même avait été construite sur un ancien téménos romain dédié à Jupiter. On peut donc dire qu'elle a été bâtie sur l'endroit considéré comme le plus saint de la ville par ses habitants.
Le temple romain est encore présent dans la mosquée sous la forme de certains murs, des propylées à l'est et des tours aux angles utilisées comme minarets. Par contre, la basilique Saint-Jean-Baptiste, édifice de petite taille, fut détruite pour acquérir de la place. Cette suppression n'a cependant eu lieu qu'après que l'église ait été rachetée par le pouvoir musulman vers 664.
Il est à noter aussi que la grande mosquée se situait tout près du nouveau palais omeyyade.
Source: Wikipédia