公元前11世纪古以色列王大卫统一犹太各部族,建立以色列王国,定都耶路撒冷。公元前10世纪大卫的儿子所罗门继位,在耶路撒冷的锡安山上建造了第一座犹太教圣殿,即所罗门圣殿,它十分宏伟华丽,教徒们来此朝觐和献祭者不绝,从而成为古犹太人宗教和政治活动的中心。公元前586年,巴比伦人攻占耶路撒冷,圣殿付之一炬。
以后重建,公元前一世纪末由希律王加以扩建,又于公元70年和135年毁于罗马人之手。罗马帝国统治时期,绝大部分犹太人被赶出巴勒斯坦地区,流散在欧洲各地,圣殿始终未能恢复。
圣殿断垣残壁的遗址上修建起围墙
后来,在圣殿断垣残壁的遗址上修建起围墙,虽然是伊斯兰圣地围墙西墙的一段,但犹太人仍然珍惜它,这段墙被视为犹太人信仰和团结的象征。据说罗马人占领耶路撒冷时,犹太人常聚在这里哭泣。
常有各地犹太人来此号哭此后千百年中,常有各地犹太人来此号哭,以寄托其故国之思,因此便将此墙便名为哭墙。到今天,每到犹太教安息日,都会有人到哭墙去表示哀悼,进行祈祷。