公元前586年，新巴比伦王国军队大举入侵，犹太国的首都耶路撒冷被攻陷，巴比伦国王命令将绝大多数犹太人掳到巴比伦做奴隶，史称“巴比伦之囚”，从此犹太国不复存在。犹太人被囚禁在巴比伦，受尽了奴役和磨难。60年后，波斯帝国征服了巴比伦。国王居鲁士下令释放了囚禁在巴比伦的犹太人，犹太人又重新回到了耶路撒冷。
以后，灾难接二连三地降临到犹太人身上，古希腊和古罗马的远征军先后开到这里，进行了几个世纪的残酷统治，犹太人像鱼肉一样任人宰割。公元66年，犹太人为反对罗马帝国的掠夺和赋税，掀起大规模的起义，史称“犹太战争”。战争持续了4年。公元70年，罗马大军攻陷耶路撒冷城，使整个城市淹没在血泊中。罗马士兵把成千上万的俘虏活活钉死在十字架上，因被害者太多，以至没有地方再立十字架。这场战争，有1100000犹太人被杀，另外还有97000多犹太人被当做奴隶卖掉，有的被送到矿山开矿，有的成了罗马斗兽场中的角斗士。
犹太战争失败后，大批犹太人被迫离开自己的家园，从此流散到世界各地，成为没有祖国的民族。公元7世纪时，阿拉伯帝国占领了这个地方，以后，阿拉伯人便居住在这里。直到1948年犹太人才在巴勒斯坦建立起自己的国家——以色列国。
犹太历第12个月第9日是耶路撒冷毁灭的日子，今天犹太人仍然纪念它。每年这一天，许多犹太人聚集在耶路撒冷的城墙边，倚墙哀哭，悼念它的毁灭，这段城墙就是耶路撒冷有名的“哭墙”。