罗姆人约于公元1000年离开印度，经阿富汗、波斯、亚美尼亚、土耳其等地，到达欧洲。(至今仍有罗姆人散居伊朗等地。)14世纪时罗姆人已到达巴尔干半岛，16世纪时已遍布欧洲各地，包括苏格兰、瑞典等地。另有罗姆人经叙利亚到达北非，再越过直布罗陀海峡到达西班牙。同时印度北部至今仍有和罗姆人相似的民族居住。
罗姆人长途迁徙的原因至今仍是历史界之谜。有学者称，罗姆人的祖先是低种姓的印度教徒，应征入雇佣兵军队后，升为刹帝利(即战士)种姓，同时被派往西面以抵制伊斯兰教国家的扩张。另有学者称，穆斯林征服印度北部后，其俘虏沦为奴隶并发展出自身独特的文化，成为罗姆人的前身。但罗姆人到达中东后，为何不折返印度，反而继续前进，进入欧洲，则是一个不解之谜。
罗姆人后来也大量迁入美洲。
吉普赛人来到中国的时间大约在元代。吉普赛人在波斯被称作“罗哩”，在中亚，也称柳里、古里，均由波斯语“Lari”转化而来，有勇敢、鲁莽、歌手、乞丐之意。
蒙古人崛起以后，成吉思汗子孙多次西征，不断在中东地区扩张。他们俘虏了大批当地居民，一部分作为奴隶，一部分补充入蒙古军中。这些人被带回中原以后，就有一部分吉普赛人来到中国，被称为“罗哩回回”。
罗哩回回最早见于元成宗大德六年(1302年)的文献中，他们被元代统治者列入色目人阶层，作为西域流户之一，比汉人南人享有更多的特权。他们人数不多，仍以部落为单位，保持着歌舞流浪、抢夺的传统，从西北到东南沿海的广大地域，均留下他们的足迹。
明代学者高启曾经为宁国路泾县(今安徽皖南地区)的典史胡松撰写过一篇墓志。上面曾有这样一个故事：作为西域流户的罗哩回回，有一个数百人的部落，在流浪过程中不断掠夺百姓财富，侮辱民女。元代制度：蒙古色目殴打汉人南人者不得复。因有不能还手的法律约束，老百姓敢怒不敢言。胡松作为地方军事之长，当然有保护百姓之责，于是他设计以招待他们的名义，将他们全体部落人员引入一个寺庙当中，然后关上大门，派兵团团围住，将他们的部落首领叫出来，对他说：“你们欺压百姓，他们不能还手是因为他们是民，而我是天子委派的官，有权依法处理你们，你们如果好好离开，我就以酒食相送，否则就让你们知道本朝法律的厉害。”吉普赛头人大为惊愕，遂率部落离开，没有一个敢声张的。
直至明代，罗哩回回侵扰民众、杀人抢劫的事件仍屡屡发生。嘉靖三十八年(1559年)秋，罗哩回回鄙掠秦州地区清水乡(今甘肃天水地区)，典史乔学中率民众抗击，中流箭身亡。万历及崇祯年间，历史上也有罗哩贼掠清水乡的记载。
清代以后，罗哩回回不见于文献，或作为回族，或作为汉族，被中华文明所同化，均融入中华民族的大家庭中。