在如今的海南岛，分布着一个特殊的族群——回辉人。某种程度上说，这实际是早期民族识别政策上的失误，因为这个族群被识别为回族。但实际上，它们和大陆的回族是完全不一样的。
为什么这么说呢？学过初中历史的都知道，回族实际是元代形成的，他们是由来源于中亚、波斯等地的色目人与汉人混血而成的民族。然而海南岛的“回辉人”和他们完全不一样，回辉人的来源非常清楚，他们并不来自于西方，而多是来自于今天的越南南方，他们实际是占人后代。
占人，这个民族现在还存在，不过只是东南亚的一个小民族，总人口约50万，30多万在柬埔寨，10多万在越南。
但是，实际上占人曾经是有自己的国家的，这就是中国古籍中的“占城”、“占婆”或“林邑”，这个民族曾经在越南中南部建立国家。占婆早期的文明类似南亚文明，属于泛印度教文明，这应该是说明在古代这里和南亚保持海路联系，甚至文字都是仿照梵文创立的，后来大部分占族伊斯兰化。然而，占婆被越南持续入侵了一千年，于中国清代彻底灭亡了。
现今占族在东亚的分布图
占人遭受到屠杀和同化，在越南彻底沦为一个不起眼的小民族。但是在越南侵略的过程中，占婆人也大量向外流散，而我国的海南岛离占婆最近，所以也有移民到了海南。
中国文献记载了很多占族移居海南的事情。
“雍熙三年（986 年），儋州上言，占城人蒲罗遏为交州所逼，率其族百口来附”——《宋史》
“元初驸马唆都右丞征占城，纳番人降，并其属发海口浦，安置立营…立番民所。其外州者，因乱挈家驾舟而来，散泊海岸，谓之番坊、番浦，不与土人杂居”——《琼台志》，明朝
“番民本占城回教人，宋元间因乱挈家泛舟而来，散居大疍港、酸梅铺海岸，后聚居所三亚里番村”——《崖州志》
…….
占婆遗迹
可以看到，由于越南（交州）、元朝等的侵略，有占婆人渡海移民到当时还比较荒凉的海南岛，他们多分布在海南沿海一带，不与汉人和海南土著黎族等人杂居。
元明时期，尽管这些占人也信伊斯兰教，但朝廷把他们和回回区分地非常清楚。占人移民被称为“番”而不是“回回”，比如元朝安置在海南的占人降卒被称为“南番兵”，一直到清代都沿用了“番”的称呼，而且官方也知道他们的来历，称为“占城回教人”。甚至，后来这些人自己都习惯自称“番人”。
但是，由于信仰相同的宗教，习俗也相近，所以他们有时也会被归为“回”的一种，这也是后来民族识别出现偏差的原因。因为当年搞民族识别的时候，大部分占人对于自身的记忆都出现了模糊，他们认为自己先祖可能的确来自西亚，后在占城暂居，再移居海南岛。直到80年代进一步研究才发现，他们的主体实际是占人，来自其它地区的“回回”占极少数。
占族
“番俗本占城人，宋元间因乱擘家驾舟而来。散泊海岸，谓之番郎、番蒲。今编户入所三亚里，皆其种类也。其人多蒲姓，不食豕肉，家不供祖先。共设佛堂，念经礼拜。其言语相貌与回回相似。今从民俗附版图，采鱼办课。——《古今图书集成》（清康熙年间）。
宋元之后，占人便不再迁入海南岛，而是迁入地理上更加便利的柬埔寨。但由于此时占城和越南的战争激化，而明朝理论上是占城的宗主国，所以有时候也接收一些政治难民。
《明宪宗实录》就记载了这样一件事：“成化二十二年（公元1487年）十一月……占城国王子古来攻，杀交祉所置伪王提婆苔，交趾怒，举兵压其境，必欲得生提婆苔。古来惧，率其王妃王孙及部落千余人，载方物至广东崖州。”
由于明代对越南存在一定不满（尽管名义上越南也属于明朝的藩属国），加之要体现大国气度，所以这些占人也被妥善安置。不过，这批移民后来在占城反攻成功的时候，又被送还回去了。
不过，宋元时期流落海南的占人移民融合少量晚唐时期的波斯人和阿拉伯人海上来华经商团体留居海南的后裔，就形成了如今的“回辉人”，称“回辉”是因为这些人主要住在回新社区和回辉社区。实际这并不是一个严谨的称呼，但现在用“番”称呼又显得不正式（官方现在不会使用“番”这种略带贬义的称呼）
和大陆回民区别最大的是，回辉人是有自己的语言的，这就是“回辉语”，语言属于南岛语，与占婆语关系紧密，其数字从一到十的发音更是与同语系的马来语完全一致。这是除台湾原住民语言外，中国唯一存在的南岛语系语言。甚至，“三亚”这个名称都有可能来自占语（有一定争议）。