天下回回生得怪，根子来自天山外。
——回族谚语
当年，阿巴斯和妻子撒尔塔阿姑阿依舍、两个孩子在河州团聚以后，一家人在那里落下了脚，成为了大元王朝的色目人。
色目人是生活在大元境内除了蒙古人和汉人以外的民族，主要是来自西方各国的人。他们的眼珠的颜色不像是蒙古人和汉人那样的黑色，而是灰色或者淡黄色的，所以大元朝廷称他们是色目人，即眼睛有颜色的人。
色目人大多数是大蒙古国消灭花剌子模帝国以后征迁来的大批工匠和士兵，也有一些归附大元的其他少数民族，还有少量定居东土的花剌子模、伊朗和阿拉伯的商人。
色目人包括了几十个民族。
成吉思汗在攻打中亚、西亚、朝鲜半岛、吐蕃、阿塞拜疆等地的过程中，采取了探马赤军的编制，招收了大批当地的士兵。这些人的任务既是先锋军，也是镇守军，东迁以后驻扎在全国各地。当时，陕西京兆（今天的西安）、延安、凤翔三路的探马赤军中约有6万户色目人。
阿里和阿巴斯就是作为探马赤军来到东方的。
乌古思人是早期从蒙古草原西迁的突厥族群。他们的后代分裂成为了维兀儿人、钦察人、康里人和葛罗禄人。大蒙古国兴起的时期，这几个民族生活在现在的中亚和新疆一带，先后归附了大蒙古国。
按照惯例，归附的民族在蒙古出征的时候都要出兵助战。这几个民族因为参加了大蒙古国的军事活动，随后大批东迁到中原汉地，成为了色目人的一个组成部分。
大元统一全国以后，长期南征北战的葛罗禄军人逐渐定居下来。他们因为跟随成吉思汗攻打燕京的居庸关有功，便以葛罗禄军队的名义守卫在居庸关的北口，后来改为中央侍卫亲军，升为葛罗禄万户府。此外，河北、河南、山东、浙江一带都有成批内迁的葛罗禄人。
葛罗禄的军队中还有突厥康里人和突厥钦察人。他们和葛罗禄人都来自中亚，语言和风俗习惯比较接近。因此，忽必列把他们编入一个万户之中。
大元出现过不少葛罗禄人的名人，例如理学家、诗人逎贤，理学家伯颜，名将铁迈赤等。
除了军人和工匠之外，归附大蒙古国的还有一些被征服国家的贵族、官员、学者、商人及其家属和族人。
在种类繁多的色目人群中，以回回人的数量最多，因而有时候称回回人为色目回回人。
色目回回人本来是汉人专指来自西方各国信奉回教的民族。
粟特（即花剌子模）、伊朗和阿拉伯的商人历来是沟通东西方陆上和海上丝绸之路最活跃的人群。早在大蒙古国兴起之前，这些国家的商人经常往来于中亚、西亚、蒙古高原和中原各地，操纵着不善经商的游牧民族与定居农业地区之间的贸易。大唐、大宋时期来到东方的中亚、伊朗和阿拉伯人大多数也是精明的商人。他们聚居在沿海的通商口岸，如广州、泉州、临安等地，在居住的城市里建立了回教的礼拜寺，成为了大元色目回回人的一部分。
大蒙古国的军队在征服喀喇契丹、花剌子模和阿拉伯的战争中，每攻取一地都要挑选能工巧匠迁往蒙古大本营和占领的中原，使他们成为大蒙古国的差役，或者分配给王公贵族作为属民。妇女和儿童也被分配给富豪和将领作为奴隶。他们征发的3万撒马尔罕人、10万多乌尔根奇人以及大批的马雷人、内沙布尔人，无不如此。
当战争的硝烟散尽之后,大元朝廷要求这些探马赤军和工匠屯垦戍边，与唐兀（西夏）人、吐蕃人、汉人等交错而居，过起了兵农合一的生活。
他们上马可以战斗打仗，下马又能屯聚牧养，开渠屯垦。后来，他们在社的编制下逐渐由双重职责的兵农转为一心耕田的农牧民，同时形成了本族人聚居的村寨和据点。
著名的色目回回人垦区主要集中在甘肃的河西走廊与河州、宁夏各地、河南的开封、山东各地、河北各地和云南的昆明和大理等地，其中以甘肃、宁夏、青海居多。今天新疆的昌吉、阜康、吉木萨尔、伊犁河流域、喀什噶尔、和田等地也有色目回回人在屯田。
窝阔台执政的时候将3000多户色目回回工匠迁徙并且留驻在今天的河北省张家口，
将另外300多户色目回回工匠迁徙到今天的河北省阳原。这些回回色目人大多从事纺织、建筑、武器、造纸、金玉器皿、酿酒等各行各业的劳作。
色目回回人的村庄像楔子一样插进了汉人、唐兀人、吐蕃人的中间。他们和这些民族加互相了解，互相帮助，互相学习。就这样,几十万的色目回回人散布到全国各地，形成了元时回回遍天下的独特风景。
花剌子模布哈拉人赛典赤·赡思丁的先辈跟随蒙古军队来到东方戍边。他后来出任陕西五路西蜀四川行中书省平章政事，率领一批花剌子模籍的军民来到宁夏屯垦。他的长子纳速拉丁后来担任了陕西平章政事。
纳速拉丁的子孙众多，分散到全国各地，形成了色目回回人的纳、速、拉、丁四大姓氏。因此，宁夏有了纳家户，长安有了剌（拉）家村，云南也有了丁家寨。
大元的统治者对各种宗教采取宽容的政策也是吸引周围民族内附的一个原因。朝廷的保护回教的礼拜寺、佛教的寺院、道教的道观，还有萨满教、基督教等，基本上不限制宗教活动和人们的生