到了成吉思汗蒙古帝国时期，当时在中亚地区的康里、钦察各部先后归附蒙古帝国。1221年。成吉思汗命幼子拖雷西征呼罗珊（阿姆河以南地区，包含现土库曼斯坦、伊朗、阿富汗北部等地区）时，拖雷就把居住在哥疾宁的哈刺赤人征入蒙古军队，他们英勇善战，被称为钦察军。后来这些人又被带回到蒙古草原本部，奉命在成吉思汗汗廷的怯薛军里服务，最初的哈刺赤就是由这些人组成，这就是喀喇沁部祖先的来历。
到了元代时，由喀喇沁人组成的钦察军已多达万人。喀喇沁人为元朝东征西讨，所向披靡立下汗马功劳，驻防漠北。
明朝建立，蒙古人退居漠北。喀喇沁军和他们的家属以及喀喇沁牧民也逐渐发展成了一个强大的部族，就称为喀喇沁部，他们当时仍居于漠北地区。
土木堡之役，明损失数十万精锐。此后被迫放弃了之前所占领的漠南地区，全面退守长城以南。
喀喇沁后来与阿速部进入河套地区，成为河套的新主宰。后来卫拉特部也进入河套。蒙古各部经历了三十年的混战后，达延汗终于再度控制了蒙古诸部，并正式将蒙古划分为左右翼六万户。其中鄂尔多斯、土默特、永谢布为右翼三万户，察哈尔、喀尔喀、兀良哈为左翼三万