中央设中书省总理全国行政事务，枢密院掌管军事，御史台负责监察。在地方上设立行中书省，简称行省。行中书省各设丞相一人，掌管全省军政大事。行省下设路、府、州、县。当时全国共有十个行省，即岭北、辽阳、河南、陕西、四川、甘肃、云南、江浙、江西、湖广。至于山东、山西、河北和内蒙古等地则称为“腹里”，作为中央特区，由中书省直辖。行省制的确立，从政治上巩固了国家的统一，使中央集权在行政体制上得到了保证。这是我国政治制度史上的一项重大变革，对后世有巨大的影响。
在军事方面，忽必烈实行军民异籍、军民分治的政策，使军职不得干预民事。虽然军职世袭的旧制被保留了下来，但军队的调遣、军官的任命，都由枢密院直接掌握。元朝军队分为蒙古军、探马赤军、汉军和新附军等。探马赤军是在蒙古灭金时组成，以蒙古人为主体，包括色目、汉人在内的一支先锋部队。汉军是以汉人地主军阀的武装为基础，经过整编而成的部队。新附军是南宋投降后改编的部队。蒙古军和探马赤军是骨干，主要驻防于京师和腹里，而汉军和新附军多驻江淮以南。
歧视汉民族元朝统治者为了削弱各族人民的反抗，维护蒙古贵族的特权，在建国之初就采取了民族压迫政策。忽必