由于地形的原因，我国境内的主要河流都是由西向东。因此，从黄河流域到长江流域，物质的交换和文化的交流，就只能靠车马走旱路。但，车辚辚，马萧萧，哪里比得上轻舟已过万重山？成本低效益高的水路航运，才是古代社会交通运输的最佳选择。
开通运河，也就势在必行。
于是有春秋连接长江与淮河的邗沟，战国连接淮河与黄河的鸿沟，秦代的江南运河丹徒曲阿，以及隋文帝的扬州山阳渎。山阳渎开通的次年，隋文帝便发动了灭陈战争。不过他的八路大军只有一路使用了山阳渎，因此也有学者认为文帝此举除了运兵运粮，应有更长远的打算和设想。[38]
这个设想，只能由隋炀帝来完成。
事实上他也完成了，而且毕其功于一役。从大业元年开始开凿通济渠，到大业六年打通江南河，一条南起余杭（今杭州），北至涿郡（今北京），贯通海河、黄河、淮河、长江和钱塘五大水系，全长四千多里的运河全线贯通。以秦岭和淮河800毫米降水线为分野的南北方，从此连为一体。
大运河其实可以分为南北两段。北段，永济渠连接了黄河与海河；南段，通济渠连接黄河与淮河，邗沟连接淮河与长江，江南河连接长江与钱塘江。南段与北段的交接处，是