在原始社会里，生产力水平很低，人们大都聚集在有水的地方，依靠渔猎为生。水是人类生活的必需品，但有时它也给人类带来很大的危害。在同水打交道的过程中，人们逐渐认识了水的某些特性。如“利涉大川，乘木有功也”(《易经》)，意思是骑着木头有利于过大河，懂得了“水能浮起木头”的道理。随着社会生产力的发展，生产工具也在不断改进，人们已有可能“编木为筏”，与此同时还能利用火烧和石刀、石斧的砍凿，把大原木挖空，做成独木舟，这样人们就能方便地在水上活动了。至于古代传说中提到黄帝的大臣共鼓、货狄发明舟，部落首领颛顼〔zhuanxu专虚〕发明浆、篙，帝喾发明舵和橹，尧发明纤绳等等，从根本上说，这些都是人民群众的创造。

　　商朝的甲骨文上有“舟”字，当时已经有木板船了。据甲骨卜辞记载，在商代后期，航运往往被奴隶主用作镇压奴隶反抗的工具。商王武丁时期，王室的奴隶曾大批逃跑，武丁下令乘船追击。这些船费了九牛二虎之力，前后用了15天，终于把奴隶捕捉回来。这个事件从一个侧面反映了商代航行技术的状况。到了周朝，水运有了进一步的发展。水路交通不仅利用自然河道，而且还开凿运河。春秋时期，最先开凿运河的是陈、蔡、楚等国。当时，为了改善陈、蔡两国间的交通，它们凿了一条不长的运河，将淮河的两条支流沙水和汝水连贯起来。楚国也凿了一条从都城郢(今湖北江陵北)到汉水的水道。不过，其中比较重要的和著名的运河有吴国沟通太湖和长江的胥河、沟通长江和淮河的邗〔han含〕沟和沟通淮河和黄河的荷水，以及稍后的魏国沟通黄河和淮河的鸿沟。

　　春秋末年，阖闾、夫差父子相继为吴王时，吴国在伍子胥、孙武等人的帮助下，逐渐强盛起来。吴国为了攻打楚国，于公元前506年开挖了胥河，船舶可以从苏州通太湖，经宜兴、高淳，穿石臼湖，在芜湖注入长江，大大缩短了从苏州到安徽巢湖一带的路程。吴大败楚国后，继而又攻破越国，迫使越王勾践臣服于吴。取得两次重大的胜利后，夫差认为吴国在长江流域的霸主地位已经确立，决定进一步用兵北方，迫使北方诸侯也听从他的号令，于是在公元前486年“秋，吴城邗，沟通江淮”(《左传·哀公九年》)，又修通了邗沟。古邗城在今扬州市西北郊蜀冈一带，其遗址经发掘，周约六公里。构筑邗城的目的，是在江北建立起进军北方的基地。凿邗沟是便于向北运送军队和粮食。邗沟后人又称山阳渎，据《水经注·淮水注》的记载，它从邗城西南引长江水，绕过城东，折向北流，从陆阳、武广两湖(分别位于今高邮县东西)间穿过，北注樊梁湖(今高邮县北境)，又折向东北，穿过博芝、射阳两湖(位于兴化、宝应间)，再折向西北，到末口(今淮安市东北)入淮河。邗沟渠线所以比较曲折，主要原因是要利用湖泊，以便减少工程量。从此，吴国军队通过这条运河从长江直接进入淮河，可以从水路上攻打齐国，进兵中原大地。这条运河全长约150公里，它开通后大大便利了南北航运，为后来江淮运河的发展奠立了初步基础。据史书记载，邗沟是我国，也是世界上有确切纪年的第一条大型运河。凿邗沟后的第三年，即公元前484年，吴军与齐军大战于艾陵(今山东泰安市南)，齐军几乎全军覆灭。吴国打败齐国后，决定再开一条运河，进军中原，以军事力量为后盾，迫使原来北方诸侯首领晋国就范。那时，黄淮之间的东部，有两条较大的自然河道，一条是济水，原黄河的岔道；一条是泗水，最终流入淮河。泗水与济水很近，只要在两河间开一条运河，吴国的军队就可以从淮河进入泗水，通过运河转入济水，上溯济水，可达中原腹地。于是在公元前482年，吴国夫差就在今山东省鱼台县东和定陶县东北之间凿开一条新水道，因其水源来自荷泽，故称荷水。荷水同胥河、邗沟一样，都是吴国为了政治、军事需要而开凿的，但在后来长时间中，对加强黄河、淮河和长江三大流域的经济、政治、文化的联系，起到了重要作用。

　　公元前475年到前221年，是我国历史上的战国时期。最先进行变法的魏国成为这一时期七国中最先强盛起来的国家。魏惠王在位时(公元前369年—前319年)，为了与列国角逐，迁都于大梁(今河南开封西北)。迁都后，魏国多次动工开凿以大梁为中心的运河，这就是历史上著名的鸿沟。鸿沟先在河南荥阳把黄河带有较多泥沙的水引入圃田泽(在今河南省中牟县西，已湮)，使水中的大部分泥沙沉积在圃田泽中，既减轻下游渠道的堵塞，又使圃田泽起到水柜的作用，调节鸿沟的水量。然后引水向东，绕过大梁城的北面和东面，向南与淮河支流丹水、睢水、涡水、颖水等连接起来，许多自然河道连结成网，船只可以畅通无阻。鸿沟的开凿，不仅在黄河、淮河、济水之间，形成了一个相当完整的水上交通网，而且由于它所联系的地区都是当时我国经济、政治、文化最发达的地区，所以在历史上影响很大。