长江南京段一直是一道天堑，从宋代开始，历朝历代都想在这里修桥，但是，没有一个能够成功。
民国期间，在南京长江大桥建成之前，江北的津浦铁路(通车于1912年，天津到南京浦口)、江南的沪宁铁路(通车于1908年，上海到南京)被宽广的长江切割开来，不能连贯。当时修建了沪宁铁路的中英银公司虽然有修建过江轮渡的提议，却无法落实。
1930年，南京国民政府铁道部筹建专门委员会，从事设计活动式栈桥轮渡的方案，并于1933年最终建成通航。这种方式需要将过江列车按节拆分，乘船摆渡的情形一直延续到解放后。无论是国民政府还是侵华日军都没有能在南京的江上江下成功修桥或者挖隧道，包括民国政府请来的美国专家都说NO。
新中国成立后，轮渡的班次从最初的每天20班最终提高到1958年的每天100班，但仍无法满足运输量大增的需求。长江天堑成为了制约京沪铁路运力的重要瓶颈。出于打通京沪铁路，形成连通华北与华东的经济大动脉的需要，国务院最终在“一五计划”末期提出了修建南京长江大桥的计划。
南京长江大桥从1960年1月18日建造，到1968年9月铁路通车、12月公路通车，历时8年零8个月。整个大桥工程使用各种钢材6.65万吨，混凝土38.41万立方米。工程总造价为2亿8757万元(1960年代的人民币)。
建成后的大桥上层为公路桥，长4589米，车行道宽15米，两侧各有2米多宽的人行道。下层为双轨复线铁路桥，宽14米、全长6772米，连接津浦铁路与沪宁铁路干线，使得原来火车依靠轮渡过江的时间从1.5小时缩短为2分钟。
大桥建成时，为了考验大桥的承载能力，许世友司令亲率118辆坦克从南京花旗营至北桥头堡，一字排开检压南京长江大桥。坦克每辆间隔50米，整个车队延绵10公里，成为了大桥建成以来最壮观的一幕。