同治元年即1862年，正处于兵火之中的江南大地哀鸿遍野。开埠以来，华洋杂处的上海，繁华一时，此时正处于天平军的兵锋之下，形势岌岌可危。
所谓乱世英雄，李鸿章就在这时离开了曾国藩的幕府，远赴上海。此人有“一万年来谁著史，三千里外欲封侯”的抱负。但面对太平天国重重围困下的上海，也是束手无策。这时上海绅商坐不住了，雇佣了七艘英籍轮船，横穿太平军占领区，以每次载运3000人的规模，共分三次将李鸿章和他的子弟兵淮军9000人运到上海。
江南制造总局的创办人李鸿章
这是这位“东方俾斯麦”第一次近距离见识了什么是“坚船利炮”。在中西华洋的众目关注中，扛着抬枪刀矛，头裹布巾，身穿宽大的勇字号衣，脚蹬草鞋的淮军，成为上海驻防各军中兵力最多的一支，也成为清政府守住上海、收复江南的主力。
此时李鸿章的对手是太平军最精锐的部队，忠王李秀成部，不仅兵多将广，而且还配备了西式枪炮。这让李鸿章羡慕不已。他告诉老师曾国藩，自己深以中国军器逊于外洋为耻。假如中国能自己造开花大炮、轮船，西洋人肯定不敢轻视于我。
1863年，一名刚从英法联军中辞职的英国人，走进了李鸿章幕府。他名叫马格里，后来加入了淮军，娶了一位中国妻子。他向李鸿章提出一项重要建议。即淮军从西方购买弹药的成本太高，“买一颗从英国炮船上偷来的很普通的12磅炮弹要费30两银子，买一万粒最差的于弹也要19两银子，即6英镑。”“我告诉他(李鸿章)，欧洲各国都开办大工厂制造军火，中国若为本身利益着想，也应该建立这样的工厂。”为了让李鸿章相信此事的可行性和自己的能力，马格里借担任淮军炮队教习之便，利用简单的工具，制造了一颗炮弹和引信等配件。
江南制造总局造炮的机器
这让李鸿章明白枪炮子弹不是什么“奇技淫巧”，而且萌生了创立军械制造厂的念头。
和李鸿章有同样想法的还有他的老师曾国藩。最初也只是为了供应湘军所需的西式弹药，于1861年在安徽安庆设立了湘军安庆内军械所，网罗徐寿、华衡芳、李闪兰等国内详务人才于其中。从生产枪炮弹药开始，逐渐试制西洋枪炮，但是成果并不乐观。
就在两大洋务领袖陷入困顿时，一个绝好的机会出现了。1865年，正在镇压捻军的李鸿章收到丁日昌一封信，得知上海虹口有一个洋人办的铁厂，不仅能造枪炮，而且能制造轮船。如今洋人愿意出售，要价十万两。早想设厂制造枪炮弹药的李鸿章十分动心，无奈囊中羞涩。恰在此时，有个被革职的海关道翻译愿拿出四万两银子促成此事，算为自己赎罪。李鸿章又从海关借来一些银子，这样就买下了洋人的机器厂。
李鸿章购得该机器厂后，正式改名为江南制造总局，中国工业史上著名的“江南品牌”就这样诞生了。
“总局”是李鸿章和曾国藩的创意，所谓“总”就是说不单单枪炮船只，还包罗各种机器。但由于财力和人力有限，各种机器也仅指军械方面的机器。
翻译馆
与此同时，曾国藩派有中国留美第一人之称的容闳前往美国购买机器，犹如给江南制造局成立献上的厚礼，江南制造总局成立后不久，1865年底，容闽自美国订购的大批机器飘洋过海归来，曾国藩决定将这批机器全部拨给江南制造总局使用，以壮大规模。随着规模的扩大机器的增多，原来狭小的机器制造厂已经不能满足江南制造总局的需要。
1867年夏天，上海城南高昌庙镇一夜之间热闹了起来。大批军队、民夫聚集而至，大兴土木。濒临黄浦江的大片土地上，一座座中西合璧的厂房建筑拨地而起，当年共建成机器制造、木工、铸铁、铸铜、打铁、伤船、锅炉、火炮、步枪、火箭等多个车间(和福建船政一样，这些车间当时也都称为“厂“)，制造局公所、文案房等办公、培训机构，以及煤场、仓库等材料堆储场所。在这连片建筑的人口处，门楼上赫然醒目几个大字：江南机器制造总局。
江南制造总局创办后，数年之间就造出轮船四艘，洋枪、大小开花饱、洋火箭等数千件。
李鸿章说：江南制造局是中国最大的军工厂。
江南制造总局的机器和工人
近代海军奠基人沈葆桢说：凡直隶督臣和江南各省使用的武器，都是由江南制造局提供的。
清朝大员端方说：江南制造总局制造的枪炮弹药比以前有很大进步。枪炮、子弹、炼钢等厂成效昭然。
著名官商盛宣怀说：金陵、天津、福州、广州、汉阳等厂的兴起，都借鉴上海制造局的成规，是它开的好头。
可见江南制造总局在中国近代军事工业中的重要地位和作用。