清朝末期兴办洋务，因为开平煤矿正式投产后，大量的煤炭要运往外地，为解决煤炭运输问题，有人提出学习英国发展铁路运输。光绪七年(1881年)，李鸿章指派唐廷枢策划修建唐胥铁路。修建这条铁路的目的，是解决开平煤的外运问题和谋取开平煤矿更大发展。开平煤矿所产原煤，除自用和就地销售外，主要销往天津。唐山距天津二百四十里，要从陆地运往芦台，然后改为水路，从大沽口到天津。运量很大，仅靠马拉运费很高。如果唐山至芦台发展铁路，火车运煤，既减少运输的麻烦又能降低成本。
唐廷枢在1877年9月请准开矿报告中，原有由开平至芦台修建一百里铁路的计划。因办矿资金不足，拟先修建开平至胥各庄一段。1878年发生在上海的吴淞铁路伤人事件，引发了对开平煤矿的“阻路”风潮，顽固派借口唐山靠近帝王陵寝，机车驶动“震动陵寝，喷出黑烟有损稼禾”，大加反对，清政府收回批准，筑路计划未能实施。于是唐廷枢便将修路之事放下，开始筹划挑河运煤。当时挖了一条东起丰润县的胥各庄，西至宁河县芦台河口阎庄的运河，因胥各庄至唐山的地势逐渐升高，无法开河。李鸿章授意唐廷枢再次奏请修建运煤轻便铁路，申明为免于震动东陵，用骡马牵引。李鸿章为此积极斡旋，清政府最终同意修建铁路。据《中国交通史》记载，唐胥铁路于光绪七年(1881年)五月十三日兴工，六月五日钉第一枚道钉，十一月竣工。唐胥铁路仅长十九华里，它是我国第一条自建铁路，确立了中国自己的铁路标准轨距。唐胥铁路东起唐山，西南至胥各庄，总占地近二百六十亩，工程造价二万五千两白银。采用由英国进口每码30磅的轻钢轨，轨距采用英国标准。1881年底唐胥铁路开始投入使用，用骡马在钢轨上拖曳煤车，称为“马车铁道”。1882年6月，开平煤矿全面投产，牵引力小、速度慢的马车铁道难以满足运输需要，才改为使用蒸汽机车。
中国的铁路从这里延伸出去，这里是中国铁路之源，也是我国铁路建设的伟大开端。随着开平煤矿的发展，唐胥铁路不断延伸。1886年，为了解决冬季河流封冻影响运输、阻碍煤矿发展的问题，在李鸿章倡导下，成立开平铁路公司，招集商股二十五万两，并由胥各庄往西续建铁路九十里至芦台，1887年5月竣工。1888年，延伸至天津。唐胥铁路往东1890年修至古冶，1893年修至山海关，使津榆铁路全线贯通。唐胥铁路不断向东西延伸，1896年由北京到山海关全线贯通，称为关内铁路，为清政府所有。
1881年，唐胥铁路正式投入使用后，开平铁路公司收购唐胥铁路和修理厂(现唐山机车车辆厂前身)。是年底，在李鸿章的倡导下，由英国工程师金达绘图设计，开平铁路公司采用矿场起重锅炉和从卷扬机上拆下来的发动机等旧料，以及从国外当废钢买进的三对动轮，用旧井架的槽钢制成的底盘、车体，制造出了一台牵引力100余吨、时速5公里、总造价不超过80英镑的蒸汽机车，这是中国自行制造的第一台机车。当时开平矿务局的英籍总工程师，仿造史蒂芬孙1829年设计的著名机车“Rocket”号为之命名为“Rocket of Chi na”(“中国火箭”号)。参与制造的中国工匠又在车头两侧各镶嵌了一条金属刻制的龙，因此又被称为“龙”号机车。“龙”号机车长18英尺8英寸(约合5.7米)，只有三对动轮而没有导轮和从轮，轴式为0－3－0，轮式为0－6－0。金达不动声色地让机车行驶了几个星期，不久便被清政府命令停驶，只好恢复马拉火车的运输原状。1882年，由于开平煤矿的产量剧增，马拉火车已经不能满足运输需求，金达又重新打起了机车的主意，设计和制造了第二辆机车。这台机车设计规范、制作精良，远胜于第一台，甚至可以和同时代的外国机车相媲美。由于清政府刚刚建成的北洋舰队急需燃料，通过李鸿章和开平矿务局的上下疏通，蒸汽机车又投入运营。
中国第一条自建铁路为光绪七年(1881年)竣工的唐(唐山)胥(胥各庄)铁路。
为了保障机车的正常行驶，开平矿务局还建立了胥各庄铁路修理厂。光绪十年(1884年)，唐胥铁路向西延伸至塘沽，由开平铁路公司接管，修理厂由胥各庄迁至唐山西马路，改成唐山修车厂。关内铁路总局在唐山修车厂以南买地兴建新厂，老厂陆续迁至新厂，于是这里被唐山人称为“南厂”。这是中国铁路史上的第一个机车厂，是现在中国北车集团唐山机车车辆厂的前身。中国铁路机车车辆工业在这里起步，制造出中国第一台蒸汽机车，宣告了铁路机车车辆“中国制造”的开端。在一百多年的发展过程中，唐山机车厂接续制造了:中国第一辆轨道检查车、第一列双层内燃动车组、第一辆摆式客车、第一辆70%低地板车、第一辆中低磁悬浮工程化样车等，创造了中国铁路发展史上的诸多第一。