跟随曹操以后，张辽随军征讨，多有战功，曹操亦益待之如亲信;又从劝关羽降于曹操。赤壁战中，张辽亲载曹操脱难，并射伤东吴名将黄盖。赤壁战后，曹操独任张辽引李典、乐进等守合肥，以御孙权。后孙权果引军入寇，张辽智激李典后三人一同出战，自率二千余骑打败敌军十万，威震逍遥津，名扬天下。让张辽一战成名的逍遥津在历史上是真实存在的。东汉建安十三年，曹操基本统一了北方，拥有强大军事实力的曹操开始把矛头指向刘备和孙权，鉴于赤壁之战，吴、蜀两国联手使形势发生了显著的变化。不敢轻举妄动的曹操，
暂且放弃统一江东，派大将张辽等在合肥屯兵息军养士;一面亲率大军西征张鲁，试图夺取汉中，进一步扩张自己的实力。
建安二十年，孙权趁曹操西征之际亲自率兵十万进攻合肥，此时合肥城内仅有张辽、李典、乐进及薛悌等不足万人驻守。两军对峙，众寡悬殊，这场战争似乎结果也是显而易见的。
商议御敌之策，大家想到曹操让护军薛悌带来的一封书信，于是展开阅读，信中言道：”若孙权军来到，张、李将军出战;乐将军守护军，不得与战。“诸将百思不得其解，张辽便说：”曹公远征在外，待其救兵来时，敌军必定已攻破我们了。所以曹公教我等众将，迎而击之，摧折敌军锋锐，以安众人之心，然后方可坚守。“众人此番言论，颇为感动。于是，在夜间募集敢于逆击敌锐之士，在天将破晓之时，张辽被甲持戟，独自先登直陷敌阵，立杀数十人，斩其二将，并于阵中大呼己名，”大汉荡寇将军张辽在此，东吴鼠辈谁敢接战?!“之后，士气大发，军心力齐，在重围之中竟也杀出了一条血路，直至孙权麾旗之下。这把孙权吓得不知所措，一时间竟然恐惧而不敢动。
此战东吴精锐尽出，十万大军竟为张辽的七千守军所破，连孙权本人也差点为曹军所俘，幸赖凌统、甘宁、吕蒙等人奋力死战，才得以脱身。合肥逍遥津一役，是张辽毕生最闪光的佳作，演义说”这一阵杀得江南人人害怕，闻张辽大名，小儿也不敢夜啼“，可称为防守战术的经典战例。
孙子云：兵乃诡道。一个”诡“字，突出了许多游离于军队物质实力之外的决胜因素。何谓”诡“?——利而诱之，乱而取之，实而备之，强而避之，怒而挠之，卑而骄之，佚而劳之，亲而离之——一言蔽之，便是”攻心术“。 张辽深谙这兵家之道，不管是在家乡还是在沙场，张辽都是一只鹰，鹰击长空，当他拥有目标时，对手就如口中的猎物，一击必中，无法反抗。