桃园三结义的事情一直为人们所津津乐道，关羽、张飞和刘备三人之间的义气情感也为人们所佩服。而他们之间也是留下了不少的典故和名言，曾经张飞逃跑的时候丢下了刘备的家属，不过刘备只说了一句话，已成为经典!
后来曹操以汉献帝的名义下诏让刘备征讨盘踞在豫州的袁术，这时候不论是糜竺还是孙乾等人都认为这是曹操的驱虎吞狼之计，可以拿粮草不济作为借口不出兵。但刘备认为他既然是汉室宗亲，而且以匡扶汉室为己任，明知道是计谋但还是整合兵马带上关羽出兵，然后把徐州交给张飞打理，让他务必守好这块基业。
刘备关羽带着大军走后张飞的确对徐州布置了防御工事，但他有个毛病，那就是喜欢喝酒然后鞭打士卒，因为没了刘备和关羽的约束，他这个毛病又犯了，于是鞭打了几个士卒。不巧的是这个士卒怀恨在心，趁着黑夜跑到吕布那里告密，然后把徐州城的弱点告诉了吕布。得到情报的吕布赶紧带着他的兵马攻击徐州，张飞迷迷糊糊中被亲兵喊醒，知道徐州城已经被吕布拿下瞬间酒醒，于是带着提枪上马赶紧突围，连刘备的家眷都没有带走。
后来袁术在率领大军进攻徐州时，刘备率军抵抗，两军与盱眙、淮阴相持不下。此时，吕布又率领军队偷袭下邳，张飞当时指挥部下与吕布正面对抗，怎奈不敌，于是弃城而逃。吕布趁机俘虏了刘备的妻妾儿女。刘备也被袁术所败，最终逃往海西。张飞仓皇逃窜，没能顾及大哥(刘备)的妻儿。
打了两次没打过，张飞在这个时候与刘备成功汇合。关公一看就问嫂嫂安在?张飞涨红了脸才说：“皆陷于城中矣。”刘备听了这话先是不语，关羽就说你当初不是说要守城，如今城池嫂嫂都没了，这可如何是好。张飞听到了之后越加羞愤，抽出自己的剑就要自杀。还是刘备把张飞拦了下来，只说了一句话：兄弟如手足，妻子如衣服。