杨宇霆曾在日本士官学校留学。因为治军严谨得到张作霖的赏识，调他任二十七师参谋长。此后他协助张作霖逐步打开东北的政治、军事局面，个人也随之扬名，成为张作霖身边的红人，在东北有“智囊”、“小诸葛”之称。
杨宇霆协助张作霖做了四件大事：一是建立东北海军，使军队自成体系，增强了部队实力。二是制定田赋制度，从军阀、地主手中挖出大量未开垦的荒地让农民耕种，发展生产，增强了东北的经济实力。三是修筑战备公路，当时东北的南满铁路权归日本，修了战备公路，交通运输不受日本挟制，一旦战争起来，可以用公路与日军周旋。四是督办奉天(沈阳)兵工厂，自制武器弹药装备军队，增强了防卫能力。由于这样做，东北的军事、政治、经济实力大增，使早已对我国东三省垂涎三尺的日本人不敢轻举妄动。在日本人向张作霖要求在东北实行“杂居”的问题上，杨宇霆认为这是袁世凯卖国二十一条第十六条的翻版，力主不予答应。日本人看出杨的所作所为，是他们侵占东北的主要障碍，因而产生了“邻国之贤，敌国之仇”的除患之念。
1920年直皖战后，张作霖认为治军治政非杨宇霆不行，于是请杨出山回奉天，任东三省巡阅使，上将军公署总参议兼奉天兵工厂督办。因前嫌，少帅张学良和第十军军长郭松龄处处与他为难，
1925年10月，郭松龄倒戈反奉，其中就有整倒与他积怨较深的杨宇霆留学生派的因素。12月24日，郭兵败滦州遇害，了却了杨宇霆的一块心病。
1928年6月4日，张作霖在皇姑屯车站遭日本人暗算身亡。杨宇霆的处境更为复杂。12月29日东北易帜，杨坚决反对，他认为不应该服从蒋介石，因此与张学良酿成新的矛盾。对张学良他俨然以保护人的身份自居，经常以周公辅成王的典故自诩，规劝张学良戒毒，批评他不问政事。虽出好心，但年轻气盛的张学良却不买他的账。日本人也趁机利用正友本党和混迹东北的中国流氓处处诽谤杨宇霆，离间张杨关系。他们送给张学良一本《日本外传》，将张学良比作日本战国时期国家实际控制者丰臣绣吉，将杨比作篡位的大名德川。暗示张学良，杨宇霆是他身边的隐患，要及早除掉。张学痕中了奸计，但仍犹豫不决，六次掷银元问卜后才下了杀杨的决心。
1929年1月10日晚，杨宇霆下班回家，听说有帅府请他去打牌的电话，没有吃饭便驱车前往。谁料一进帅府，就同黑龙江省长常荫槐一起人车被扣，以吞扣军饷，贻误戎机，图谋不轨等莫须有的罪名，被张学良事先安排好的警务处长高纪毅、副官谭海等枪杀在帅府会客厅东大厅(老虎厅)。事后，张学良对自毁长城之举悔恨莫及，命统带刘多荃给杨、常两家各送去慰问费一万元，并亲自给在法国留学的杨宇霆的长子春元去信，安慰他安心学习。
杨宇霆是个烟酒不沾，没有嗜好的正统军人，一生自负好胜。年轻时，为练骑术，半夜偷着骑马被战马咬伤。领兵后，对违例士兵不论亲疏，严加处罚。辅佐张作霖时，则以皇帝与宰相自勉，视主不二。他有秘书，却经常亲自批阅文件到深夜。但他心胸狭窄，对自己不睦的人从不宽容。他非常迷信，家中常年养着术士，遇事扶乩问卜。老虎厅事件前，他还曾扶乩，得乩语：“杂乱无章，扬长而去。”术士认为乩语不祥，要他多加小心。事有凑巧，不几天他便死于非命。后来民间这样传称：“炸烂吴(俊生)张(作霖)，杨(宇霆)常(荫槐)而去。”