杨绾出身弘农杨氏原武房，幼年时便以聪慧闻名，等到长大后，好学不倦，博通经史。九流七略，一览无遗。尤其擅长文辞，词藻结构清新韵足。崇尚玄理，沉静寡欲，经常独处一室，左右摆满经书，凝视满席书籍，非常宁静。内心明晰而运用隐晦，不求声名，每次写文章，羞愧于自白，不是知己的人不可看见。早年孤苦贫寒，以孝敬母亲而闻名，有时缺乏美味食物，脸上即显出忧虑。亲友劝说他去谋求俸禄，于是考取进士，调补为太子正字。天宝十三载(754年)，玄宗御驾勤政楼，考试录用博通坟典、洞晓玄经、辞藻宏丽、军谋出众的贤人，命有关部门提供食物，天黑才结束。选取辞藻宏丽外，还加考诗赋各一首。制举考诗赋，就是从这里开始的。此时登科有三人，杨绾为第一名，被破格授予右拾遗。
天宝末年，安禄山反叛，肃宗在灵武即位。杨绾在贼军中冒着危险，披榛求食，赶着路程。此时朝廷正急需贤臣，等到杨绾赶到，大家都感到很高兴，升为起居舍人、知制诰。历任勋员外郎、职方郎中，仍然是知制诰。升为中书舍人，兼修国史。过去，对年龄大的舍人称为“阁老”，官署杂乱难以统计，称为“阁老”的人有五分之四。杨绾认为他们品秩同列，待遇同等，全都应平均分配，此举深受当时舆论称赞。又升为礼部侍郎，向肃宗分条目上奏贡举的弊端。代宗诏令左右丞、各司侍郎、御史大夫、中丞、给事中、舍人共同商议此奏文。给事中李讷、给事中李栖筠、尚书左丞贾至、京兆尹兼御史大夫严武所奏议的内容与杨绾相同。李讷等人的论述与杨绾相似。宰臣们上奏说明举人旧业年月已久，很难速改，如今的举人还望能同意进行，来年再奉诏停止，仍然诏令礼部立即分条目上奏。代宗以废止进士科问题询问翰林学士，对答说：“进士制度由来已久，立即废除它，恐怕会耽误学业。”于是诏令孝廉与旧举同时进行。杨绾又上奏关于史贡孝悌力田以及童子科等考试，其孝悌力田应该具有实际意义，童子越来越多，不在常科，而都在岁贡，担心助长侥幸风尚。代宗诏令停止。又升为吏部侍郎，根据法则推举选用，精心考察人物，以办事公道受到称赞。
此时元载执掌大权，公卿大多依附他，杨绾孤立中道，清贞自守，未曾私下拜谒元载。元载认为绾平时声望很高，在外表示对他尊重，内心实际却对他疏远忌恨。鱼朝恩死后，元载认为鱼朝恩曾经出任国子监一事，玷污了太学，应该用名儒主理国子监，以明晰秩序，于是上奏提拔杨绾为国子祭酒，实际上是想以将他放置在散官职位上。元载贪财冒犯之举越来越盛，天下之人都对杨绾评论称赞，代宗非常清楚这些，考虑到载在枢衡任职已久，没有马上将其罢免。仍将杨绾升为太常卿，任礼仪使，凭借杨绾用以将久废的祭祀礼节振兴起来，同时以观察其成效。同年三月，代宗定计逮捕元载，将其诛杀。四月初一，代宗任命将杨绾为中书侍郎、同中书门下平章事、集贤殿崇文馆大学士，兼修国史。杨绾多次表示恳请让位，代宗不同意。杨绾德高望重，且质朴忠贞、车服俭朴，素以品德举止著称。任命他为相的诏令公布后，朝野之人相互祝贺，朝中权贵移风易俗的例子有许多：
御史中丞崔宽是剑南西川节度使(今四川省西部)崔宁的弟弟，家境富有，在长安之南建有别墅，其中的池馆台榭，在当时被称为第一，崔宽得知杨绾拜相后，在当天就暗中派人将其拆毁。
中书令郭子仪驻守邠州(治今陕西彬县)，他正在宴请宾客时听说杨绾为相，便将在座助兴的声乐队减去五分之四。
京兆尹黎干受代宗宠信，每次出入车马有一百多辆，但也在杨绾拜相当日减少车马，只留十匹而已。
除此之外，其余闻风而动、将奢变俭的人不可胜数。杨绾又与常衮向代宗举荐被贬的湖州刺史颜真卿，代宗当即颜真卿入京担任刑部尚书。二人还向代宗举荐淮南判官关播(唐德宗朝官至宰相)，使其被召为都官员外郎。杨绾在相位不到数月，便为人心所归。
杨绾患有痼疾，拜相不久后便中风，代宗优诏令他在中书省休养。代宗每次在延英殿引见杨绾时，都特许由人扶入。代宗内心看重杨绾，一心任用他，对他非常礼遇宠爱。改革朝政的弊病，惟杨绾是瞻。杨绾多次上奏请求辞位，代宗多次下诏回绝。等到杨绾病重时，代宗每天派遣宦官前往询问病情，并命御医在其身旁时刻守候。每次听说他的病有起色，代宗便喜形于色。同年七月二十日(777年8月27日)，杨绾病逝，享年六十岁 。前来探望的宦官急驰回宫奏报。代宗闻讯后，惊愕悲悼许久，为他辍朝三日，并下诏追赠杨绾司徒。其后，代宗又命文武百官前往杨绾的宅第，与特派内常侍吴承倩会同吊唁，并赐其家绢千匹、布八百端。代宗非常惋惜，对朝臣们说：“上天不让朕致力于太平，为什么将朕的杨绾夺走这样快!装殓之时，朕与众卿悲痛哀悼之情正同啊。”宰相死后受到如此恩遇，长久以来少有人能与杨绾相比。太常最初为杨绾拟定的谥号为“文贞”，但宰相常衮平素便忌恨杨绾得到代宗宠任，至此时更唆使比部郎中苏端上疏大肆诋毁杨绾。代宗发怒，将苏端贬为广州(一作巴州)员外司马， 仍谥杨绾为文简。同年十月，杨绾下葬长安少陵南岗。