辽道宗大安三年(1087年)，耶律大石出生于上京，他是辽太祖耶律阿保机八世孙，从小好学，善于骑射。兼通汉文、契丹文。天庆五年(1115年)，耶律大石中进士，入翰林院，任翰林承旨，他是《辽史》中记载的辽朝唯一一个契丹进士。后历任泰、祥二州刺史，辽兴军节度使。
1122年(辽天祚帝保大二年)，金兵大举南侵，攻克中京，天祚帝不敢留守，西逃入云中。时大石等留守南京，遭到金、宋夹攻。为了安定人心，坚持抵抗，大石拥立耶律淳即位，称天锡皇帝，后世称北辽。耶律淳任命大石为军事统帅，负责守卫。
大石分析当时形势，决定向金称臣，同北宋结好。但是，北宋君臣认为这是夺回燕云十六州的好机会，出兵二十万攻打南京。大石率军迎战，败宋军于白沟河，不久耶律淳病死，其妻萧德妃摄政，宋兵复来攻，奇袭南京城，在巷战中辽军再次取胜，使得兵心复振。
1123年四月，大石率军在奉圣州龙门壁附近抵抗失败被俘，逼迫为金兵带路偷袭天祚帝的青冢大营。后从金营逃脱，九月投奔天祚帝。天祚帝并不能原谅大石擅自另立皇帝的作为，也不能接受大石''养兵待时''的意见，这使得大石深自疑虑。1124年夏，在天祚帝准备出兵与金决战时，大石杀死了萧乙薛、坡里括二将，率领亲兵200人逃离。
1134年，东喀喇汗国阿赫马德汗死，其子易卜拉欣汗不得人心，造成康里人和葛逻禄人叛乱，被迫邀请西辽出兵协助平乱。大石很快平定了康里和葛逻禄，并把东喀喇汗国降为附庸，割取其北疆一带为西辽直辖领地。当年，大石定都于八剌沙衮(今吉尔吉斯托克马克)，改年号康国元年。
关于耶律大石本人的宗教信仰，不同宗教的信徒有着不同的说法，《世界征服者史》的作者志费尼认为他''秘密成为了一位穆斯林''，另一位历史学家伊本·阿西尔又说他是摩尼教徒，甚至还有景教徒称颂他是传说中的祭司王约翰。其原因也许是因为他表现出了极度的宽容性。在统治区域内，他没有强行推进任何信仰，并且对不同的宗教一视同仁。伊斯兰教、佛教、景教、摩尼教、萨满教等宗教都在西辽赢得了不少信徒。对于其属国和附庸部落，大石要求他们按时缴纳贡金，并派遣一名''沙黑纳''(监国)监管，他们的头人要挂银牌表示臣服。其余方面一切依照原有模式治理。另外，他也采取了辽朝南北面官制，对南面的农耕居民和北部的游牧居民按其习俗分别治理。每户交一第纳尔税收。
由于他的这些宽容措施，西辽尽得民心，很快发展成为中亚地区首屈一指的强国，连成吉思汗的重要辅臣耶律楚材也盛赞其''颇尚文教，西域人至今思之''。
1141年西辽的控制区域东至高昌，西抵里海，成为了中亚的霸主。1143年，耶律大石病逝，享年五十七岁，庙号''德宗''。