说起大帐皮室军的组建，可以追溯到辽太祖耶律阿保机统一契丹时期。大约在公元907年，耶律阿保机组建了一支名为“腹心部”的侍卫亲兵。《辽史·百官志二》载：“初， 太祖以行营为宫，选诸部豪健千余人，置为腹心部。”
到了公元913年，这支小规模的军队更名为“皮室军”，由耶律阿保机的心腹耶律老古指挥。皮室，是契丹语，意为“金刚”。随后几十年间，皮室军的规模不断扩大。《辽史·百官志二》：“ 太宗选天下精甲三十万为皮室军。”
随着皮室军的不但壮大，这支军队也逐渐被分成了大帐皮室军、黄皮室、徒鲁古皮室等几支队伍，这其中大帐皮室军又分为左皮室和右皮室这两支军队，它们也成为辽国的中央禁军。
自从组建之日起，大帐皮室军就承担了辽国皇帝的宿卫任务。据《辽史·耶律屋质传》记载，耶律察割弑杀辽世宗后，耶律屋质就曾“及喻禁卫长皮室等同心讨贼”。到了应历末年，侍卫小哥、花哥等人谋杀辽穆宗，辽景宗继位后即以“右皮室祥稳萧乌里之宿卫不严，斩之。”从以上两个记载中，都能体现大帐皮室军的宿卫职能。
除了保护皇帝安全之外，大帐皮室军也曾多次随同皇帝一起参与作战。《辽史·耶律老古传》记载，大帐皮室军的首任指挥官耶律老古就率领大帐皮室军参与了入侵燕赵的作战，并在战斗中阵亡。又如右皮室祥稳耶律朔古也曾随耶律阿保机一起征讨渤海。随着大帐皮室军的正式成军，其规模也逐步明确，总人数大致在三万人左右。
不过，辽国对外战事的逐渐频繁，大帐皮室军也从单纯的宿卫及跟随皇帝参战的职能慢慢变成了一支可独立参与战争的野战部队。据《辽史·萧排押传》记载，在辽国统和初年，身为左皮室祥稳的萧排押就曾经单独率领大帐皮室军征讨阻卜，这也是大帐皮室军第一次单独外出作战。在此后的数十年间，大帐皮室军还先后参与了征讨北宋、高丽等一系列战争。
到了辽国咸雍五年(公元1069年)，大帐皮室军的职能发生了重大变化，从宿卫皇帝的中央禁军变成了野战部队，不仅要承担平定内部叛乱的只能，还要分散驻守在辽国各大边境战略要地，并成为辽国历史上一支劲旅。