在清朝皇帝中，玄烨的后妃人数是最多的，与玄烨同葬景陵的一共55位，其中皇后4人，皇贵妃3人，贵妃1人，妃11人，嫔8人，贵人10人，常在9人，答应9人。需要说明的是，玄烨生前册封的后妃，只有皇后3人，贵妃2人，妃11人，嫔5人，贵人11人，常在14人，答应9
人。他死后，因雍正、乾隆二朝对其妃嫔又有追封，才出现后妃品级不同的现象。
这就是说，胤祥的生母、嫡母、庶母加在一起有55位以上。一个皇子有这么多的母亲，不仅在清朝，即便是在中国历史上大概也是屈指可数了。
何况，他的兄弟姐妹也多得惊人。玄烨12岁（周岁11岁）大婚，两年后（1667）即14岁第一个孩子出生，至65岁最后一个孩子出生，玄烨前后一共生有55个子女。胤祥曾有过54个兄弟姐妹，这又是一个奇迹。
在康熙帝的众多后妃中，胤祥的生母章佳氏并不据有显赫的位置。她出身一般，是满洲镶黄旗参领海宽的女儿。初入宫，册封妃。她于康熙二十五年生皇十三子胤祥，二十六年生皇十三女，三十年生皇十五女。在四年零两个月内，连续生了三个孩子。这在玄烨中年以后的嫔妃中再无二例，说明她一度很受皇帝的宠幸。但是，她享寿不长，康熙三十八年（1699）去世。这时，她的儿女尚幼，胤祥14岁，皇十三女13岁，十五女9岁。估计章佳氏本人死时也还年轻。章佳氏死后，玄烨降谕礼部：“妃张雅氏（章佳氏）性行温良，克娴内则，久侍宫闱，敬慎素著。今以疾逝，深为轸（ｚｈěｎ）悼，其谥为敏妃。”
幼年丧母，胤祥和两个妹妹只好由其他嫔妃代为抚养。据说，抚养胤祥的是德妃乌雅氏，即后来继承皇位的雍正帝胤禛的母亲。这种阴错阳差的安排，早早就把他与胤禛的命运联系在一起。两兄弟自幼晨夕聚处，感情深笃，胤禛奉命教胤祥算学，日事讨论。每逢塞外扈从，也形影相依。兄弟相聚，宴集唱和，弟有所作，每就正于兄；兄扈从塞外，弟也间或有句相赠。胤禛长胤祥8岁。这种密切的手足之情，伴随他们终生，经受了严峻的考验，而胤祥人生的得与失，喜与悲，荣与损，起与落，又无不以此种关系来贯穿。
在清朝皇室中，皇子皇女幼殇的比例很高，康熙帝玄烨的子女也不例外。他的55个子女内，长大成人的只有28人。55位子女的平均寿命，只有2695岁。胤祥的两个胞妹虽长大成人，也都寿命不永。他的大妹妹（皇十三女）20岁受封为和硕温宪公主，远嫁蒙古翁牛特部博尔济吉特氏杜凌郡王仓津，三年后因难产死去，时年23岁。他的小妹妹（皇十五女）18岁时受封和硕敦恪公主，下嫁蒙古科尔沁部博尔济吉特氏台吉多尔济，一年后去世，年仅19岁。这样，两个与胤祥血缘最近的亲人就过早离世了。
胤祥6岁开始在皇宫内就学读书。学习内容包括满汉文化，儒家经典，以及书法绘画。他的师傅法海，是康熙帝玄烨的舅舅佟国纲的第二子，换句话说，法海是玄烨的表弟，也即胤祥的表叔。法海是当时满洲人中不可多得的博学硕儒。他23岁考中进士，授为翰林院庶吉士，又奉命在南书房行走，成为玄烨身边的文学词臣。康熙三十七年（1698），玄烨选派他在懋勤殿辅导皇十三子胤祥、皇十四子胤祯（雍正继位后改为允）。胤祯是胤禛胞弟，胤祥与胤祯一同就学，同样反映了他与胤禛的特殊关系。这时，胤祥13岁，胤祯11岁。他们在法海门下一学就是10年，两兄弟后来才学俱佳，与法海执教有很大关系。
胤祥幼时很得父皇宠爱。13岁时，胤祥第一次离开京城，随父皇玄烨前往谒陵。此后，玄烨经常带他四出巡幸。玄烨一生先后六次南巡，在诸皇子中，随行次数最多的，就是胤祥。玄烨第三、四、五、六次南巡，他都参与其间。他还随同玄烨巡幸过京畿、陕西西安、山西五台山，或往塞外避暑围猎。这说明，他在青少年时代，曾深得父皇的宠爱。
玄烨有那么多皇子，众皇子对他犹如群星拱月，为什么却对胤祥偏爱？
第一，他自幼温文尔雅，在父亲面前显得很乖巧。《钦定八旗通志》记载：胤祥“幼偕诸王侍圣祖于宫廷。尝随行，以稚弱未能前视，圣祖过，寻履迹伏地嗅之，其孺慕诚切如此”。大意是说，胤祥幼时与诸兄一起侍从皇父于宫廷，因年龄小、个子矮，他几乎看不见在众人簇拥下一晃而过的父亲。为了表示对父亲的孝敬和仰慕，他不禁爬在父亲刚刚留下的脚印上一个劲地闻起来。这个记载或者有所夸大，但印证胤祥一生的行止，和他死后被追谥为“贤”来看，他在为人之道上，无论是对父母、对兄长、对臣民，都很符合儒家传统推崇的典范。
第二，他经过系统教育，加上本人的勤奋努力，才华横溢。能文能诗，书画俱佳。康熙四十一年（1702），玄烨南巡，皇太子胤礽、皇四子胤禛、皇十三子胤祥随驾。某日，玄烨在行宫召集大臣和皇子们研习书法。玄烨一时兴起，谈起自己习练书法的体会：“学书须临古人法帖，其用笔时轻重疏密，或疾或徐，各有体势。
宫中古法帖甚多，朕皆临阅。”说罢，他意犹未尽，又亲书大字对联当场展示。随即，
他邀请众人观赏皇四子胤禛和皇十三子胤祥书写的对联，据说，诸臣环视，“无不欢跃钦服”。如此惊叹的举动，自然有阿谀逢迎的成分，但两位皇子擅长书法确是事实。这一年，胤祥17岁，已学习书法多年，如果不是心里有底，玄烨又怎么会让他同皇兄一起当场献技呢？
胤祥随从父皇巡幸各地，开阔了眼界，丰富了阅历。他往往把内心感受即兴写成诗篇。他的诗清新隽永，很有意境。如《恭读御制耕织图诗敬成二律》：
历历三时况，如陈七月篇。
秋云青甸里，春雨绿畴边。
圣政先无逸，皇心重有年。
孜孜宵旰意，总向画图传。
玉帛梯航远，山龙绘绣工。
岂知寒女事，犹入睿吟中。
勤俭昭淳俗，劳思爱古风。
垂裳开至治，衣被万民同。
在诗中，他刻画了农村田园诗的秀色，歌颂了父皇贤明的治理，同时流露出对百姓生计的关切。
第三，他继承了满洲人的传统技艺，骑马射箭样样精通。有记载提到，他“精于骑射，发必命中”。有一次出巡狩猎，一只猛虎突出林间，他神色不动，手持利刃向前刺之。见者无不佩服他的神勇。
胤祥出生时，父亲给他取了一个寓意深刻的名字，依据的是《礼记·中庸》中的“国家将兴，必有祯祥”，给他取名胤祥，给他的弟弟（皇十四子）取名胤祯。然而，祝福归祝福，亦如出生在普通百姓家的子弟一样，胤祥的人生道路也充满了扑朔迷离的变数。