胤祥的生母章佳氏，在康熙帝后妃中并没有显赫的地位，她出身一般，是满洲镶黄旗参领海宽的女儿。而且她享寿也不长，康熙三十八年(1699年)去世，身后留下了14岁的胤祥、13岁的皇十三女和9岁的皇十五女。
胤祥在康熙帝的三十六个儿子中，排行十三，幼年丧母之后，胤祥便由胤禛的生母乌雅氏抚养，胤禛比胤祥大八岁，可能是命运的安排，胤祥一生和他的四哥最为亲善，并影响了他的一生。
胤禛是乌雅氏的第一个儿子，不过这个儿子并不是自己亲手抚养的，而是给了孝懿仁皇后抚养。皇后只生过一个女儿，不幸早夭，故而将胤禛抱去抚养以填补无子之痛。乌雅氏虽然舍不得儿子，但皇后能看上自己的儿子，这也是天大的面子，家世平凡的乌雅氏，又有什么可以抱怨的呢。
胤禛作为哥哥，自然承担了教育弟弟胤祥的任务。由于康熙早年已经确立了太子，名分已定，其他皇子自然没有非分之想。胤禛将主要的时间花在读书上，对这个小自己八岁的弟弟，自然也花了更多的时间照顾。成年后，胤祥还时常回忆起皇兄教自己数学的经历。
幼时的胤祥，虎头虎脑，一幅淳朴的形象，备受康熙喜爱。对于皇父，胤祥也是无与伦比的崇拜。一次康熙帝与诸子在宫内游玩，年幼的胤祥也跟着同游。康熙与众皇兄走过之后，胤祥未能跟上，一个人被落在后面。
呆萌的胤祥，突然做出了惊人之举，他趴在地上，像条宠物狗一样“寻履迹伏地嗅之”，想以此追踪父皇的踪迹。
在康熙的心目中，胤祥总是很体贴，也很听话，时刻都能想父皇所想，认为他“生秉粹质，至性过人”，对他也格外宠爱。
康熙三十七年，十三岁的胤祥第一次跟随父亲去盛京，拜谒远在辽东的大清先祖们的陵寝。此后无论是巡游江南，秋围塞外，视察河工，康熙总是将胤祥带着身边。
康熙一生共有六次南巡，胤祥陪同了四次。康熙四十二年，胤祥跟随父皇南巡。由于胤祥书法不错，康熙特命胤禛与胤祥一起书写对联，在群臣的注目下，胤祥一气呵成，文墨工敏，群臣无不称赞。
然而，胤祥的命运和性格，在康熙四十七年皇太子胤礽被废之后，发生了翻天覆地的改变。
苏州人何焯，早年落魄，在苏州靠教授私塾为生，后来经过李光地的推荐，以草泽遗才而入南书房，并奉旨在八阿哥胤禩府中担任老师。
何焯在给友人的信中提到：“十三殿下乃康熙帝所钟爱也”。这还不够，有着一颗非凡八卦之心的何焯，在给他弟弟的信中，又生动地描述了杨国维被选中陪皇十三子读书，而康熙一直认为杨国维诗文无人能出其右，现在让他陪伴十三殿下，“将来遭遇不可知也”。
何焯是八阿哥胤禩的老师，而胤禩又是皇位继承人最有力的竞争者，连何焯都如此看，一时间，十三阿哥要成为太子的风声，传的沸沸扬扬。
如此一来对胤祥很不利，形势急转而下，胤祥被冷落了。对胤祥的冷落，表现在方方面面，以前康熙出行，身边总少不了胤祥，此后不管去何处，再也不见胤祥的踪影。
康熙四十八年，康熙大封皇子，胤祉，胤禛、胤祺被封为亲王，其他诸皇子，或为郡王，或为贝子。没有授封的成年皇子只有胤祥，此时他已经二十四岁。
康熙五十一年，康熙遍赐银两，上至亲王，下至御前侍卫都得到了封赏，就连争夺太子之位而被拘禁的胤禩也得到了赏银，但胤祥一两银子也没得到。
康熙冷落胤祥，其中的原因，是他以为这个让他喜爱的皇子，也开始觊觎太子的位置。晚年的康熙杯弓蛇影，被儿子们伤透了心。他最厌恶的就是皇子们流露出来的野心，曾放出狠话：“如有钻营为皇太子者，即国之贼也。”
胤祥自小就没有野心，固然没有想当太子的意思，可是各种传闻终究到了康熙的耳朵里。爱之愈深，恨之愈切，自己最喜欢的皇子，曾经在地上嗅着气味追寻皇父踪迹的胤祥，竟然也有如此心机。失望悲切之下，康熙开始冷淡胤祥，并告诫其他大臣皇子警惕他。
在其他皇子的请安折上，康熙的批示明确流露出了对胤祥的厌恶，认为他是“不大勤学忠孝之人”，“尔等若放任之，必在一处遇到他，不可不防”。康熙生病之后，在病榻之上还传谕旨给托和齐，让他留心胤祥：“现在朕龙体欠佳，流言蜚语四起。这些言语皆出自正蓝旗，你一定要切实留意。”
皇子和群臣心里都明白，老皇帝虽然没有点名，但他所说的正是属于正蓝旗的胤祥。
在康熙的晚年，胤祥仿佛是个被遗忘的人。胤祥默默旁观其他皇子的激烈角逐，他超然于世外，除了皇四兄，他不与其他人来往。
至于流行于各网络及影视中的胤祥被康熙“十年圈禁”一说，纯属文学作品杜撰，不足采信。有大量史料为证，如皇子请安折、胤祥出席康熙六十大寿等。这些都足以证明，胤祥在康熙四十七年(1708年)至康熙六十一年(1722年)的14年中拥有行动自由。