康熙帝曾说：“朕少时，天禀甚壮，从未知有疾病。”又说：“朕自幼强健，筋力颇佳，能挽十五力弓，发十三握箭，用兵临戎之事，皆所优为。”
这样看来，他不但出身帝王之家，生活条件、教育条件优越，而且自幼身体强健，跟普通百姓相比，实在是有天壤之别。然而，令人想不到的是，康熙大帝的童年生活，竟遭遇了诸多的不幸。
康熙帝生来就贵为皇子，他的童年生活，可以说是锦衣玉食，跟普通百姓相比实在是大幸、大大幸、大大大幸。但是康熙帝8年的皇子生活，竟然也遭受了普通人难以想象的8个不幸。
第一个不幸：幼离母亲怀抱。清朝制度，皇子、皇女出生之后，与生身额娘分居，由乳母、保姆养育。就是说玄烨出生之后，不仅没有一个同父母居住在一室的家，而且没有和母亲同住在一起。玄烨是独居一处，由乳母、保姆等哺育、照顾，由宫女、太监等服侍、陪伴。他不仅少了父母的抚爱，甚至难得见到母亲和父亲，倒不如普通百姓家的孩子，可与父母一堂，享受家庭欢乐。
第二个不幸：宫外孤独避痘。玄烨在两三岁时，出宫避痘。他为什么要到宫外避痘呢?原来世居山林和草原的满洲人、蒙古人来到中原后，容易感染痘症，而当时 对这种病没有特效药，传染厉害，死亡率高。所以宫廷里也是谈“痘”色变。为了避痘，玄烨从皇宫里搬出，住到皇宫西墙外的一座宅院里。
这座宅院就在今北长街 北口路东，隔筒子河与皇宫相望。人们从西华门出来往北或从神武门出来往西，很快就可以到达那里。这段时间，玄烨小小年纪，身边只有乳母、保姆、宫女、太监 照料，长期不能同父母相见。直到四五岁出痘以后，才搬回皇宫。
玄烨童年避痘的宅院，雍正元年加以改建，赐名福佑宫，后为宝亲王府邸，但未迁入。弘历即位后，改名福佑寺，为喇嘛庙。现今保存完好。曾供奉于福佑寺的康熙帝神牌正殿恭奉清圣祖仁皇帝大成功德佛牌，东案陈设御制文集，西设宝座。殿额曰“慈容俨在”。大门外有东、西二坊，东曰“佛光普照”，曰“圣德永垂”;西曰“泽流九有”，曰“慈育群生”，都是雍正帝御书。
第三个不幸：家庭关系复杂。玄烨的皇父顺治帝先后娶了19位后妃，其中有满洲人、蒙古人、汉人，家庭关系十分复杂。
而皇祖母孝庄太皇太后为皇父先后选了5位姓博尔济吉特氏的蒙古后妃。皇父并不喜欢她们，先废掉第一位皇后，又疏远第二位皇后即孝惠章皇后，并冷落了另3位蒙古妃子。因此，祖母和父亲关系不洽，磕磕碰碰，一时失和。这些都是玄烨亲眼见到、亲耳听到、亲身感受到的。