到玉环这一辈，情况又不如上代。玉环的哥哥杨铦、从兄杨锜、从祖兄杨钊及杨玄璬的儿子杨鉴，在玉环显贵以前都没有任什么官职。还有玉环的几个姐姐，在玉环显贵以前也都是一般的女子。
从上面可以看出，玉环的家世，从高祖杨汪以后中落，至玉环的父辈尚无振兴的迹象。但这并不要紧，因为他们毕竟是弘农杨氏——名门望族的后裔，尤其是一提起他们的高祖杨汪，他们的地位就会受到世人的瞩目。
玉环的童年是在四川度过的，蜀中的秀丽山川，既孕育了她无与伦比的美貌，又培养了她欢乐活泼的性格。她从小聪慧好动，招人喜欢，刚刚学会走路时，就常常一个人跑出去玩。玉环生性活泼好动，不受约束，往往趁父母不注意时，偷偷溜出家门，玩个尽兴方才回来。看到父母为她外出而担心生气时，她又扮着鬼脸，说着笑话，把父母逗得转气为笑。因为她聪明乖巧胜过其他孩子，所以玄琰夫妇孩子虽多，却独对这个小女儿钟爱有加，视为掌上明珠。
然而，当玉环10岁之时，厄运降临到她的头上，他的父亲病逝。玄琰去世时，一手摸着小玉环的头，一手拉着妻子的手，瞪着无神的双眼，无力地环视着站在旁边的几个孩子，一遍又一遍地嘱咐妻子：一定要坚强地活下去，把孩子们抚养成人。玄琰咽气的时候，目光停留在小玉环的脸上，似有千言万语要说出来，却一句也没说得出。