崔日用让兴宁坊门口的太监去叫了高力士，高力士来了以后，与崔日用进行了一个简单的交接。高力士带着三位皇子，在四个护卫，两个太监的簇拥下，去了掖庭宫和太极宫东宫里，几位奶妈的住处。高力士将皇子们各自送到各自奶妈的房间，并叮嘱太监和侍卫照顾好皇子，并保护皇子。
皇子随着年龄的增大，奶妈住处的几间房子，虽然也不小，也有后院，和亭台花草，但是还是满足不了他们对外界的好奇心。
由于李琮和李瑛的奶妈和母妃们，都是在偌大的掖庭宫住的，所以他们有时候让小太监不要管那么严，来回到彼此的住处去玩。但是他们是不可以去找母妃的。想见母妃时，需要奶妈去他们母妃那里请他们母妃过来看他们。当然他们的母妃是可以去探望他们的，只是不能在他们那里过夜。
李亨的母妃杨贵嫔，她高祖父是武则天的外公，她祖父和父亲都是朝廷重臣，所以相对于其他妃子而言，玄宗还是高看她一眼的。所以，东宫本来是太子居住的地方，玄宗让杨贵嫔住在那里了，还让李亨和奶妈也住在东宫里的一套住处了。
这天傍晚，玄宗和杨贵嫔一起共进晚餐。玄宗用完晚膳后，杨贵嫔给玄宗沏好茶。
玄宗喝茶水的时候，杨贵嫔说：“陛下，臣妾有一件事想同您商量，不知当讲不当讲？”
玄宗说：“杨爱妃，你有什么话要和朕商量，就直说吧。”
杨贵嫔轻声说：“皇后对亨儿很是照顾，有时候同我一起去看亨儿，还送给亨儿一些布老虎，布公鸡等玩具。能否让亨儿过继到皇后名下，亨儿刚出生时，宫里请道士给占卜过，说臣妾不宜抚养亨儿，破解方法就是将亨儿过继给皇后。”
玄宗说：“那个道士是谁请来的？”
杨贵嫔说：“是王守一王大人，推荐给皇后的，那道士没有到宫里来。王皇后因为挺喜欢亨儿，所以就把亨儿的生辰八字，和我的生辰八字，记下来，找那个道士占卜的。”
杨贵嫔这么一说，玄宗也有点印象了，两年半以前，李亨刚出生，王皇后跟他说过，李亨的生辰八字，和杨贵嫔的生辰八字，让老道士占仆过，说生母不宜养。
当时王皇后想把李亨过继到自己名下，征求玄宗意见。当时玄宗正被太平公主整得高度紧张，没有答应她。太平公主不想让玄宗有太多子嗣，在杨贵嫔怀着李亨时，玄宗怕生了再是儿子，会被太平公主进一步打击迫害。玄宗曾跟心腹张说商量，让杨贵嫔服用堕胎药。在张说的劝说下，玄宗才放弃了这个念头，李亨才得以有幸降临人世间。
当时在太平公主给施加的，紧张压迫的氛围里，李亨降生，自然要越低调越好，因为后宫中很多太平公主的耳目。玄宗那时候自然不会答应让太子妃来养李亨。（那时候是玄宗登基前一年，所以王皇后还是太子妃。）太子妃有了过继过来的李亨，就等于太子下一代的太子也确定了。玄宗当时很明白，这样高调的动作，会激怒太平公主的。
现在杨贵嫔重提这件事，倒是让玄宗觉得突然。玄宗说：“既然王皇后对李亨视如己出，过继给她，和保持现状并没有什么区别。那位道士说的应该是刚生的时候不宜养，亨儿这都快三岁了，不会再有事了。”
“臣妾就是征求陛下的意见，一切会遵从陛下的意思。”
“嗯，这件事就不要再提了。”
玄宗看着杨贵嫔，她比武惠妃略高一点，面容没有武惠妃精致，也没有刘华妃清秀，但是给人一种稳重大方，高贵而不失纯朴的感觉。
两人喝茶聊了一会儿，杨贵嫔说想和玄宗交流画水墨画的方法，玄宗欣然应允。杨贵嫔到通往后院的门口，喊了两个宫女，过来给他们准备笔墨纸砚。