为此，耽于欢乐的杨玉环流了几次泪。游乐的兴致也减了——而她的心事，也无法向人倾诉的。
一次，在少府服官的杨慎名入内宫，在偶然中告知杨玉环，杨玄璬身体欠佳——这又是她的心事之一，和父兄，虽然消息鲜通，可是，她怀念着的，她闻讯而不安，忽然间，她觉得自己入宫，什么好处都没有，“名花倾国两相欢”，除了娱乐了皇帝之外，都是空虚的，她厌心——但过了几天，她的观念又改变了，她想到入宫之后，自己同样也享受着青春的欢乐啊！
杨玉环的本性如此，她不会自行潜入愁怅中，偶然有愁，又自我将之抛开。
但是，在她的家中，情形却相当严重了。官国子监司业的杨玄璬，无法忍受人们对自己女儿的悄语私议；同时，对本身的出处，他也痛苦，由内宫官出身而为皇帝所信任的杨慎矜，已接连和他商谈，希望他稍为表现得积极一些，接受国子监的祭酒，杨慎矜暗示他，只要当一任国子监祭酒，就可以入相，杨慎矜还举出先例：神龙元平二月，当大唐中宗皇帝自女皇帝手上夺到政权之后不久，曾任命当时的国子监祭酒祝钦明为同中书门下三品事。
杨玄璬自然知道这一段往事，然而，他更明白人们如此对自己，只为着女儿有宠。再者，他又明白，杨慎矜努力来交好，另有原因，宰相李林甫似乎对杨慎矜不大好了，为此，皇帝任命杨慎矜为御史中丞，他辞不敢受，转任谏议大夫。他知道杨慎矜是一个有旺盛的政治欲望的人，慎矜拉拢自己，有结党的目的在。
为此，杨玄璬不堪了，他想：人们来巴结我，只因我的女儿可耻地周旋于父子之间啊！在自羞中，他真的生病了，他家居，以养病而谢见宾客。
可是，新的难堪的事件又降临到他的身上——他的儿子杨鉴由宰相李林甫的推荐，擢任秘书省秘书少监，那是从四品上的官阶！以杨鉴的资望，自然无可能取得如此高的地位，何况，这又是清高而机要的地位。
杨玄璬明白，这又是因为女儿之故。再者，他又忖测，此项任命，也可能另外有作用，李林甫用杨鉴来排挤贺知章。他不欲自己的儿子参与到政治派系的斗争中去，于是，他命儿子亲自去见宰相，辞谢新任命。
可是，杨鉴却不舍得放弃这个优职，他见宰相对，只谦逊了一番，并未认真辞谢不受。回家，他告诉父亲，宰相不许辞职。
这使杨玄璬为之气结。
这是天宝二年的初冬，十月新寒，杨玉环偕皇帝去了骊山。骊山，自天宝元年起，建筑了一所新宫殿，祀天神的，宫殿很巍峨，有高楼，为长生殿。但是皇帝另外为之立了一个名字：集灵台。因为宫中的寝殿通常呼为长生殿或长生院，以前，祀神的宫殿也称长生殿，二名相同，李隆基加上集灵台以为分别。
集灵台长生殿是道教的，没有太多的戒忌，杨玉环常常在祀神的新宫殿中游乐。她对父亲的病一无所知，对哥哥升官，很高兴，她曾代表哥哥向皇帝致谢。
这回在骊山，由于杨玉环贪玩不肯回长安，住了三十八天之久。
朝臣中有人记录下这一次皇帝避寒骊山，有“上乐而忘返”之语。这自然是因杨玉环而乐而忘返的。杨玉环曾经顾全一个皇帝的现实，但她又时常很任性。这回，她任性了。有人向皇帝进言，不宜在骊山宫留得太久。杨玉环也知道了，她很不高兴，向先知这一事件的皇帝说：“三郎，有时，你大可不予理会，在骊山，你也一样治事的啊！一个人做了皇帝，一年忙到头，玩一个多月也不可以吗？何况这又不是完全玩，对不？”
皇帝望着她期期地笑，说出：“很是，很是！”
“那些人要多事，由他们去，我们一过了年，再去骊山，看他们怎样？”她发着稚气的牢骚。
皇帝又笑着说：“很是，很是！”而这一回，杨玉环发现了皇帝的“很是，很是”，只是敷衍自己，于是，她嗔了，哼了一声，命人去找时日卷来。
“找时日卷来作什么？”皇帝笑问：“选日子，过了年，哪一天是好日子，我们再上山去！”她说着，皇帝正要接口，她抢着说：“很是，很是！”
于是，皇帝大笑，捏住了她的双手，再说：“不必急，现在离过年，还有半个月哩！”
“我要先行选定日子！不行吗？”她还是有些气恼。
大唐皇帝接受了——杨玉环自己选定了年初六，辛丑日，那是利于行的好日子。她请皇帝预定年初六上午发驾赴骊山，皇帝也答应了下来。
——这是她偶然使一性，皇帝以为很有趣。
进入用天宝年号的第三年，皇帝把年号改为载——称为天宝三载。
年初六，他们又上骊山去了。
对杨玉环来说，这个新年是很有趣的，他们上山的日子，好太阳，天气不太冷，但到骊山的第三天，气候变了，大雪，一夜间，山谷间除了温泉区之外，铺满了白雪，她在积雪上和谢阿蛮同舞。
谢阿蛮的技艺的确很高，她的脚浮陷雪中，但仍能使身体平衡，每次一个脚印，在雪地上留下的痕迹很匀称。至于杨玉环，却无法做到，她好胜，努力学样，终于，她滚跌在雪中，而看她们作雪上舞的皇帝，因杨玉环的滚跌而大乐。
随后，皇帝也冒寒出动，和杨玉环等人堆雪人，他们发动以百计的宫女和内侍堆雪人。
宫廷在欢乐中度新年，朝廷却在人事倾轧中。
先是，在去年底，皇帝准许道士吴筠还山，有一笔相当丰厚的赏赐，正月初，他走了。随驾在骊山的李白，情绪为之低落。接着，秘书监贺知章受到暗暗的压力，自觉再做下去不会讨好，在皇帝批准吴筠还山之后，他由长安城上山，想乞求退休。以他的年龄而乞退休，也很合理的。
皇帝和杨玉环在集灵台长生殿，贺知章是老于官场人事和深知皇帝的性情的，在集灵台内，他灵机一动，把原来请求致仕的方式改变——那是从杨玉环的衣饰而引起的。这一天，杨玉环为了好玩，又着上她平时最厌恶的女道服，自称集灵台主。
贺知章就在谈笑间请求皇帝的恩典，度自己为道士。皇帝度一个人为道士，由皇家供奉，待遇很优厚，退休，虽然仍然可得一半俸禄，却比做道士差得太远了。为了现实，他有需要，再者，他又认为，自己请求度为道士，比请求致仕来得好，皇帝必不会起疑。
“贺卿，你这年纪，真还想做道士？”皇帝轻松地问。
“陛下，女道士宜年轻，男道士，似乎是年纪老一些的好——”他说着，转向杨玉环一揖：“还请妃子勿介意！”
贺知章的话说得很风趣，皇帝点点头，连连说好。
皇帝以贺知章为老臣，历事三伏四帝，给予特恩，许以贺知章的住宅为千秋观，并命举行送行典礼。
当晚，贺知章把自己请求度为道士获准的事告知了李白——这使李白为之错愕不已。
隔了两天，欢乐中的皇帝接到了杨玄璬病中的上表。这是一封特殊的陈情，除了久病乞休之外，并且缕述杨氏家族四世族系，声言本族以长房作为代表，四世以来，俱皆依长房之制承袭财产等等。在这一段之后，杨玄璬才说明叙述世系之原因，以椒房之亲，宜正谱牒。
这表文很突然，李隆基错愕着，倘若是旁人所上，或者会有讽刺皇家的意思，李隆基本身并非长房，但皇帝明白杨玄璬不会作这种无聊的讽刺。再者，他对年纪并不大的杨玄璬的病，也有所疑，因为杨玄璬因病辞官，已不止一次。
他没有将这件事告知杨玉环，也不曾处理事件，他命内常侍偕两名御医同往探疾。
——这是恩命，一般大臣也不易得的。
杨玄璬这回的病是真实的，御医回奏了之后，皇帝终于告知玉环，她不便说自己的家事，请求皇帝于回城后，让自己和哥哥见一次，皇帝自然答允了。
不久，大唐皇帝的老臣，以正三品太子宾客衔，官从三品秘书监的贺知章，一获皇帝准许，就上表告以回乡的日期，于是，皇帝颁下特诏，命太子率六卿庶尹大夫饯行。
这是大唐皇帝历史性的盛典，皇帝本人，先作了一首诗，又附了序文，如下：“天宝三载，太子宾客贺知章鉴知止足之分，抗归老之疏，解组辞荣，志期入道，朕以其年在迟暮，用循卦冠之事，俾遂赤松之游。正月A日，将归会稽，遂饯东路。乃命六卿，庶尹、大夫，供帐青门，宠行迈也。岂惟崇德尚齿，亦励劝人，无令二疏，独光汉册，乃赋诗赠行：遗荣期入道，辞老竟抽簪，岂不惜贤达，其如高尚心；寰中得秘要，方外散幽襟，独有青门饯，群僚帐别深。”
（南宫搏按：全唐诗及纪，唐玄宗此诗序中谓“天宝三年正月五日”，有误，天宝三年，年初一改年为载，玄宗皇帝自己不会再用年字。又正月五日应亦有误，是年正月初六日驾幸骊山，至二月初五庚午始还都城，而饯送贺知章实分作两次，宋蜀本诗序未系日期，依之。）
接着，皇帝于宫内赐宴，饯别，并命预宴的人都作诗赠别，名满天下的大诗人李白，在情绪低落中，草率地写出一首《送贺监归四明应制》的诗。
接着，贺知章离开长安，由太子李亨主持，有一个盛大的送行宴会。八十五岁的贺知章，自女皇帝证圣元年中进士入仕，在官场中经历了五十九年，终于离开了大唐的皇都而回到江南的会稽故乡去。
他身体依然健康。近年，由于李林甫的当权，连贺知章也受到无形的排挤。他离开，是有着依依不舍的。而在近十年间，他的作风也有改变，在生活上狂恣，不再在政治上求进取了。实际上，他并不是文学上的才人，而是政治家。早在开元十三年时，他就同时就任礼部侍郎和集贤学士，当时人认为无比的荣宠，宰相源乾曜当时有意引他入相的，但首席宰相中书令张说，虽然是提擢贺知章的人，又不愿这位有锋芒的才人入相，只称赞他的文才，提高贺知章在文华上的地位，列为清高人物，另引李元绂为相。从此，贺知章转了几次官，都在清高部门，有一次转为工部侍郎，算是失职而降级，随后又很快起来，以太子宾客的荣衔而宫秘书监。他自知拜相无望，年纪又大了，在人们排挤中，趋向狂放，即使这样，在八十五岁的高龄，还是自请作道士而离开。
李白赶到饯行宴，在惆怅中狂饮而送酒中八仙中列首席的朋友，然后，他唱出了下面二十八个字：“镜湖流水漾清波，狂客归舟逸兴多，山阴道士如相见，应写黄庭换白鹅。”
别了，一个集团的首领离开了长安城。
贺知章在秘书监任事兼内职，总是控制皇帝部分机要事务的。他利用自己的地位，也引进四方的才人，使入翰林或其他机构。在朝臣中，他是一派的领袖，显贵如李适之，名望极大的李邕，还有不少有名的文士，和贺知章合在一起，这对李林甫行事是有牵制性的。如今，贺知章这位领袖一走，他的集团等于散了，贵为左相的李适之，没有领导一群人的才能。
这些事，在长安虽然成议论的中心，但是，宫中的杨玉环却全不着意，当贺知章退休而归去时，她在内宫和作秘书少监的哥哥相见了。
她直率地向哥哥说明了自己在宫中的地位，她表示：皇帝会在适当的时候立自己为贵妃，同时，也会对自己的家人有封赠，她要求兄长向父亲说明，求取谅解。
杨鉴处身在夹缝中，他很痛苦，但他又不能不将父亲的意思说明，他告知妹妹，父亲呈明家世，以长房为主，就是为了避免本身受封爵，如果皇帝有封赐，父亲必然会不惜一死而辞，同时，他又表明父亲辞官的决心。
她又为此而愁，喃喃地说：“大人只是小小的国子司业，和你的地位相等，而且还不及你的官位重要，为什么要这样呢？”
“玉环，大人原也不许我出任秘书少监的——”杨鉴痛苦地说：“他已谢绝了好几次封官……”
她缄默了，稍后，喟叹着说：“大人原来是热衷做大官的，我知道，这只是为了我的缘故，我本可以回家探父，皇上一定会答允我的，但我不敢，哥，那怎么办呢？让父亲辞官，又不好——”
“大人有病，那是事实，但据我想，你如为贵妃，爵封给予已故的大伯父，大人可能不会感受太大的刺激！”
“哥，这是不可能的，我如果为贵妃，封赐，第一是予生父，已故的大伯父会有追赠，二伯父也会有一个爵衔的，封赐不及生父，依照体制是不合的！”
“玉环，大人目前的官职，再拖延下去大约无妨，他不去上班，也不会有人说话。可是，如封赐及于大人，那真会出些事，大人的性情你总知道的，他是儒家！”
她无法可想了。杨鉴和妹妹默默相对了一些时，告诉她：从妹花花丧夫，有儿子，又承受了夫家的大财产。此外，杨鉴又说到再从兄杨钊，在巴蜀做官，渐渐有了声名。他说出：花花曾以资力济助杨钊。
她为花花的丧夫而叹息，对于隔一族的堂兄杨钊的事，她完全不关心，因为，她本家的事就够烦了。
李隆基原想在天宝三载的春日册立杨玉环的，当杨玉环把父亲的反应坦率地告知皇帝时，迫使皇帝只能将这一事暂缓下来，皇帝为此而心情不好，于是，有一连串事故发生了。
左补阙兼东宫侍读薛令之，多年未有升迁，在壁上题了一首诗表示心情，皇帝到东宫巡视时看到了薛令之题诗的最后两句：“无以谋朝夕，何由保岁寒”，很不高兴，他命人取笔，在这两句诗之下，写下一首诗：“啄木嘴距长，凤凰羽毛短，若嫌松桂寒，任逐桑榆暖。”薛令之看到了，立刻弃官，徒步还乡。
也在同时，供奉在翰林的酒中八仙之一的裴图南，上表请求还山，皇帝在不满中批准了。
这两人都属于贺知章集团的，裴图南是以起居舍人本官入翰林，应该说是很受重视的人，但因受到兼领兵部侍郎、中书舍人、翰林院首席学士张垍的压力，告退。
李白去送行，写了两首诗，�