皇帝本打着主意将季衡留在御苑行宫里养胎到孩子出生，但他之后也想到了，只要季衡不愿意的事情，很少有能成的。

季衡在午时前回到了城里，是时许氏正在对他翘首以盼。

皇帝的确觉得西山上冬日太冷，不适宜季衡养胎，但他也知道季衡是看上了西山的偏远，正好避开人们视线。

皇帝念念不舍和季衡告了别，自己回了宫去。

而柳姝成了此行的牺牲品，伺候季衡自是不成了的，再说皇帝当时那话本就是试探和吃醋之词，即使她真跟了季衡，也不会有好结果，于是这下，她根本没有被带回城里来，反而被打发去了皇家的静虚庵里伺候里面的先皇的那些被发派过来的宫妃。

季衡一番思索之后，于八月十八一大早乘马车去了西山。

皇帝提醒了季衡，虽然他现在肚子还丝毫不显，但是谁知道会什么时候突然就明显起来呢，与其那时候遮掩，还不如早作打算。

因之前季衡丝毫不露痕迹，只让许氏收拾东西，所以当他那天早上要离开时，伺候他的女官杜若姑姑才知道这件事，想要将季衡拦在那里，但季衡只说了一句话就让杜若姑姑放了行。

季衡说，“皇上尚且不能留我，你又何必。”

杜若女官让了人去给皇帝汇报此事，但皇帝在接见大臣，等知道时，已经是午时，季衡已经走了。

好在付扬心思比较灵活，看季衡要走，也不阻拦，只是和他说了几句话，季衡希望自己出城并不引起人注意，随行之人自然不能太多，所以付扬只安排了最放心的四骑人马便衣一路随行护卫。

杜若女官担了照顾季衡的职责，看自己是留不下季衡的，所以也就带着人跟着收拾东西随行去照顾了。

季衡当天就在西山季府别院里安顿了下来。

仲秋时节，正是西山红叶满山之时，风景优美，季衡对许氏说，“即使为这一山美景，在此长居，也不会寂寞。”

许氏则是没有季衡那些风雅心思的，道，“夏日还好，冬日下大雪就不大方便了，肉类菜蔬不易送来。”