称：quot;但臣迄未接此军职。臣在门下省一日，即当提醒陛下留意此等事。quot;
王安石闻之对其忌惮更深，终于在熙宁三年九月，通过皇帝将司马光罢至陕西去做外任官。
在他离去后，皇帝却又经常会想起他的好处，每当王安石的激烈政策引起什么非议，而他也略有不满时，他便会忍不住向旧党官员们表示，如果司马光还在朝中，他应该不致于犯什么大错。旧党官员们中他的话中听到了欲重新起用司马光的意思，于是开始聚集旧党力量，想一起进谏皇帝，请他召司马光回朝。此时韩琦、富弼均遭外放，欧阳修也不再过问政事，要辞官回乡，朝中几乎无一可主大事与王安石对抗之人，所以旧党期盼着司马光的复职，认为当前只有他才可以扭转旧党劣势，抑制新党气焰。
他们把目光投到了庞公身上，希望他能挺身而出建议皇帝召回司马光。
庞公知道自己已陷入了这场斗争的漩涡中心。
旧党官员们当然很清楚他与王安石是儿女亲家，但正因为如此，如果连他也站出来请皇帝起用司马光，才更显得这是众望所归、顺乎民心的举措，而若一个与王安石有姻亲关系的人都不顾王的立场而要求起用亲家翁的对头，也说明王安石的为人行事确有问题，导致众叛亲离。
王安石也在关注着他，想知道他会不会不顾女儿情面而公然与他这亲家作对。
庞公黯然嗟叹，数十年宦海沉浮，避过多少惊涛骇浪，而今终于走到了花散月落的尽头。
他辞掉了自己的官职，但在递交辞呈前向皇帝上了道奏折，恳请皇帝召回司马光。
他很清楚王安石的个性，王不会允许任何人反对变法提出异议，凡是对变法持异议者，他均称之为qu;派，而称自己的新党为qu;派。对qu;派他极力提拔，对qu;派则大力压制，甚至不惜行qu;术，导致反对派攻击他欲quot;钳天下人之口quot;。
王安石的为人清正廉洁，庞公也相当佩服，但王禁止言论的做法是他所不耻的。他是个保守的旧党中人，不相信不顾众人反对而强制推行的法令会长期保存下去，也不相信用高压手段堵住反对之声的政府会存活多久，但是他不会把这种看法明确地表达出来，他知道皇帝求治迫切的心理，看清了皇帝对王安石因近乎崇拜而言听计从的态度，所以他之前选择了一种大智若愚、以柔化刚的方式来应对咄咄逼人的新党，在其中找到了一个即不违本心又不致引火烧身的平衡点。但是，从决定把女儿嫁给王雱那刻起，他就意识到了自己必将失去这个平衡的支点。
与王安石结为姻亲，必将使自己从一个不受重视的旧党官员变为一个被两党争夺的新势力，但凡两党出现纷争，大家肯定会以强于以往十倍的注意力来观察自己态度。当然，他不会因这层姻亲关系转而支持王安石，道不同不相为谋，这是一个有节操的人应坚持的原则。但是，他不能不顾女儿在王家的处境，他不想因为自己在政治上与王安石的对立影响到王安石父子对女儿的态度，不希望女儿夹在两家之间左右为难，所以，他选择离去，远离了这朋党死拼的朝野，女儿才不会被其中的暗战伤及，而自己兴许也可以在阔别已久的故乡找到渴望多年的安宁。
请皇帝召回司马光，是他对新党的激烈作风表示的最后一点抗争，也是最后一次向所有注目于他身上的人表明他一贯的立场。
启程返江南故居那天，庞荻与夫婿王雱前来送行。庞荻拉着父母的衣袖依依不舍，泪落不止。庞公自然也难过之极。庞荻是他最小的女儿，是他继室夫人所出，从小就聪颖明慧，远胜原配妻子生的子女，所以他尤为钟爱。庞荻的哥哥平庸无才，此时随父母返乡，而别的姐姐也都已出嫁，嫁的虽都不是什么大富大贵之家，但家境良好，也无复杂的政治背景，庞公并不怎么担心她们日后的生活，但惟其yòu_nǚ荻却是他心上那永远牵挂着的明珠，让他忧思反复、放心不下。
荻，意为生长在水边，形状似芦苇的草，纤细而柔韧，有着顽强的生命力。所以他给女儿取名叫荻，不希望她生活在多么优越高贵的环境，却希望她能坚韧顽强如荻草，一生过着平淡却闲适的生活。如果当初还有别的选择，他更愿意把她嫁给一个身家清白的士人，只要他对荻儿以诚相待即可，并不要求他有多多的家财，多高的官爵。
但命运却把女儿与王雱联在了一起。
王雱。想到这里庞公把目光转到了女婿身上。
多么意气风发的年轻人。满腔报复，满腹壮志，他觉得只要他愿意，只要他坚持，所有的理想都可以实现，运用他的经纶与才华就可改变整个混沌的世界，起到强国救世的作用。
庞公觉得，自己是理解他的，因为多年前他也曾如他这般意气风发过。本朝仁宗庆历年间，他也曾经与范仲淹、韩琦、富弼、欧阳修等人一起倡导过新法治国之事。那次变法因仁宗皇帝最后的放弃而告终，也由此磨灭了庞公当时所有的锐气。
而王雱与其父倡导的变法更危险，一开始在变法核心问题上就选择了一个在旁人;异端quot;的点--理财。这就注定了他们将与所有受quot;重农轻商qu;重仕轻商qu;重义轻利qu;耻于言利quot;等思想影响的旧派党人斗争到底。而且，他们采取了那么激烈的qu;术，树敌渐多，倘若有失，很易被