按照老潘的说法，其实当初，他们也不太敢收留潘五，毕竟主人严词厉色地否认这孩子是自己的种，如果他们非要当着主人的面把孩子抱回去，岂不是打了自家主子的脸？他们可是段家的奴才！
“谁知那晚，老爷忽然悄悄过来，放下一整包银子，一句话都没说就走了。”老潘咧嘴嘿嘿笑起来，“这个意思还不明白吗？自然是让我们把你养下来。小五啊，若没有老爷那包银子，你怕是过不了那么好的日子。”
当时老潘家里已经有三个孩子了，生活本来就有点艰难，两口子再怎么发善心，也不会毫无顾虑地再往回抱一个弃婴。而且后续，老潘的老婆奶水有些不太够，老潘惴惴不安地去厨房，想要一点儿鲫鱼汤、猪脚汤什么的，好帮老婆下奶，厨房的人也是他要多少就给多少，一句废话都没多讲。
“若不是老爷的意思，厨房那帮子抠门的家伙，怎么会那么大方？”老潘啧啧道，“小五，你与其感谢我们，倒不如去谢谢老爷。”
老潘的这番话，让潘五大为诧异，他原先以为，段克俭对他这个私生子厌恶透顶，冬天泼水夏天加柴，是巴不得他快点死的。
却没想到，自己当初能够活下来，其实还是靠生父发善心——既然如此，那他为什么不干脆就把自己领进门去呢？
“因为家里妻妾不允许吗？”甄玉忍不住好奇地问。
潘五摇头：“不可能。他嫡妻已经亡故了，续弦不到半年就难产而死，另有两个妾也是常年被冷落、毫无地位。那时家里没什么像样的女主人，是我大姐主持中馈。我大姐也不会不允许我进门啊。”
这一点，甄玉也想不明白，最大的可能是段克俭太讨厌潘五的生母，所以恨屋及乌。
在听过老潘的这番剖白之后，潘五也渐渐觉察到，段克俭并不是真的对他“不问死活”。比如后来，他进段氏的家塾念书，那所家塾一向管理严格，请的是知名的鸿儒，教学品质很高，外来子弟若想附学，每年至少得拿一百两银子，而且还得被考教一番，水平太次的也进不去。
可是潘五一分钱都没交，莫名其妙就蹭进去了，虽然被同窗捉弄，家塾里那些傲慢的老先生却没有谁把他赶出去——要说这后面没有段克俭的暗示和默许，潘五是不信的，如果光是靠蹭，那别人为什么蹭不了，偏偏他蹭就可以？
但是，因为长期被别的孩子霸凌，潘五在学堂里的日子过得并不好。有一次潘五实在忍不住，回去以后和老潘大哭了一场，说自己总是被欺负，以后不想去念书了。
然而说来奇怪，那之后，欺负他的那几个同窗忽然就老实了，一个个躲他远远的，不敢往他身上抹墨汁，也不拿毛笔戳他的头了。
“我那时还小，以为是我哭得太厉害，所以老潘跑去教训了他们。”潘五说着，苦笑起来，“现在想来，老潘一个门房，哪里敢去教训段氏的子弟？那可都是段克俭兄弟的孩子。”
甄玉点点头：“这么说，还是右相在其中起了作用。”
后来，潘五成年，做了人牙子，干起了京师有名的下九流的勾当，这种行当经常出入富贵人家，但没什么尊严可言。
选书网