孙举人下山的消息不胫而走，众人纷纷登门拜访，或赠宅子，或赠女子，或赠金银珠宝。然而，他一概婉拒。
因为母亲曾告诫他，为官应清正廉明，万不可贪图小利，以免误了终生。他谨遵母训，对众人的好意一笑置之，将他们一一送出家门。
孙举人稍作收拾，便继续挑灯夜读，以慰母亲的在天之灵。可惜，接连三年的会试，他都名落孙山，不由心灰意冷。
虽说还有六年一次的“大挑”，但入选者多被派往极为偏远的贫瘠之地。朝廷俸禄能否按时发放尚难定论，且偏远地区民风彪悍，他恐客死他乡。如此这般，倒不如守着自己的一亩三分地，安稳度日。
至于开堂授课，他从未考虑过，他更喜欢自由自在、无拘无束的生活。
每个举人名下可有一百至二百亩免税田，单此一项，便足以维持生计，岂不美哉？
他虽不教书育人，但闲来无事，也会帮人代写家书、墓志铭、族谱、对联等，赚些散碎银子。
第二年，在街坊邻居的苦口婆心劝说下，孙举人迎娶了一位温婉贤淑的女子为妻。
又过了两年，孙家喜添贵子，一个白白胖胖的小子呱呱坠地，一家三口其乐融融，幸福满溢。
然而，天有不测风云，人有旦夕祸福。所有的美好都在儿子十五岁那年戛然而止，变数突如其来，使得原本开朗豁达的孙举人性格大变。
那年冬天，儿子上山砍柴，不慎跌入冰窟。幸而有路人经过，将其及时救起。但此后数日，儿子高烧不退，虽服食了诸多药物，却仍未见起色。不到半个月，便一命呜呼。
由于妻子身患隐疾，成亲十余载，二人仅育有这一子。儿子的意外离世，犹如晴天霹雳，给夫妻二人带来了沉重的打击。
自那以后，妻子终日以泪洗面，忧郁度日，不到一年便追随儿子而去，独留孙举人在这世上孤苦伶仃。
一年内，两位至亲相继离去，孙举人的悲痛之情溢于言表。他甚至开始怀疑自己命带克星，先是克死爹娘，后又克死妻儿。
从此，他变得沉默寡言，不再涉足茶楼听曲。只有当心中烦闷到极致时，他才会在傍晚时分前往镇门口，摆个卦摊为人算卦，或是支起一张桌子讲书。
究其原因，无外乎是家中过于冷清，睹物思人，触景伤情。于是，他喜欢来这边凑热闹，消磨时光。