不久，曹二虎将老婆郑氏接来安庆，马新贻和他的太太在藩司衙门设席接待。曹二虎带着打扮得漂标致亮的老婆欣然领宴。谁知马一见郑氏生得仙颜，顿起歹心。这马新贻原是个渔色之徒，家有一妻两妾仍不满足。今后，他便常常变些花腔，将郑氏骗进藩署。郑氏见马新贻高官厚禄，又长得一表人才，因而也甘心。今后马便常常教唆曹二虎到外埠办事。曹一走，郑氏便住进藩署。马的妻妾都怕他，由他胡来。张文祥把这统统都看在眼里，对马新贻奸占朋友之妻的丑行大为不满，便悄悄地奉告二虎。二虎一听，怒不成遏，恨不得一刀杀了郑氏。

刚好张文祥有一同亲陈世隆在承平军中充后营护军。承平军攻陷宁波时，陈世隆便派几个兵士庇护张文祥的小押店，又在门口插承平天国旗号一面，贴布告一张，张文祥的店铺因此无事。不久，陈世隆撤离宁波，将张文祥、陈养和带在军中。在打诸暨县沙家村时，陈世隆战死，张文祥、陈养和仓促逃出，投奔侍王李世贤部，后又随李世贤转战各地。同治三年玄月，张文祥在漳州抓到一个清廷的把总，名叫时金彪。时金彪也是河南人，张文祥见承平军局势已去，便和时金彪一起逃脱了。厥后时金彪经人荐至马新贻署中当差，张文祥乘海循环到宁波。这时其妻罗氏已跟一个名叫吴炳燮的男人同居了，那一箱银钱也归吴统统。张文祥报官，县官将罗氏断回给张，银钱则断给吴。

吴汝纶这段传闻说得绘声绘色，听的人惊奇不已。曾国藩浅浅一笑："这真是外洋奇谈，马榖山身后还要背上一个通回谋反的黑锅，不幸可悯！"说罢问薛福成、黎庶昌，"你们还听到些别的没有？"黎庶昌说："我听到的又是一种说法。"他也不慌不忙地说出一段故事来。

"张大哥！"龙启云拍着张文祥的肩膀，煽动性地说，"男人汉大丈夫再没有比老婆被人兼并更热诚的事了，暗中支撑吴炳燮的就是阿谁马新贻。他掷状不睬，让你当场出丑，长了吴炳燮的气势。""马新贻真不是个东西！"王老四也乘着酒兴骂起来。"前向捕获龙三哥，虽说没抓到，但一笔三万两银子的买卖给吹了，还死了几个兄弟。""我真恨不得杀了阿谁杂种！"龙启云愤恚极了。"只是我工夫差了些，久闻张大哥武功好，又是最讲义气的江湖豪杰，你替我们报了仇如何？""行，这事就包在我身上！"张文祥刷地扯开衣衫，暴露尽是黑毛的胸脯，右手掌在胸口上重重地拍了两下。"老子归恰是山穷水尽的人了，拼上这条命不要，为我本身，也为兄弟们出这口怨气，宰掉姓马的！"龙启云大喜："张大哥公然是个义烈豪杰，我们也不虐待你，明天我拿三千两银子来，你把家安设好，无牵无挂地去处事。"第二天，龙启云真的交来三千两银子。张文祥请来罗氏的寡嫂罗王氏代他顾问未成年的一子二女，三千两银子他本身一两都不留，全数交给了罗王氏，又向罗王氏作了一个揖，然后离家而去，很有点"风萧萧兮易水寒，懦夫一去兮不复还"的味道。