江铁头离开了赖天庐，回到了元江峡捕鱼捉虾。那天老夫人让人解开了绑在江铁头身上的绳子，说：“放虎归山，本是我的意思，不能责怪铁头。”赖长生嘱江铁头小心看护院子，提防土匪再次侵范。江铁头说：“我私放雷老虎逃跑，是为不忠，没跟跛章一起落草，是为不义。不忠不义的人，无颜在赖府做下去了。”
大烟管摇头叹气说：“儿啊，我当年救起了土匪，学得武功，到元城混饭吃，你今日放掉了土匪，得罪了赖府，只好回峡江当渔民。看来，我们都是打渔的命，没法离开元江峡啊。”
元江峡是大烟管的家，他们来此地已经不知有多少代了。传说他们的祖先住在广西合渖，在北海上捕大鱼，不知祖先为何要来这个远离大海的地方生活，祖先刚来元江峡时，这峡山四周都住着瑶人，瑶人在山上狩猎，渔家在江上打渔，瑶人和渔家相处得很好，偶然也互相通婚。后来官府镇压瑶人反抗，也岐视渔家，不准渔家上岸居住，也不准他们的子弟读书考取功名。渔家和瑶人受着官府的压迫，“同是天涯伦落人”，共同的命运使他们团结在一起。当年三千瑶人随太平军攻打元城，峡江渔家出动了全部渔船，将瑶人载到元城。
攻城失败后，瑶人惨遭杀害，官兵上峡江找渔家算帐，渔家闻讯弃船躲避。官民抓不着渔家，把停泊在江边的渔船烧了个精光。逃脱的瑶人，有的回到天目山，有的与汉人一起在元江峡当起了土匪。那次大烟管在江里救起了受伤的土匪，是大烟管的慈悲天性，更主要是他对土匪有种说不清，理还乱的朦胧感觉。
渔家对溺水者是不会主动去抢救的，除非是自己的亲人。他们认为有人溺水，是水鬼找替死，救起别人，水鬼日后会找自己算帐。在兴隆洲住的时候，大烟管有时喝了点酒，便自个儿在洲上四处走，看能不能捉只鬼回来给木花看看。他相信凭着自己的一身武艺，鬼是打不过他的。
回到峡里，大烟管砍来毛竹扎了只大竹排，架起了大捞网捞鱼。江铁头回来后，一家三口在竹排上捞鱼钓虾，与世无争，倒也快乐。元江峡上鱼儿很多，一早一晚打捞两个时辰，便可捞上一桶鱼，吃不完，就拿去峡口的布袋村卖，换些大米油盐回来。木花生下了江铁头后，再没怀过孩子，埋怨大烟管吸鸦片淘空了身子。回峡江后，无钱买鸦片了。大烟管日日抡大网，力气渐渐恢复，元气大增，看到只有江铁头一个儿子，力量单薄，便和木花商议着再生一个。木花说：“我们都什么年纪了，还是早日与铁头娶回媳妇，抱孙子吧。”
木花替江铁头物色老婆，带来几个渔家女，江铁头也不满意，其实江铁头心中想的是桃红。他知道桃红一心用在赖府上，现在自己离开了赖府，想桃红不过是痴心梦想。他仍然舍割不下，离开赖天庐时，老夫人给了江铁头五十银元，江铁头把钱交给桃红替自己保管，桃红说：“你的钱，还是自己拿着好，铁头哥，你日后有什么打算？”江铁头说：“我回峡江打渔。”桃红说：“日后你可以和父母在一起，真有福气。”江铁头愣头愣脑冒出一句话：“桃红，你不要想四公子了，人家是有未婚妻的……”桃红脸上一阵发热，呜呜哭起来，说：“铁头哥，你为什么要气我啊……”
江铁头舍不得离开赖天庐，其实是舍不得离开桃红。他又不得不这样做。在峡江，他几乎天天想念桃红。大烟管买回艘小渔船，让江铁头去独闯江河，又把两只鱼鹰和几十只小篓虾交给他。江铁头每天傍晚摇着渔船去河湾水缓处下虾篓，早上便捕着半盆活蹦乱跳的河虾。遇着风清月朗之夜，江铁头带鱼鹰去捕鱼，常常冒出这样的念头，如果是桃红摇船，他赶鱼鹰下水，那是一幅多么诗情画意的景像。
峡江凝碧湾有很多鱼虾，是放鱼鹰的好地方。这儿时有土匪出没，渔民也不害怕，因为土匪从不抢掠渔家。渔家对土匪抢劫他人的行径，也是只眼开只眼闭，装着不知道。
这天傍晚，江铁头正在滩头下虾篓，听到有人喊他，原来是跛章领着几个土匪来了。江铁头说：“你们找谁？”跛章说：“找你啊！兄弟快上岸来，我们找你找得好辛苦！”江铁头泊船上岸，冷冷地说：“你们找我干什么？”阿甲说：“你是大哥的救命恩人，请受众兄弟一拜。”率众土匪朝江铁头跪了下去。
南霸天逃脱之后，跛章怕子武找他算帐，不敢在元城待下去，也跟南霸天上山为匪，坐上了土匪第三把交椅。跛章知道赖府不会过于责怪江铁头，想不到他会自动辞职，回元江峡打渔。跛章到元江峡找了几次，也碰不到江铁头，今天傍晚刚和阿甲抢完一客商，想不到在凝碧湾下遇见了。跛章说：“铁头快跟我们走！雷大哥要在归猿洞答谢你呢！”江铁头动也不动，说：“那地方我已去过一次，不想再去了。”阿甲说：“大哥要送你一笔金银财宝，你不上山，我们手上刚好有笔银元，全送给你吧。”江铁头说：“抢回来的东西，我不要。”跛章说：“铁头你怎么这样古板，我们抢的是财主的东西，他们剥削我们穷人，不抢白不抢。”见江铁头没吭声，跛章又说：“前此日子，共产党有个头儿找到大哥，劝我们加入游击队，日后打倒了有钱佬，分田分地翻身做主。可惜大哥不想种田，如果能打倒赖长生，分回一间当铺钱庄当个老板，多么好！铁头你也去劝劝大哥，一齐参加共产党游击队吧！”不管跛章如何劝说，江铁头毫不动心。跛章没办法，扔下一袋银元，就要回去。江铁头说：“你不拿走，我把它扔进峡江去。”
跛章没办法，说：“铁头记住，欠你的债，我们一定要还的。”
雷老虎听说江铁头不爱钱财不受报，一拍大腿说：“此人真的是不吃人间烟火啊！”跛章说：“我和铁头一块玩到大的，知他的性情，他不吃嗟来之食，一旦他走途无路，会跟我们上山的，这事得慢慢来。”阿甲说：“共产党又派人来联系了，说下月一齐去攻打池水乡公所，还说如果我们不愿加入他的部队，可以派人来当政委，大哥仍然是个队长。”雷老虎说：“他们派人来把我雷老虎摆到哪里？池水是个穷地方，打下乡公所能捞到什么油水？”跛章说：“共产党是想到穷苦的地方去发动群众，然后到富裕地方去打倒有钱佬。雷大哥，你祖先镇南王也是这样做的啊。”雷老虎说：“这事以后再说吧，共产党现在还成不了气候。”