Tục truyền khi ông ở quân thứ Tuyên Quang, người ái thiếp cô đào một mình lặn lội lên đến tận nơi thăm ông. Ông cho là người can đảm không sợ nguy hiểm, có đọc đùa hai câu sau này:

Đành nhẽ bút nghiên mà kiếm mã,

Thương ôi kim chỉ cũng phong trần!

Rồi lấy cớ “phụ thân tại quân trung, binh khí khủng bất dương” [1], nghĩa là đàn bà ở trong quân đội, e làm cho quân lính mất khí hăng hái.

[1] Đây là hai câu thơ trong bài “Tân hôn biệt” của Đỗ Phủ.

"Bước đường sĩ hoạn của ông Trứ cũng lại có vẻ khác người, khi thăng khi giáng bất thường, có lần đang làm tổng đốc một trọng trấn, bỗng giáng làm tên lính canh." Ảnh minh họa: TT.

Kế đó, ông lại vâng mệnh đi dẹp các toán giặc Lục Yên, Thái Nguyên và Cao Bằng, đều được thành công. Vua Minh Mệnh đòi vào bệ kiến, cho làm lễ bão tất (ôm đầu gối) và tự rót rượu ban cho, rồi cho làm chức đô sát. Được ít lâu, xứ Trấn Tây (Cao Mên) có loạn, ông lại dâng biểu xin đi, được cử làm tán lý quân vụ, lại lập được nhiều chiến công. Sau đó vì có lỗi, bị giáng làm tuần phủ An Giang.

Bước đường sĩ hoạn của ông Trứ cũng lại có vẻ khác người, khi thăng khi giáng bất thường, có lần đang làm tổng đốc một trọng trấn, bỗng giáng làm tên lính canh. Đó là vì cái tính khác tục như trên đã nói, nên thường bị lắm kẻ mất lòng, tìm cách đánh đổ đi. Có người nói vua Tự Đức vốn biết rõ ông có tài, nên cố ý luôn luôn dìm xuống cất lên, khiến ông phải tự mài giũa nhiều lần, để trở nên người đại dụng. Nhưng phần riêng ông lại không lấy thế làm nhục vinh, gặp sao nên thế…

Thăng giáng mãi, đến khi tuổi đã 70 mới lại lóp ngóp lên được chức Binh bộ thị lang kiêm Thừa Thiên phủ doãn. Theo niên lệ, trí sĩ về ở chùa núi Cẩm Sơn. Ra khỏi vòng khóa lợi, ông lại càng phóng dật lắm. Hằng ngày cưỡi con bò vàng, đem theo mấy cô hầu gái đi rong chơi các nơi.

Ông có tả cái thú ấy bằng mấy câu hát:

Kìa núi nọ lơ thơ mây trắng,

Tay kiếm thư mà ra dáng từ bi,

Gót tiên chơi đủng đỉnh một đôi dì,

Bụt cũng nực cười ông ngất ngưởng…

Ông lại có làm một đôi câu đối, dán ở nhà Dưỡng Nhàn trong chùa ấy:

Cũng may sao, công đăng hỏa có là bao, theo về phận lại về duyên, quan trong năm bảy thứ, quan ngoài tám chín phen, nào cờ nào quạt, nào mũ nào đai, nào hèo hoa gươm bạc, võng tía dù xanh, mặt tài tình trong hội công danh, khắp trời nam bể bắc cũng phong lưu, mùi thế trải qua coi đã đủ.

Thôi quyết hẳn, cuộc phong trần chi nữa tá, ngất ngưởng chẳng tiên mà chẳng tục, hầu gái một đôi cô, hầu giai năm bảy cậu, này cờ này kiệu, này rượu này thơ, này đàn ngọt hát hay, này chè chuyền ấm mẫu, tay thao lược ngoài vòng cương tỏa, lấy gió mát trăng thanh làm tri thức, tuổi trời chút nữa ấy là hơn.

Ông về hưu được vài năm, gặp khi ngoài duyên hải có loạn, tổng đốc Nghệ An là Võ Trọng Bình dâng sớ xin cử ông ra đi dẹp. Nhưng vua Tự Đức có dụ: “Trẫm chẳng muốn lại phiền đến lão thần”.

Năm Tự Đức thứ 21 (1859), ông mất tại quê nhà, thọ 82 tuổi. Đến đời vua Duy Tân, triều đình xét lại công lao của ông đã làm được những việc ích nước lợi dân, truy phong tước Thọ Trường tử, cháu ông được ấm thọ.