清朝的張廷玉是安徽桐城人，他素來注重修身養性，頗得他人尊重。同時他也非常孝敬父母，在朝廷任宰相時，他把母親安頓在家鄉，並經常回家探望。
一次，張廷玉回家看望母親時，覺的家中的房屋呈現出破敗之象，就命令下人起屋造房。安排好一切後，他又回到了京城。
他家的鄰居是一位姓葉的侍郎，也打算擴建房屋，並想利用兩家中間的一塊地方。張家也想利用那塊地方做迴廊，於是兩家爭執起來。張家開始挖地基時，葉家就派人在後面用土填上；葉家打算動工，拿尺子去量那塊地，張家就一哄而上把工具奪走。兩家爭吵多次，幾次險些動武，雙方互不相讓。
張母一怒之下，給張廷玉寫信，讓他趕快回來處理此事。張廷玉看罷來信，不急不躁，提筆寫下一首短詩：「千里家書只爲牆，再讓三尺又何妨？萬里長城今猶在，不見當年秦始皇。」封好後派人迅速送回家。
張母滿以爲兒子會回來爲自己撐腰，沒想到只盼回一封家書。張母看完信後，頓時恍然大悟：爲了三尺地既傷了兩家的和氣，又氣壞了自己的身體，實在是不值。張母立即主動把牆退後三尺。鄰居見狀，深感慚愧，也把牆讓後三尺，並且登門道歉。這樣一來，以前兩家爭奪的三尺地反而成了一條六尺寬的巷子。
當地人紛紛傳頌這件事，引爲美談，並且給這條巷子取了一個特別的名字：六尺巷。有人還據此作了一首打油詩：「爭一爭，行不通；讓一讓，六尺巷。」