宋太平興國三年，吳越王錢弘俶入朝，上表盡獻其地，由是更設江南兩浙路十四州八軍八十一縣，吳越亡。是年元旦，孔三生于兩浙路杭州余杭郡南新縣。 孔三，姓孔，小名三子，系家中長子，取小名為“三”，實乃孔家曾祖寄寓孔三追隨孔（二）夫子之意。 雍熙二年，孔三正式入學，啟蒙塾師相熟于其曾祖，遂據(jù)小名之寓意，定其名為三行，字退爾，取“三行退二（爾），壹是皆以修身為本”意。 雖家中長輩寄望頗重，然孔三行天資魯鈍，自十九歲上過解試后，省試大比屢試不第。大中祥符辛亥，孔三行三十三歲之際，鄉(xiāng)里以孝行薦舉其出任南魯縣衙奉禮司校書職。 天禧三年，孔三行年屆不惑之際，轉任南魯縣小理寺刑押司主薄職，從九品，秩八貫。