张汤是杜陵人。他的父亲担任长安丞，外出时，张汤作为小孩留守家中。父亲回来后，发现老鼠偷了肉，发怒鞭打张汤。张汤挖掘鼠洞、烟熏老鼠，抓到老鼠和剩余的肉，弹劾老鼠并严刑拷打，记录供词，审讯定罪后宣判，还带着老鼠和肉，完整结案后在堂下将老鼠分尸。父亲看到他的做法，发现他的文书措辞像老练的狱吏，大为吃惊，于是让他学习断案文书。