杜楚客如此冷淡，也并非为了官职而无视李宽。京兆杜氏的子弟，从来都是各干各的，拔刀相向也不是稀罕事，这就是世家内讧。
武德初，杜如晦为唐臣，杜淹仕郑，可谓各为其主。杜淹曾经与杜如晦有过节嫌怨，杜淹为了报怨，便在王世充面前，谗言害死了如晦之兄，又囚禁杜楚客，不给饮食，致使杜楚客几乎饿死。
王世充平定后，论罪杜淹当受诛杀，杜楚客请求兄长杜如晦，设法营救叔父杜淹，如晦因杜淹有杀兄之仇，心中怀有芥蒂，不愿为其求情。
可杜楚客却再三劝说：从前叔父残害咱家胞兄，而今兄长您又舍弃叔父，不肯相救，我们杜家一门之内，不幸骨肉互相残杀而尽，岂不是令人悲痛的事吗？......
这一席话，深深地感动杜如晦，如晦醒悟了，于是到圣人面前，请求赦免杜淹之罪，杜淹因此获得释罪免死，最后还做了吏部尚书，参知政事，成为了宰相。
“这么说，小王这个舅舅，还真是懂孝悌的人物了？”
“何止啊！棠棣之花，萼胚依依，手足之情，莫如兄弟。杜楚客，是个厉害的人物！”
房玄龄随圣人平定天下，见过的人和事太多了。可想杜楚客这般，还真是少见。
平定王世充后，其与杜如晦一同到洛阳牢房中接杜楚客。那时候，他已经快要饿死了，灌了三碗粥，才回过气来。
可杜楚客对杀害其兄的杜淹，毫无怨色，竟然还哭天抹泪的求杜如晦去秦王面前求情。
一个人为了搏自己的名誉、前途，不顾长兄之死，不顾二兄之名，这样狠辣、冷静，可不是人人都能有的。
杜如晦那里是感动啊，分明就是被幼弟给惊到了，房玄龄清楚的记得，从大牢出来，杜如晦感叹了一句：人心不足蛇吞象。
这也就是为什么，杜如晦做了仆射，也没提拔过幼弟，因为杜如晦清楚，他是个为达目的不择手段的酷吏。
事实也证明，他是对的。杜楚客在蒲、瀛二州刺史任上，便以严法著称，入为魏王长史后，理王府政事，以威严著称，力压王府诸官。
虽说疏不间亲，但房玄龄还是希望李宽能离这家伙远一点：“杜楚客这个人，有能力，有魄力，关键的时候，出卖谁，他都不会眨眼。”
“更让老夫难以释怀的是，这家伙跟杜淹一样贪婪，无清廉之誉。虽然钻的事律法的空子，兼并的土地，早晚必遭大祸。”
而