祖珽自从和陆令萱结为联盟之后，势力更胜从前，很多人都前来巴结祖珽，而斛律光一向性格耿直，根本瞧不起这些人的所作所为。甚至就在朝堂之上，斛律光和祖珽时常发生冲突。
祖珽知道斛律光恨自己，背地里肯定没少说自己的坏话，于是就买通了斛律光家的一个仆人，询问斛律光背地里都怎么说自己。这个仆人经过一番暗访之后向祖珽报告说：“斛律光每天晚上，都会抱着膝盖感叹说‘一个瞎子进了朝堂，国家一定会被这瞎子搞得破败不可’！”祖珽听完，怒不可遏，气得直跺脚，斛律光一口一个瞎子称呼自己，这太伤自尊了。
同时，斛律光还得罪了另外一个人，此人就是陆令萱的儿子穆提婆。穆提婆看上了斛律光家的女儿，于是便前来提亲，斛律光根本瞧不上这种人，一个老妖婆的儿子，竟然要求娶自己的女儿，简直是癞蛤蟆想吃天鹅肉。斛律光一口回绝了穆提婆的要求，这让穆提婆很丢面子。
又有一次，皇帝高纬打算把晋阳的一处田地赏赐给穆提婆，斛律光立刻站了出来，当即表示否决：“晋阳这块地，从神武帝（高欢）以来，就是用来种植谷物，并饲养马匹，是用来对付外敌的，交给穆提婆这种人，会坏了国家军务。”到手的田地就这么飞了，穆提婆气炸了锅，穆提婆的脸上，顷刻间就乌云密布，暴雨倾盆，斛律光你太过分了，我不会就这么算了的，我们走着瞧。
。