独孤后性妨忌，后宫莫敢进御。尉迟迥女孙，有美色，先没宫中。上于仁寿宫见而悦之，因得幸。后伺上听朝，阴杀之。上由是大怒，单骑从苑中出，不由径路，入山谷间二十馀里。高飃、杨素等追及上，扣马苦谏。上慨气曰：“吾贵为天子，不得自在！”高飃曰：“陛下岂以一妇人而轻天下！”上意少解，驻马很久，中夜方还宫。后俟上于阁内，及至，后流涕拜谢，飃、素等和解之，因置酒极欢。先是后以高飃父之家客，甚见亲礼，至是，闻飃谓己为一妇人，遂衔之。
未几，上幸秦王俊第，召飃侍宴。飃歔欷悲不自胜，独孤后亦对之泣。上谓飃曰：“朕不负公，公自大也。”因谓侍臣曰：“我于高飃，胜于儿子，虽或不见，常似目前。自其解落，瞑然忘之，如本无高飃。人臣不成以身要君，自云第一也。”
夏，四月，辛亥，诏：“畜猫鬼、蛊毒、厌媚野道之家，并投于四裔。”
延州刺史独孤陀有婢曰徐阿尼，事猫鬼，能使之杀人，云每杀人，则死家财物潜移于畜猫鬼家。会独孤后及杨素妻郑氏俱有疾，医皆曰：“猫鬼疾也。”上以陀，后之异母弟，陀妻，杨素异母妹，由是意陀所为。令高飃等杂治之，具得实在。上怒，令以犊车载陀伉俪，将赐死。独孤后三日不食，为之请命曰：“陀若蠹政害民者，妾不敢言；今坐为妾身，敢请其命。”陀弟司勋侍郎整诣阙求哀，因而免陀死，除名为民，以其妻杨氏为尼。先是，有人讼其母为猫鬼所杀者，上觉得妖妄，怒而遣之。至是，诏诛被讼行猫鬼家。
突厥突利可汗因长孙晟奏言都蓝可汗作攻具，欲攻大同城。诏以汉王谅为元帅，尚书左仆射高飃出朔州道，右仆射杨素出灵州道，上柱国燕荣出幽州道以击都蓝，皆取汉王节度；然汉王竟不临戎。
伐辽之役，飃固谏，不从，及师无功，后言于上曰：“飃初不欲行，陛下强遣之，妾固知其无功矣！”又，上以汉王幼年，专委军事于飃，飃以任寄昌大，每怀至公，无自疑之意，谅所言多不消。谅甚衔之，及还，泣言于后曰：“儿幸免高飃所杀。”上闻之，弥不平。
十仲春，自京师至仁寿宫，置行宫十有二所。
顷之，飃国令上飃阴事，称其子表仁谓飃曰：“司马仲达初托疾不朝，遂有天下。公今遇此，焉知非福！”因而上大怒，囚飃于内史省而鞫之。宪司复奏沙门真觉尝谓飃云：“来岁国有大丧。”尼令晖复云：“十7、十八年，天子有大厄，十九年不成过。”上闻而益怒，顾谓群臣曰：“帝王岂可力求！孔子以大圣之才，犹不得天下。飃与子言，自比晋帝，此何心乎！”有司请斩之。上曰：“客岁杀虞庆则，今兹斩王世积，如更诛飃，天下其谓我何！”因而除名为民。