高颎此时站出来为太子说话了，表示这样做使得保护太子的侍卫力量太弱了。隋文帝对此相当不快说：“我有时候出巡，需要健壮卫士的护卫，太子在东宫培育他的德行，左右要什么勇士？”隋文帝认为高颎碍于儿女亲家的关系，总是站在太子一边帮他说话，自己最信任的朝臣现在和太子穿一条裤子，保不齐两人之间还有什么不可告人的秘密，从此对高颎有了提防之心。
高颎不仅惹得隋文帝不开心，更重要的是，在此之前他还得罪了独孤皇后。事情的起因是高颎的夫人去世，独孤皇后对隋文帝说：“高仆射老矣，而丧夫人，陛下何能不为之娶？”让隋文帝帮着高颎再娶一个妻子，好照应他的老年生活。独孤皇后完全是出于好心，隋文帝欣然同意，将此事告诉了高颎，没想到高颎拒绝了，给出的理由是：“臣今已老，退朝之后，唯斋居读佛经而已。虽陛下垂哀之深，至于纳室，非臣所愿。”说自己年老体弱，退朝回家只是吃斋念佛而已。虽然陛下对我很厚爱，甚至想帮我纳妻，但这不是我的意愿。
既然高颎不愿意，而且理由也很充分，隋文帝于是打消了这个念头。但万万没想到，没过多久，高颎的爱妾竟然给她生了一个男孩。这可把独孤皇后气坏了，她最恨男人纳妾，高颎不仅有小妾，还生了儿子。更让人无法容忍的是，高颎在皇上面前口口声声说要清心寡欲，为此还谢绝了皇上和自己的好意，但事实上完全不是那么回事，简直就是一个“两面派”。
隋文帝听说高颎晚年得子本来感到很高兴，但看到独孤皇后神情不对，便问缘故，独孤皇后说：“始陛下欲为颎娶，颎心存爱妾，面欺陛下。今其诈已见，陛下安得信之！”陛下起初想为高颎娶妻，他却当面欺骗陛下。现在他的谎话已显现，陛下怎能再信任他？隋文帝想想皇后说得对，由小识大，高颎确实是当面一套背后一套，“上由是疏颎”，从此开始疏远高颎。
独孤皇后对高颎不满并非因为这一件事，在此之前，还有一事搞得独孤皇后很不爽。独孤皇后对皇帝老公看得很紧，不允许他亲近其他女人。不过，百密难免一疏，隋文帝有次到仁寿宫，无意间发现一个宫女长得非常漂亮，惊为天仙，一问才知道此女是当年挑头叛乱的尉迟迥的孙女，尉迟迥起兵失败后，她被没收入宫当奴。隋文帝荷尔蒙上头，破戒临幸了这个宫女，此后频繁让尉迟氏侍寝。世上没有不透风的墙，这件事很快就被独孤皇后知道了，她怒不可遏，趁隋文帝上朝的时候，痛下杀手，将尉迟氏害死。
隋文帝下朝后得知噩耗，愤怒至极，堂堂大隋王朝的皇帝竟然连自己心爱的女人都无法保护，他感到很是窝囊。再想起这些年来，独孤皇后对自己的严格管束，所有的委屈一起涌上心头，但是又对独孤皇后没有什么办法，一气之下，离宫出走。史书上记载：“单骑从苑中而出，不由径路，入山谷间二十余里。”隋文帝直接骑着马冲出皇宫，慌不择路地跑进了山中，一直跑了二十多里。
皇帝居然跑了，所有人都傻眼了，两位宰相高颎和杨素赶紧上马追赶，追上之后拉住隋文帝的马头，苦苦劝谏。隋文帝长叹一声说：“吾贵为天子，而不得自由！”自己虽然贵为天子，却连一点自由都没有。要知道皇帝本就该有很多妃子，而为了独孤皇后，已经做了最大的让步，从来没有让任何一位妃子怀孕生子，也从来没有独宠过任何一个妃子，好不容易真心喜欢上了一个女子，最终还被独孤皇后害死了，这对于一个男人来说是莫大的屈辱，何况还是一位九五之尊的皇帝。
高颎赶紧劝道：“陛下岂以一妇人而轻天下！”劝说隋文帝为了一个女人而抛弃天下，实在不应该。
隋文帝渐渐冷静下来，三人在山谷中待了很长时间，隋文帝觉得无路可去，到了半夜，同意回宫。“后流涕拜谢，颎、素等和解之，因置酒极欢”，独孤皇后泪流满面，哭着道歉，高颎、杨素等纷纷劝和，最后隋文帝的气也消了，摆下酒席，把酒言欢，这件事就算翻篇了。
人家皇帝夫妇和好如初，但高颎却因为说了一句话惹上了麻烦，独孤皇后认为高颎说的“一妇人”是指自己，言语间充满轻蔑之意。要知道，隋文帝和独孤皇后当时并称为“二圣”，地位非常高，但在高颎眼中自己不过只是一个普通妇人，到底是何居心，更何况高颎还是独孤皇后推荐给隋文帝的，如今却对自己如此无礼。
高颎确实够冤枉的，他所说的妇人很有可能是尉迟氏。没想到，给皇帝夫妇劝架把自己劝到了独孤皇后的对立面，再加上小妾生子的事情，使得独孤皇后对他的负面印象已经无法挽回。更关键的是，在废立太子的问题上，高颎一直站在杨勇这边，又与独孤皇后的想法相左。独孤皇后看到隋文帝开始疏远高颎，觉得机会来了，心里想着彻底扳倒他。
开皇十八年（598年），高句丽侵扰辽东，隋文帝命汉王杨谅为元帅，高颎为元帅长史，率大军征伐。但对于这次远征，高颎持反对意见，他认为行军路线过长，后勤保障非常困难，如粮草供给不上很难打胜仗，隋文帝并没有听从他的意见，执意发兵远征。
后来的结果和高颎预料的完全一样，隋军到了辽东后，遭遇长时间的降雨，导致河流泛滥，再加上不服水土，导致非战斗减员非常严重，最后只能撤兵。(www.xing528.com)
这次无功而返本来是因为客观原因，和高颎的指挥没有任何关系。不过在独孤皇后看来，这是扳倒高颎的一个绝佳机会。她对隋文帝说：“颎初不欲行，陛下强遣之，妾固知其无功矣！”高颎当初不愿意出征，陛下勉强他才动身，当时我就知道他会无功而返。独孤皇后完全是事后诸葛亮，将失利的屎盆子扣在了高颎脑袋上，好像前线没得胜是高颎在中间搞鬼似地。
此次出征，隋文帝虽然让汉王杨谅挂帅，但觉得他年纪小，把军权全部交给了高颎。高颎深感责任重大，兢兢业业。杨谅对行军打仗不在行，但却喜欢指手画脚，对他提出的意见，高颎大多没有采纳，这引起了杨谅的严重不满。班师回京后，杨谅向母亲独孤皇后哭诉说：“孩儿真是幸运，没有被高颎杀掉。”独孤皇后听后如获至宝，将杨谅的话转述给隋文帝，隋文帝非常生气，高颎竟然欺负到自己儿子头上，照此下去，必将成为一个无法无天的权臣。
形势对高颎越来越不利，关于他的谣言接踵而来。高颎奉诏发兵攻击突厥，仗打到一半，他派使者回京请求派援军，这时候有人说：“高颎打算叛变”，就在隋文帝半信半疑时，仗打完了，高颎大获全胜，凯旋而归，这个谣言不攻自破。
但接下来的一个谣言却终于将高颎拉下了马。有人告发上柱国王世积密谋造反，王世积是高颎举荐的，在被关押审讯期间，他供认说所有宫中的事情，都是高颎透露给他的，这让隋文帝大为吃惊，下令彻查。调查的结果是“颎及左右卫大将军元 旻、元胄，并与世积交通，受其名马之赠”，高颎和元旻、元胄与王世积交往甚密，而且还收受了王世积所赠的良马。
最后的处理结果是王世积被诛杀，罢黜了元旻、元胄的官职，至于高颎，被免掉了上柱国、左仆射的官职。高颎在朝中的威望很高，上柱国贺若弼、吴州总管宇文弼、刑部尚书薛胄、民部尚书斛律孝卿、兵部尚书柳述等人都上奏申明高颎无罪。隋文帝存心要除高颎，见众多重臣出来说情，更加愤怒，下令将为高颎申辩的人都交付执法官吏问罪。刑部尚书薛胄依据刑律条文为高颎辩解，竟被“械系”，被戴上了刑具。这样一来，百官就没有人再敢为高颎求情了。高颎被罢免了官职，以齐国公归家闲居。
高颎的倒霉日子还没有到头，虽然被罢了相，但是他身处高层多年，影响力很大，而且这次罢官也没有一撸到底，还保留了齐国公的爵位，不少大臣还寄望于他能东山再起。为了消除高颎的影响力，隋文帝和独孤皇后上演了一出“苦肉戏”。
高颎免职不久，隋文帝驾幸秦王杨俊的府第举办宴会，特意让人召唤高颎赴宴。有些日子没有见到皇帝的高颎看到隋文帝后，情不自胜，眼泪汪汪，独孤皇后表现得也很伤心，同样是泫然落泪。隋文帝对高颎说：“朕没有对不起你，是你辜负了朕。”转而对参加宴会的大臣说：“ 我于高颎，胜于儿子，虽或不见，常似目前。自其解落，瞑然忘之，如本无高颎。人臣不可以身要君，自云第一也。”我待高颎，比对我儿子还好。虽然有时看不到他，但他好像就在我眼前一样。自从他离职后，我一点都不记得他了，好像根本就没有高颎一样，作为大臣的决不能自恃有功要挟君主，自认为是天下第一，一旦这样可就万劫不复了。
隋文帝说这样的话，意思再明白不过，便是要告诉群臣高颎已经成为一个弃子，不会再有重新崛起的机会。既然皇上都这样说了，头脑灵活的便知道该如何做，开始落井下石。最早揭发高颎的是他身边的人，齐国公府上的总管说高颎的儿子高仁表私下对父亲说：“司马仲达初托疾不朝，遂有天下，公今遇此，焉知非福？”过去司马懿也曾经假装病痛，不去上朝，但后来却篡夺了曹家的天下，所以父亲您贬官在家中，未尝不是一件好事。
高仁表说这样的话，无疑是为了安慰父亲，但用的这个例子却大有问题。司马懿装病骗过了曹操，后来他的子孙篡夺了曹魏天下建立了西晋，高仁表如此说好像想效仿司马懿父子，以退为进，图谋篡位。隋文帝听后非常生气，原来高家父子有想篡权的想法，简直大逆不道，便下令拘捕高颎，关入内史省的监狱严加审讯。
听说高颎被抓，举报他的人更多了。有人举报说高颎曾经和一个和尚有不正当交往。这位和尚对高颎说：“明年有大丧。”意为明年皇帝要死。还有人举报有位尼姑对高颎表示：“十七年、十八年，皇帝有大厄，十九年不可过。”开皇十七年、十八年皇帝会遭大难，到十九年必然会死。知人知面不知心，原来高颎在暗地里一直诅咒皇上早日死掉，从而效仿司马家族篡权谋位。
当然，这些举报大多数都是子虚乌有，但怒火中烧的隋文帝已经顾不了那么多了，他对群臣说道：“帝王岂可力求！孔子以大圣之才，作法垂世，宁不欲大位邪？天命不可耳。颎与子言，自比晋帝，此何心乎？”皇帝之位难道是可以求得吗？孔圣人有大圣之才，不也是不能得天下。高颎和他儿子的谈话自比西晋宣帝司马懿，居心何在？有关部门请求杀高颎。隋文帝说：“去年杀虞庆则，现在又杀王世积，如再杀高颎，天下人会怎么说我？”于是除掉高颎齐国公的爵位，让他做回平民。
免责声明：以上内容源自网络，版权归原作者所有，如有侵犯您的原创版权请告知，我们将尽快删除相关内容。
