儘管老婆與女秘書父親都發出聲明捍衛當事人清白，
海報
，但身陷桃色風暴的首任勞動部部長潘世偉仍不敵「知所進退」的政壇氛圍，
造景
，閃電下台，
辦公家具
，結束短短僅158天的任期，
前鎮居家清潔
，而王孟純因未具公務員資格，
花蓮民宿推薦
，也確定與潘世偉同進退。潘世偉也在昨晚火速打包，
觸媒焚化爐
，目前部長室已人去樓空，
監控系統
，而原訂今早將南下探視澎湖空難受傷同仁的潘世偉，
中壢居家清潔
，也確定不會前往，
玻璃DIY
，且所有行程全部喊停，而他一早則是在臉書上放大砲。
針對媒體報導，行政院長江宜樺昨未和潘世偉見面，就直接發布新聞稿准許他辭職，潘世偉似乎有滿腹委屈，今早潘世偉在臉書上PO文還原昨日請辭情況，他說：「我在早上打電話給院長後，在辦公室院裡來電約我時十一點十五分，也就是院會後與院長面談。潘世偉還說：「院長跟我碰面後，其實他心中是很難為的，所以我們說好，他再想想，所以當時他並沒有下決定。而且我們也共同同意暫時不對外說我跟他請辭之事。只是到了中午發言人就對外說我已經跟院長口頭請辭。」
潘世偉還說，他進去政院時碰到新北市副市長陳伸賢、衛福部部長邱文達，這兩人還幫他打氣；進院長辦公室前恰巧又遇到中央銀行總裁彭淮南，彭還跟他說：「一定是你們裡面的人搞的」，潘還回「您真清楚」，「所以媒體說院長沒見我根本是胡扯。只是媒體操作真要如此嗎？」
潘世偉說：「公務體系內結黨營私真的很可怕，這些人還都是高階公務員」，對於此次身陷桃色風暴，潘世偉自我解讀認為：「本人其實就是因為擋人財路罷了」。
潘世偉還預告，「後續我還有很多這件事的一些判斷觀察與內幕，慢慢的會告訴大家，不當政務官真好，我可以想說什麼就說什麼了，人民最大！」
潘世偉還說，媒體操作把他塑造成軟弱不能決斷，甚至與前人相比較來證明比我更有權力的人的果決，簡直是在告訴大家，不論藍綠官員十幾年的爛攤子為何沒有人敢承擔，所以這話到底說的是誰呢？
潘世偉也自嘲：「政治政治，我是學政治的，還真的是很政治天真，哈哈！」。
【聯合報╱記者許俊偉╱即時報導】
昨天遭請辭獲准的前勞動部長潘世偉今天在臉書反撲，連續多篇貼文自爆遭逼退過程。他說，明明有跟行政院院長碰面，行政院媒體操作卻說兩人根本沒見到面就遭准辭，痛罵這是「胡扯」。暗指自己會被黑函亂指控而下台，其實就是因為擋人財路罷了。
潘世偉說，公務體系內結黨營私真的很可怕，這些人還都是高階公務員，他們知道預算編列與使用的方式，如何拿捏隱藏性的資源，作為自己的小金庫，然後利用自己的人，把程序合理化，當然最後就是可以達到美其名為公，實際上確是為私的目的。不當政務官真好，可以想說什麼就說什麼了。，