数人不同意追击，所以收兵。潘乐改封为金门郡公。文宣帝继位主政，他镇守河阳，打败西魏将杨树等人。逭时皇上以怀州刺史平鉴等人所筑之城深入敌境，打算放弃掉。潘乐认为轵关十分重要，必须严防死守，就加意重新修固，增兵添将，自己还镇河阳。拜任司空。北齐接受禅让建国时，潘乐进献玺绶，进封为河东郡王，迁升为司徒。周文发兵东侵至崤、陕，派遣他的行台侯莫陈崇由齐子岭直逼帜关，又派仪同杨树从鼓钟道出击建州，攻下了孤公戍。朝廷诏命潘乐统领大军抵御。潘乐昼夜兼程，行至长子，分派仪同韩永兴从建州西进攻侯莫陈崇，侯莫陈崇引军而逃。潘乐又拜任南道大都督，讨伐侯景。他发兵于石鳌，南下百余里，直达梁的泾州。泾州州治原在石梁，侯景改为怀州，潘乐攻下其地，仍恢复州治在泾州。又攻下安州。拜任瀛州刺史，继续带兵经略淮、漠一带。天保六年，在悬瓠去世。朝廷赠予假黄敛，太师、大司马、尚书。其子潘子晃嗣爵。当时诸将子弟，大多骄纵不法，而潘子晃则沉静谨慎，清静自守。娶公主为妻，拜任驸马都尉。武平末年，任幽州道行台右仆射、幽州刺史。北周大军将攻入邺都了，荡王昱率领数万突骑兵驰援，进抵坛堕，知墓困已失守，便到冀业请降。韭周授予他上开府。鹰大业初年去世。参考资料：
1、佚名.是何年网.http://www.4hn.org/files/article/html/0/165/11450.html?1752051847.924