从一个印刷厂工人，到工会领袖，再到游击队队员，最后又重回报馆印刷厂，潘江伟半生戎马。当年日本人进攻上海，潘江伟离开上海转入香港大东书局印刷厂工作，他曾任该组织的干事和歌咏团副团长。1941年12月，日军进攻香港，潘江伟联系40余名上海籍工友，先来到上海参加新四军，其后日军占领香港，潘江伟一行又加入广东人民抗日游击队。 潘江伟说，自己在部队做过很多不同工作，除了上前线打仗，还做过交通站站长、税站站长、政治指导员等，也负责过看管犯人。忆及当年，潘江伟说当时有三大仇，一是日军，二是伪军，三是国民党，自己当年就是被伪军的子弹射穿左脚。 到了1945年，日本人宣告投降，潘江伟回到香港，参与了《华商报》复刊工作。潘江伟表示，那段时间，自己曾离家8个月躲避港英当局追捕，那时当局甚至还出动了直升机，所幸自己成功躲避了追捕。 谈及香港现状，潘江伟说有不少港人对国情历史一知半解，又受到抹黑文宣影响，从而对国家有错误的认识。他表示，希望政府未来认真加强爱国主义宣传及教育工作。