１９２６年起，任中共兩廣區委委員、區委監察委員會書記。１９２７年黨的八七會議后，任中共廣東省委常委兼省革命軍事委員會主任、中共中央南方局委員。同年１２月參與領導廣州起義，負責總指揮部參謀團的工作，并在一線指揮戰斗，曾率領敢死隊攻下了當時敵人重要據點廣州市公安局。廣州起義成立了廣州蘇維埃政府，張太雷任政府代主席，楊殷任政府肅反人民委員。張太雷犧牲后，楊殷被任命為廣州蘇維埃政府代主席。起義失敗后，他積極組織退卻，做了大量的善后工作。

１９２８年７月，楊殷在中共六大上當選為中共中央政治局候補委員、候補常委，任中共中央軍事部部長。會后，他從蘇聯回國到上海。同年１１月起任中央政治局委員、常委。１９２９年１月起任中共中央軍事部部長、中共中央軍委委員、中共中央軍委主任兼中共江蘇省委軍事部長。在上海工作期間，他與周恩來、蔡和森、蘇兆征、李立三等領導人一起，經常研究部署各地的武裝斗爭和紅軍的領導工作。他曾親自到山東、安徽、江蘇等地，指導武裝斗爭，建立和發展革命武裝，嚴懲出賣革命的叛徒和內奸，回擊國民黨特務的暗殺和破壞。