為適應全國工人運動日益高漲的形勢，京漢鐵路總工會籌委會經過多次醞釀籌備，決定于1923年2月1日在鄭州召開京漢鐵路總工會成立大會。2月1日清晨，鄭州全城戒嚴。反動軍警荷槍實彈，如臨大敵。面對全副武裝的敵人，林祥謙和代表們毫不畏懼，沖破軍警的包圍圈，進入會場。在一片歡呼和口號聲中，宣告京漢鐵路總工會正式成立。

反動軍閥吳佩孚、蕭耀南對此感到無比恐慌和仇恨。當天下午，他們下令反動軍警占領總工會會所，驅逐工會工作人員，查抄總工會的文件材料，砸壞各單位贈送給大會的匾額和禮品，甚至包圍和監視代表們的住處。當晚，林祥謙參加了總工會召開的緊急會議，決定向反動當局提出五項要求，限48小時內答復，否則將于2月4日舉行全路總同盟罷工。會議決定總工會移到江岸辦公，同時成立總罷工委員會，林祥謙被指定為江岸地區罷工總負責人。

第二天上午，林祥謙回到江岸，隨即召開會員大會，傳達總工會關于發動全路總同盟大罷工的決定，號召工友們用最大的力量反抗軍閥的暴行。接著，林祥謙帶領工人們組織宣傳隊，貼標語、發傳單，揭露敵人罪行；成立調查隊，了解掌握敵人動態；擴大工人糾察隊，同時趕制鐵棍、木棒，準備自衛。2月3日晚，罷工的各項準備都已就緒。

2月4日上午9時，林祥謙接到總工會關于罷工的指示后，下達了罷工令。隨著第一聲汽笛的拉響，江岸機車廠所有的汽笛同時怒吼，響徹武漢三鎮。京漢鐵路全線所有的客、貨、軍車一律停駛，震撼中外的京漢鐵路工人大罷工開始了。這次大罷工從政治、經濟上沉重打擊了帝國主義和反動軍閥。2月6日下午，漢口美、英總領事召集中外買辦資本家進行密謀策劃，并向北洋軍閥政府施壓。吳佩孚勾結帝國主義，決定對罷工的京漢鐵路工人進行殘酷鎮壓。