林祥謙意識到殘酷的斗爭即將到來。2月7日中午他把分工會的圖章藏在家里的炭火盆里，匆匆趕回工會。下午5時20分，反動軍閥帶著兩營士兵，包圍了江岸分工會會所，開始了瘋狂的射擊。在這場野蠻的屠殺中，江岸30多名工人犧牲，200多人受傷，釀成了震驚中外的“二七慘案”。林祥謙帶領工人同前來鎮壓的反動軍隊進行了英勇搏斗，終因寡不敵眾，與十幾名工會領導人和工人代表被敵人逮捕。

當夜，天降大雪，敵人把林祥謙綁在江岸車站站臺的木樁上。反動軍閥以死威脅逼迫林祥謙下令復工，遭到林祥謙斷然拒絕。敵人惡狠狠地命令劊子手舉刀砍向林祥謙左肩：“上不上工？”林祥謙斬釘截鐵地說：“上工要總工會下命令。我頭可斷，血可流，工不可復！”屠刀砍向林祥謙右肩，他血流如注，昏死過去。醒過來，敵人再次惡狠狠地問他：“現在怎么樣了？”林祥謙拼盡最后的力氣怒斥敵人：“現在還有什么話可說？可憐一個好好的中國，就斷送在你們這班軍閥手里了！”林祥謙壯烈犧牲，時年31歲。

為紀念這位工人運動的先驅者，新中國成立后，黨和政府在福州修建了林祥謙烈士陵園，包括二七烈士紀念堂、陵墓、千人廣場和6米高的烈士花崗石雕像等建筑。紀念堂以豐富的圖片和資料，詳細介紹了林祥謙的生平事跡。陵墓后面是郭沫若題寫的“二七烈士林祥謙之墓”的青石墓碑。陵園內蒼松繁茂，芳草如茵，守護著烈士不滅的英靈。