廣州起義失敗后,，俞作豫按黨中央指示，在白色恐怖極其嚴(yán)重的形勢下,，回到家鄉(xiāng)廣西北流堅持斗爭，先后擔(dān)任中共北流縣委委員、縣委書記,，陸續(xù)恢復(fù)了北流、玉林,、博白,、陸川等縣黨的組織和農(nóng)民自衛(wèi)軍。其間,，他利用自己和廣西省主席俞作柏是兄弟,，和廣西編遣特派員李明瑞是表兄弟的特殊關(guān)系，在軍隊和地方政府中任用共產(chǎn)黨員,，發(fā)展黨的組織,，掌握了部分武裝的領(lǐng)導(dǎo)權(quán)。

不久,，黨中央派遣鄧小平以及張云逸等來到廣西,，組織力量準(zhǔn)備武裝起義,。鄧小平化名鄧斌，以省政府秘書的公開身份掩護活動,，與俞作柏,、李明瑞建立了密切的合作關(guān)系，通過各種關(guān)系和途徑,，將共產(chǎn)黨員派進軍事系統(tǒng)任職,，以爭取兵權(quán)。

當(dāng)時張云逸擔(dān)任警備第四大隊隊長,，俞作豫擔(dān)任警備第五大隊隊長,，這兩個大隊共有6個營2000余人。根據(jù)鄧小平的建議,，俞作柏,、李明瑞開辦訓(xùn)練初級軍官的教導(dǎo)總隊，由張云逸兼任總隊長,，學(xué)員共達1000多人,，9個連的干部幾乎全是共產(chǎn)黨員。黨組織逐步掌握了軍隊領(lǐng)導(dǎo)權(quán),，為實行武裝起義準(zhǔn)備了骨干隊伍,。同時，在鄧小平領(lǐng)導(dǎo)下,，以公開和半公開的方式,，恢復(fù)和發(fā)展各地黨組織，開展農(nóng)民運動,，建立農(nóng)民武裝,。

1929年12月和1930年2月，在鄧小平,、張云逸,、韋拔群、李明瑞,、俞作豫等領(lǐng)導(dǎo)下,，分別舉行了百色起義和龍州起義，建立了紅七軍,、紅八軍和左右江革命根據(jù)地。鄧小平任中共前敵委員會書記兼紅七,、紅八軍政治委員,，李明瑞任紅七、八軍總指揮,，張云逸任紅七軍軍長,，俞作豫任紅八軍軍長,。

百色、龍州起義和左右江革命根據(jù)地的建立,，給國民黨新軍閥和帝國主義勢力以沉重打擊,。1930年3月，敵人糾集大批軍隊圍攻左右江革命根據(jù)地,。俞作豫率領(lǐng)紅八軍浴血奮戰(zhàn),，終因寡不敵眾，彈盡糧絕,，突圍中遭敵人圍追堵截,，俞作豫在當(dāng)?shù)厝罕娧谧o下脫險，輾轉(zhuǎn)到香港尋找黨組織,。

1930年8月18日,，因叛徒出賣，俞作豫在深圳被國民黨特務(wù)逮捕,，押至廣州,。敵人對俞作豫軟硬兼施，妄圖從他口中得到我黨組織和紅軍的情況,。面對兇殘的敵人,，俞作豫堅貞不屈，大義凜然,，表現(xiàn)了共產(chǎn)黨員視死如歸的大無畏精神：“我就是你們要抓的紅八軍軍長,、共產(chǎn)黨員俞作豫！”

1930年9月6日,，俞作豫高呼著“打倒國民黨反動派,！” “中國共產(chǎn)黨萬歲！”“紅軍萬歲,！”的口號,，在廣州黃花崗英勇就義。