廣州起義失敗后,，俞作豫按黨中央指示,，在白色恐怖極其嚴(yán)重的形勢(shì)下，回到家鄉(xiāng)廣西北流堅(jiān)持斗爭(zhēng),，先后擔(dān)任中共北流縣委委員,、縣委書記，陸續(xù)恢復(fù)了北流,、玉林、博白,、陸川等縣黨的組織和農(nóng)民自衛(wèi)軍,。其間，他利用自己和廣西省主席俞作柏是兄弟,，和廣西編遣特派員李明瑞是表兄弟的特殊關(guān)系,，在軍隊(duì)和地方政府中任用共產(chǎn)黨員，發(fā)展黨的組織,，掌握了部分武裝的領(lǐng)導(dǎo)權(quán),。

不久，黨中央派遣鄧小平以及張?jiān)埔莸葋?lái)到廣西,，組織力量準(zhǔn)備武裝起義,。鄧小平化名鄧斌，以省政府秘書的公開身份掩護(hù)活動(dòng)，與俞作柏,、李明瑞建立了密切的合作關(guān)系,，通過(guò)各種關(guān)系和途徑，將共產(chǎn)黨員派進(jìn)軍事系統(tǒng)任職,，以爭(zhēng)取兵權(quán),。

當(dāng)時(shí)張?jiān)埔輷?dān)任警備第四大隊(duì)隊(duì)長(zhǎng)，俞作豫擔(dān)任警備第五大隊(duì)隊(duì)長(zhǎng),，這兩個(gè)大隊(duì)共有6個(gè)營(yíng)2000余人,。根據(jù)鄧小平的建議，俞作柏,、李明瑞開辦訓(xùn)練初級(jí)軍官的教導(dǎo)總隊(duì),，由張?jiān)埔菁嫒慰傟?duì)長(zhǎng)，學(xué)員共達(dá)1000多人,，9個(gè)連的干部幾乎全是共產(chǎn)黨員,。黨組織逐步掌握了軍隊(duì)領(lǐng)導(dǎo)權(quán)，為實(shí)行武裝起義準(zhǔn)備了骨干隊(duì)伍,。同時(shí),，在鄧小平領(lǐng)導(dǎo)下，以公開和半公開的方式,，恢復(fù)和發(fā)展各地黨組織,，開展農(nóng)民運(yùn)動(dòng)，建立農(nóng)民武裝,。

1929年12月和1930年2月,，在鄧小平、張?jiān)埔?、韋拔群,、李明瑞、俞作豫等領(lǐng)導(dǎo)下,，分別舉行了百色起義和龍州起義,，建立了紅七軍、紅八軍和左右江革命根據(jù)地,。鄧小平任中共前敵委員會(huì)書記兼紅七,、紅八軍政治委員，李明瑞任紅七,、八軍總指揮,，張?jiān)埔萑渭t七軍軍長(zhǎng)，俞作豫任紅八軍軍長(zhǎng),。

百色,、龍州起義和左右江革命根據(jù)地的建立,，給國(guó)民黨新軍閥和帝國(guó)主義勢(shì)力以沉重打擊。1930年3月,，敵人糾集大批軍隊(duì)圍攻左右江革命根據(jù)地,。俞作豫率領(lǐng)紅八軍浴血奮戰(zhàn)，終因寡不敵眾,，彈盡糧絕,，突圍中遭敵人圍追堵截，俞作豫在當(dāng)?shù)厝罕娧谧o(hù)下脫險(xiǎn),，輾轉(zhuǎn)到香港尋找黨組織,。

1930年8月18日，因叛徒出賣,，俞作豫在深圳被國(guó)民黨特務(wù)逮捕,，押至廣州。敵人對(duì)俞作豫軟硬兼施,，妄圖從他口中得到我黨組織和紅軍的情況,。面對(duì)兇殘的敵人，俞作豫堅(jiān)貞不屈,，大義凜然,，表現(xiàn)了共產(chǎn)黨員視死如歸的大無(wú)畏精神：“我就是你們要抓的紅八軍軍長(zhǎng)、共產(chǎn)黨員俞作豫,！”

1930年9月6日,，俞作豫高呼著“打倒國(guó)民黨反動(dòng)派！” “中國(guó)共產(chǎn)黨萬(wàn)歲,！”“紅軍萬(wàn)歲,！”的口號(hào)，在廣州黃花崗英勇就義,。