1920年2月,，陳獨(dú)秀上了警方的黑名單被迫離京。到上海后,，他住進(jìn)環(huán)龍路漁陽(yáng)里2號(hào)一棟石庫(kù)門房子里,。很快，李漢俊,、李達(dá),、邵力子、沈玄廬,、陳望道等中國(guó)最早接觸馬克思主義學(xué)說(shuō)的一批知識(shí)分子就被吸引到他身邊,。

北大學(xué)生張國(guó)燾，在“五四”時(shí)期是一個(gè)非?；钴S的人,。當(dāng)陳獨(dú)秀常住上海后，他成為為“南陳北李”傳遞消息的“特殊學(xué)生”,。

1920年8月的一個(gè)晚上,，一個(gè)外國(guó)人和他的翻譯悄悄來(lái)到漁陽(yáng)里2號(hào)。第二天,，陳獨(dú)秀興奮地對(duì)張國(guó)燾說(shuō),，此二人正是維經(jīng)斯基和楊明齋。在維經(jīng)斯基的鼓勵(lì)下,，陳獨(dú)秀決定加快建立各地共產(chǎn)主義小組,。

9月，張國(guó)燾回到北京后，把陳獨(dú)秀希望趕緊建立共產(chǎn)黨組織的意思轉(zhuǎn)告李大釗,。張國(guó)燾記得,，“李大釗略經(jīng)考慮后，即毫無(wú)保留的表示贊成,?！贝饲埃€考慮建立中國(guó)共產(chǎn)黨的時(shí)機(jī)是否成熟,。但此時(shí),，他認(rèn)為“陳獨(dú)秀先生對(duì)南方的情況比我們知道得更清楚，判斷也較為正確,，現(xiàn)在他既已實(shí)際開展活動(dòng),，那么我們就應(yīng)該一致進(jìn)行……”

北京共產(chǎn)主義小組的發(fā)起人最初只有李大釗、張國(guó)燾和北大教師張申府三人,，后來(lái)羅章龍、劉仁靜兩位對(duì)馬克思主義很有研究的同學(xué)也加入進(jìn)來(lái),。

他們認(rèn)為組織建立之初標(biāo)準(zhǔn)不宜過(guò)嚴(yán),，于是吸收了黃凌霜、陳德榮等5位無(wú)政府主義者,?？墒牵婚_始無(wú)政府主義者就與馬克思主義者發(fā)生了分歧,。無(wú)政府主義者崇尚個(gè)人絕對(duì)自由,，反對(duì)采取任何組織形式，也認(rèn)為不必有工作分工,。在一次討論要不要承認(rèn)馬克思主義無(wú)產(chǎn)階級(jí)專政思想的爭(zhēng)論中,，幾位無(wú)政府主義者最終選擇了“和和氣氣”的退出。

不過(guò),，令李大釗欣慰的是,，無(wú)政府主義者退出后，鄧中夏,、高尚德,、何孟熊、繆伯英等新生力量很快便補(bǔ)充進(jìn)來(lái),。