1927年，陳毅在中央軍事政治學校武漢分校，和惲代英、施存統組成校黨委，陳毅任書記，公開職務是校政治部的準尉文書。陳毅到任后，即到各大隊各支部了解情況，秘密開展工作。由于性格開朗，說話風趣，軍校師生都很愿意同他交往。他很會做思想工作，本來政治部組織科長葉鏞是國民黨員，負責監視共產黨人，卻在革命低潮期被陳毅發展成了共產黨員。

8月1日，南昌起義打響后，陳毅和二方面軍軍官教導團（原武漢中央軍政學校）2000余人從武漢乘大小船只抵達九江，名義上是“東征討蔣”，歸張發奎指揮，實則是奉中共中央軍委命令準備加入南昌起義部隊。船只尚未靠岸，張發奎就命令官兵把武器留在船上，徒手上岸集合。隱蔽在教導團中的中共黨委書記陳毅，感到形勢嚴峻，上岸后立即召集共產黨員秘密開會，提出三條應變措施：一是暴露身份的同志連夜出發到南昌，與葉、賀會合；二是有條件的同志分散回家，搞農民運動；三是未暴露身份的同志則留下來，隱蔽待機。大約有200多人愿意留下，這200多人組織了一個黨支部。當晚，陳毅與特務連連長、共產黨員肖勁步行到姑塘，坐小火輪前往南昌。

陳毅等人從九江出發，一路上敵人盤查得很嚴，于是，他們抄小路前進，一口氣走了100多里，才在一個小鎮找到一條船，經鄱陽湖進入南昌。

8月6日，陳毅和肖勁趕到南昌后，發現葉、賀起義軍已經撤離，張發奎的部隊已進了城。他們好不容易打聽到起義軍已去撫州方向，于是立即追趕，終于在撫州城里見到了緊張忙碌而秩序井然的起義軍，并找到了周恩來和劉伯承。當時起義軍后面有朱培德的追兵，撫州附近還有楊如軒的部隊。此時，贛東一支綠林武裝派人來接頭，愿意接受葉、賀軍的委任和指揮，條件是給他們一部分槍支。周恩來、劉伯承就要陳毅帶著肖勁去聯系，到這支綠林部隊去做改造工作。但他們按預定辦法和對方的司令聯系時，起義軍已開走，追兵已進了撫州。綠林部隊聯系代表逃避不見。陳毅、肖勁出城時被哨兵抓住。幸而陳毅說動了哨兵，得以脫險。此后，陳毅摸黑急走50多里，終于于8月10日在江西宜黃再次趕上起義部隊。

周恩來與劉伯承等商量后，分配陳毅任第二十五師七十三團的團黨代表。周恩來說:“派你做的工作太小了。你不要嫌小！”陳毅真誠而喜悅地說:“什么小不小哩！你叫我當連指導員我也干。只要拿武裝我就干！”