1934年9月，中央軍委指示紅25軍主力作戰略轉移，去創建新的根據地。鄭位三為了盡快實現這一戰略決策，當即寫信給活動在皖西的鄂豫皖省委和紅25軍，說明了這一情況。鄂豫皖省委在光山縣花山寨，做出了紅25軍實行戰略轉移的決定，整編了部隊，由時任省委常委兼秘書長的鄭位三任軍政治部主任，隨軍長征。

　　鄭位三生活儉樸，作風扎實，平易近人。他時常穿著一身破舊衣服，在紅25軍中，大家都親切地稱他“位老”，其實他那時只有33歲。

　　鄭位三過去一直做地方工作，對搞農民運動、建立地方政權、堅持游擊戰爭，都有著豐富的經驗。在紅軍中做政治工作，他還是第一次。但他堅決服從組織的決定，以堅定的信念、認真的態度、求實的精神去熟悉新的工作。他善于發揚民主，集思廣益。他經常把政治部的同志召集起來，共同商量研究，很快就熟悉了軍隊中的政治工作。長征路上，他很少騎馬，經常拄著一根木棍，跟連隊一起行軍。部隊每到一地，他就跟戰士擠在一起，親親熱熱地拉家常。有時還給戰士講上幾段故事，既風趣，又幽默。所以，基層干部戰士都愿意和他接近。他給部隊上政治課，聯系實際，深入淺出。比如，長征出發前，他曾從書上找了一張列寧像，讓劉華清臨摹放大，掛在墻上。他首先從列寧講起，講到十月革命的成功，使戰士從十月革命的勝利，看到了中國革命的前途，堅定了革命的信念。

　　1934年12月10日，紅25軍進入陜南商洛地區，中共鄂豫陜省委決定在鄂豫陜邊創建新蘇區。為讓新區人民了解紅軍，部隊一進入陜南，鄭位三就起草了《什么是紅軍》的張貼傳單。僅以四百來字，就把紅軍的宗旨、性質、任務以及有關政策講得十分明確。紅25軍攻占鎮安縣城后，他又起草了《中國工農紅軍第二十五軍為占領鎮安縣告群眾書》。他還根據省委有關新蘇區的經濟政策，起草了《關于商業政策》的布告。為爭取瓦解國民黨士兵，他起草了《告國民黨士兵書》。為做好新蘇區優待紅軍家屬工作，他制定了“紅軍家屬優待證”，并親筆給部分戰士簽發。鄭位三起草和制定的這些有著歷史意義的文獻，在紅25軍開創鄂豫陜蘇區的過程中，曾產生過深遠的影響。

　　1935年7月，紅25軍為配合中央紅軍的北上，決定西征甘肅、北上陜北。當時，擔任鄂陜特委書記的鄭位三被留在陜南地區，繼續堅持鄂豫陜根據地的游擊戰爭。紅軍主力北上后，敵人仍集中20多個團的兵力，對鄂豫陜革命根據地實行“劃區清剿”，妄圖消滅留在鄂豫陜根據地的游擊武裝。在此危難時刻，鄭位三召開聯席會議，將鄂陜、豫陜兩個特委合并成鄂豫陜特委，將留下的紅軍和游擊武裝編成紅74師，由他任特委書記，陳先瑞任師長。由于統一了領導，集中了兵力，使鄂豫陜邊的游擊戰爭有了可靠保證。隨后，鄭位三冷靜地分析形勢，準確地判斷敵情，決定避敵鋒芒，揚我之長，采取“兜大圈子”的游擊戰法，從敵人的包圍中奔來突去，忽東忽西，神出鬼沒，先后打破敵人三次“圍攻”。

　　根據這一方針，紅74師大膽而靈活地開展游擊戰爭。一次在鎮安縣青銅關，我軍利用有利地形，伏擊了敵40軍230團一個營。接著，聲東擊西，襲占了佛坪縣城（袁家莊）。敵人跟蹤而至，我軍又一舉打出秦嶺，當西安、寶雞之敵圍來時，遂又進入山中，第二次占領佛坪縣城。

　　1936年秋，敵人又一次調集重兵進行“圍剿”。特委根據山區地形條件和我軍善于游擊的長處，決定將部隊“化整為零”，深入敵后活動。鄭位三當時領導一團，出商洛，奔襲兩岔河，回兵大龍廟，橫掃反動民團，捕捉了由西安赴商州上任的國民黨督察專員湯有光。不久，他又根據敵情變化，提出集中兵力打擊敵人。部隊集中后，在商南縣富水關痛擊了公秉藩別動隊一個大隊，接著揮師北上，在華山腳下轉了三個大圈，繼而進入藍田境內，對西安之敵震動很大。

　　因為沒有電臺聯絡，紅74師完全和上級黨組織失去聯系，對當時的斗爭形勢很不了解。在這種情況下，鄭位三想了許多辦法。他走一路問一路，及時了解敵情動態，熟悉地形道路。他還從各種報紙和截獲的敵偽信件中判斷敵情，決定部隊行動。紅74師打下寧陜縣城后，他根據周圍的敵情分布和路程遠近，決定部隊就地休整八天，開展群眾工作。當部隊撤離后，敵人果然在第九天進入寧陜縣城。

　　鄭位三在領導陜南的游擊戰爭中，還依據斗爭的需要和形勢的變化，靈活地制定和實行了一些具體政策。例如，對在寧陜、柞水一帶活動的宋登賢“神團”組織，他主動派人去做工作，從武器、經費上給以資助，最后把這支農民武裝編為紅74師補充團。對當時率部起義的何振亞、沈啟賢同志，他親自寫信聯系，同何部派來的人親切交談，使這支部隊加入了紅軍的隊伍。對商南縣大地主石老八，不捕不殺，不沒收其財產，利用其為我軍采購藥品、布匹等物資。柞水縣的一名偽區長，經過鄭位三幾次教育后，明著為敵人辦事，暗地給我軍送情報、籌糧款、掩護傷員。我軍曾多次截獲過郵差，鄭位三每次都只準扣留有關敵偽方面的信件、報紙，然后給郵差開個“收條”，蓋上公章，以宣傳我軍政策，保護郵遞人員。這些具體政策的貫徹執行，有效地分化了敵人，爭取和團結了中間勢力，使游擊戰爭得以勝利開展。

　　陜南的游擊戰爭是十分艱苦的。部隊整天翻山越嶺，出沒在深山密林之中。鄭位三當時就患有嚴重的十二指腸潰瘍，加之缺醫少藥，饑一頓飽一頓的，體質十分虛弱。同志們出于對他的關心，有時給他搞點肉食，但說啥他也要和大家一起吃。鄭位三領導鄂豫陜特委和紅74師，獨立堅持了近兩年的游擊戰爭，使紅74師由原來的600余人，發展到2100余人。

　　西安事變爆發時，這支活躍在鄂豫陜根據地的紅軍隊伍，在周恩來同志的關懷下，回到了黨中央的懷抱，后來改編為留守兵團警衛四團，肩負起保衛陜甘寧邊區、保衛黨中央的光榮任務。賀龍曾說過：“紅74師能在陜南堅持近兩年的游擊戰爭，位三同志的正確領導起了重要作用。”