1943年，在大規模號召知識青年從軍之前，為了補充中國駐印軍的特種兵(如汽車團、炮兵團等技術性要求較高的兵種)，國民政府曾命令個別新兵補訓處招收一些知識青年，成立了幾個團，陸續空運到印度去受訓。

1943年秋，國民政府教育部和軍事委員會外事局受命向川、滇、黔三省各大學征調除女生和師范學院外的應屆畢業生，經短期英語會話（其中包括熟記英文應用詞匯）、步兵武器結構和使用以及其他訓練后，分配到云南、廣西、緬北和印度各地軍事機關、部隊、軍醫院、庫房和美國十四航空隊(其前身即陳納德將軍領導的飛虎隊)擔任翻譯聯絡工作。

1944年，日本為挽救其在東南亞的孤軍，發動所謂“打通大陸交通線戰役”，在豫湘桂等戰場向中國軍隊發起大規模的進攻。為應對新的形勢，1944年9月16日，蔣介石在國民參政會即席演講稱：“國家在此緊急戰時關頭，要先其所急，使知識青年效命于戰場，因為知識青年有知識，有自動判斷的能力，隊伍中增加一個知識青年，就不啻增加了十個普通士兵。”隨后，國民黨中央決定廣泛發動知識青年從軍運動，征集知識青年10萬人，編組遠征軍。

到了10月21日，國民政府軍事委員會頒布《知識青年從軍征集辦法》，規定知識青年(男性)年滿18歲至年滿35歲者，受中等以上之教育或具有相當知識程度者，體格標準符合條件者，均得志愿參加；數額暫定為10萬人；除照遠征軍之待遇辦理外，副食費酌量增加；服役期限定為兩年，期滿后退伍。13天后，國民政府教育部也出臺《志愿從軍學生學業優待辦法》，不僅對從軍學生一律保留學籍，而且還對從軍學生退伍時做出了免試升學、減少學期、優先錄取等優待辦法。

學生青年投筆從戎成為當時一大潮流。據統計，中央大學、重慶大學兩校報名數竟達在校生的1/3。各地方當局也紛紛仿效，從重慶到浙江、福建、江西、湖南、廣西、湖北、陜西、貴州、云南、甘肅等省市，出現了知識青年報名參軍熱潮。

蔣介石對青年軍的人事安排很重視，師長由他親自挑選(實際上多半是陳誠、胡宗南推薦)，團長由嫡系部隊挑選少將級干部擔任。團以下干部則由各部隊擇優保送到青年軍訓練總監部所屬的干部訓練團受短期訓練后，選派到各師任用。而訓練青年軍的大權，他則交給蔣經國和陳誠把持。

1945年1月1日，應征入伍的青年遠征軍共12萬人，正式在各基地接受訓練，訓練期限為3個月。據全國知識青年志愿從軍編練總監部宣布，1945年4月底，實際入營8.5萬余人，后因一部分人補充遠征軍及出國接受駕駛、跳傘等特種訓練，到抗戰結束，在國內實有76507人。

青年遠征軍入伍訓練時間為3個月，訓練科目由兵器到戰術并重。經過短期訓練后，各師正式納入正規軍編制。青年軍9個師分別歸屬于中國遠征軍第6軍、第9軍、第31軍，另外有相當一部分調入新1軍、新6軍、第5軍、輜重汽車第14團、第15團、憲兵教導第3、4、5團、傘兵總隊、譯員訓練班、無線電訓練班及派赴美國受訓的海空軍等單位，共計1.877萬人。撥給印緬遠征軍的青年軍總數在1萬余人，在印度受訓結業后很快派到印緬前線擔任交通運輸、坦克兵等技術兵種工作。青年軍先后參加了緬北大反攻，如密支那、八莫、南坎、臘戍諸戰役，對打通中印公路發揮了積極作用。