对苏军的编制、组织、训练、装备等各方面的情况都有了一定的了解。特别是苏军中设有各级党的组织，设有政治机关和政治委员，给他留下了深刻的印象。
让中国代表团印象深刻的是11月7日的红场大阅兵。陆军方阵、骑兵方阵、炮兵车队方阵威武雄壮，飞机凌空呼啸而过。蒋介石除了钦佩之外，一套在中国如何建立革命军队的初步计划在他的脑海里也渐见雏形。
为了早日在中国缔造自己的军队，蒋介石在考察期间，曾直接向苏方
鲍罗廷（右）在黄埔军校演说
提出“希望革命军事委员会派人到华南，仿照红军编制中国军队，派去的人愈多愈好”。一再主动要求苏方派出一些军官，到广东帮助训练中国军队。苏联方面则希望国民党派出学生，到苏联的军事学校学习。蒋介石对此非常不满。
苏联高层领导人最初考虑，把专门培养中国军人的军校全部设在苏境内，后来权衡中国学生来回耗资和交通等问题，才决定由苏方派出军事顾问，也可在中国境内建立军校。11月13日，中国代表团与苏方革命军事委员会副主席斯克良斯基和总司令加米涅夫会谈时，蒋介石再次要求苏方向广州即将开办的军事学校增加派出人员。对此，斯克良斯基回答：“开始需要进行一次试验。如果成立所设想的50人班收到了良好的效果，那么革命军事委员会不反对增加派出人员。”虽然口气仍很含糊，但终于答应除在苏联国内为中国人开办军事学校外，也可考虑派苏联军人到国民党控制的地方创办军事学校，如在广州开办军校。这令蒋介石顿时喜笑颜开，兴奋不已。据苏方当时文件记载，蒋介石一走出斯克良斯基的办公室，斯说：“不要张罗疗养院、医生等事了，因为他自我感觉好多了。”
代表团在苏维埃俄国学到很多东西，比如政党的组织建设、新型革命军队的组成、训练，同时也大大加强了两国的相互联系和相互支持。对蒋介石个人也触动很大，他在途中天天写日记，把风光、地名、人名包括每路过一个车站的站名都记了下来，还不时地大发感慨。但是，新兴的苏维埃国家也给蒋介石留下了许多负面的印象。从后来蒋介石对中国的治理看，这些负面印象使他在走向新三民主义、共产主义的反面中，起到了极不好的先入为主作用。
黄埔军校校总理孙中山蒋介石喜欢苏联的建军经验，却反感苏联的政治制度，甚至可以说是仇恨。在访问中他感到：“俄党对中国之惟一方针，乃在造成中国共产党为其正统，决不信吾党可与之始终合作，以互策成功者也。”认为“苏联的政治制度，乃是专制和恐怖的组织”。“俄共政权如一旦臻于强固时，其帝俄沙皇时代的政治野心之复活并非不可能。则其对于我们中华民国和国民革命的后患，将不堪设想。”后来，孙中山对蒋介石的这种看法进行了批评，说他“未免顾虑过甚”。
这次出访，代表团内部矛盾突出，争执不下，连苏方都认定“中国代表团内部在打架”。但在特殊时期的这次访问，却使蒋介石的政治身价倍增。11月29日，代表团结束访问回国，12月15日晨9时抵达上海。代表团回到上海，蒋介石并没有急于向孙中山汇报出访情况，而他首先想到的是自己日夜思念的恋人陈洁如。待胡汉民、汪精卫、廖仲恺等人赶到船上迎接蒋介石时，并劝蒋赶紧回来处理党务，然而蒋对此毫不理会，仍是悠然地“往会洁如”去了。
当然，蒋介石的摆谱在这时是有分寸的，也是别有用意的。他为了防止孙中山对自己的不满，把归国途中草草写就的《游俄报告书》寄往广州，他本人于当天下午乘船赶回溪口老家，理由是第二天是他母亲的60岁冥诞，又是为他母亲墓地建筑的“慈庵”落成之时。
对于蒋介石的这种行为，孙中山极为不满。12月30日，孙中山发电报给蒋介石：“兄此行责任至重，望速来粤报告一切，并详筹中俄合作办法。”一些政府要员对蒋的这种不负责任的做法很有意见，廖仲恺、胡汉民、汪精卫、张人杰等人接连发给蒋介石6封电报，催促他速赴广州。廖仲恺直接写信批评蒋介石，说他一再延期赴粤，“事近儿戏”。
孙中山题词这时，苏联政府应邀派驻中国的常设代表鲍罗廷到达广州，开始着手改组国民党和筹办军校。蒋介石闻听此讯，再不敢怠慢，于1924年1月16日迅速返回广州。
蒋介石想起了访苏期间从托洛茨基那里得到的消息：“一个以鲍罗廷和加伦将军为首的军事顾问团，很快就要到中国去，帮助孙逸仙先生进行革命。”蒋介石意识到，可以此为契机，提高在党内的地位，掌握军队，建立军事独裁统治。
这次苏联之行，是孙中山同中共和苏联共同商定筹划的一次重要的访问活动，更是蒋介石人生道路上的一个重大转折。所以，他在后来所写的文章中时常提及此次访问，认为是自己一生中的“重要一环”。
与此同时，孙中山在国内积极进行筹建军官学校的工作，对建校工作抓得很紧，并亲自勘察校址。9月，他派人到北京同苏联大使加拉罕商谈创办军事学校事宜，加拉罕后写信给孙中山，介绍鲍罗廷到广州工作。10月，孙中山签署了任命鲍罗廷为国民党组织教练员的委任状，旋又聘为顾问。在10月15日召开的国民党党务讨论会上，孙中山提出在广州设立陆军讲武堂的提案，“训练海外本党回国之青年子弟，俾成军事人才”，号召海外革命青年回国学习军事。讨论军校校址时，国民党中央执行委员会原定在“测绘局及西路讨贼军后方医院”，即现在的北校场路烈士陵园一带，广州人通称为“东山”。为此，还形成了文件，但没有过多久又改变校址。否则，黄埔军校就叫“东山军校”了。
孙中山先生11月29日，孙中山召开国民党临时中央执行委员会第10次会议，讨论组织国民党志愿师和创建军事学校等问题，并决定把讲武堂改称“国民革命军军官学校”，招生对象包括党内外一切有志献身国民革命事业的，具有中学文化程度的青年。孙中山亲任校长，委任廖仲恺和李大钊等5人为国民党改组委员，组成革命的核心领导组织，推动国民党改组和军校筹建工作的开展，特别责成由廖仲恺和鲍罗廷负责军校的具体筹建工作。
1924年1月20日，中国国民党第一次代表大会在广州高等师范大礼堂（钟楼）召开。在这次大会上，孙中山先生重新解释了三民主义。他提出的一系列政策被后人概括为联俄、联共和扶助农工。也就是在这次代表大会上，宣告国共合作正式形成，决定建立中国国民党陆军军官学校，并通过了这一提案。国共合作的成功，有力地推动了军官学校的筹建。1月24日，孙中山以军政府大元帅名义正式下令筹建陆军军官学校，命名为中国国民党陆军军官学校。相继宣布成立军校筹备委员会，以蒋介石为委员长，王伯龄、李济深（邓演达代）、沈应时、林振雄、俞飞鹏、张家瑞、宋荣昌7人为筹备委员。中国共产党委派张崧年（申府）参加筹备工作。孙中山先后聘请鲍罗廷为政治顾问，加伦（原名瓦西里·康斯坦丁诺维奇·布留赫尔）为军事顾问。这是孙中山在共产国际代表和共产党创始人李大钊的帮助下所做的一件大事，终于在充满艰辛的荆棘路上迈出了第一步。
军校的创立，是孙中山总结辛亥革命以来历次革命失败的经验教训，试图用武装斗争寻求革命新道路的结果。
孙中山之所以器重蒋介石，让他主持筹办军校，周恩来曾讲过，原因有二：一是因为“蒋介石是陈其美的徒弟之一，因而得与孙中山接近”。陈其美在孙中山组织中华革命党时，第一个宣了誓，打了手印，叶剑英在黄埔军校是忠实于孙中山的。“其次一个重要的原因，就是在永丰舰的事情上蒋介石投了一个机。”（《周恩来统一战线文选》，第56页，北京，人民出版社，1984）1922年陈炯明炮轰总统府，孙中山躲避到永丰舰上避难时，蒋介石在上海交易所做生意失意，来到永丰舰向孙中山表示，愿与孙中山共存亡。蒋介石骗了孙中山，孙中山一直蒙在鼓里。
孙中山在宣布筹委会名单的同时，1924年1月28日，择定以广州近郊黄埔长洲岛原有广东陆军学校和广东海军学校旧址为陆军军官学校校址。
黄埔岛，原本称长洲岛。位于广州市东郊，面积只有6平方公里，南连虎门，扼珠江要冲。从广州市区到东郊码头，再乘当时的汽船行驶约一小时，水烟连天中便远远看见黄埔岛静卧前方，兀立江心，如同一名哨兵，扼守着广州的门户，是历史上有名的长洲要塞。岛上山峦起伏，当中一座山峰名扯旗山，林木葱茏，环境清幽，是一处既为军事要枢、又极利于兴武讲学的好地方。清道光年间，禁烟的林则徐大帅在这里修筑了多处炮台，以后又建立了军事要塞。
选址黄埔岛，体现了孙中山先生高深的战略眼光。他之所以选定这里为校址，主要是从安全角度考虑的，因为当时滇桂军阀盘踞广州，大小军阀随时发山大王脾气，弄不好就会突然袭击军校，在远离市区的孤岛办军校则可以避开军阀的控制和干扰。其次，这个四面环水的小孤岛，筑有炮台，与隔江相对的鱼珠炮台、侧面沙路炮台形成三足鼎立之势，把守控制江面，是进可攻退可守的好地方，便于学习与练武。其三，岛上的清末陆军小学堂校舍仍在，稍加修葺即可使用，节省了当时相当紧张的人力和资金。正是在这几个“天时地利人和”的基础上，黄埔军校得以顺利建成，并得到良好的发展。黄埔军校有了这么一个大本营，在战略上占了先机之利。
军校筹建工作“头三脚”
万事开头难，何况军校在筹建之初，一无所有。但军校创办工作在孙中山的领导和共产党人的积极合作下，踢开了“军校选址、校长风波、招生考试”的头三脚。
黄埔岛上虽然有几处房屋，但因年久失修，已是败瓦颓垣，且由于远离市区，水陆交通皆艰难，不便到岛上办公。筹备处在开始时的近半个月里，没有地方可安置，孙中山只好把乘坐的“大南洋号”船停靠在江边，作为临时办公地点。后在南堤2号（今广州沿江中路第239号对面）寻找到一座西欧古罗马圆柱式小楼房，年租金200元白银。2月6日，设筹备处于此楼，正式开始筹建军校的工作。这座古建筑，矗立于珠江岸边，南瞰滔滔江水，后临八旗二马路，全楼高约15米，是一幢中间3层、后进2层的西式楼房，建筑占地面积约700平方米。当时，这里是市区最热闹、最繁华的地方之一，赌馆、妓院比比皆是，几家著名的百货公司大楼林立于附近。南堤2号古楼最早卷动了黄埔军校的历史风云，自1924年初黄埔军校筹备委员会驻节这里开始，黄埔军校驻省办事处、中国青年军人联合会、黄埔军校同学会都曾在这里办公。因此，这里又被称做是黄埔军校的祖宗之圣地。
广州《民国日报》刊登的黄埔军校考试委员会启事军校筹备委员会登岸入住南堤2号古楼后，在门前挂起了筹备委员会办事处的名匾，张贴出第1期招生公告，公开打出了创建军校的旗帜。
南堤2号古楼2楼中间会议室的会议，在广州早春的和风中是一个接着一个地开，晚间楼内灯火通明。在筹备会开张初期，会议由蒋介石主持，后由廖仲恺代行其责。参加会议的除大元帅府任命的原大本营高级参谋王伯龄、原粤军第8师师长兼西江善后督办李济深、原粤军西江讲武堂总教练林振雄以及俞飞鹏、宋荣昌、张家瑞6名正式委员外，还有经王伯龄刚从粤军第6旅邀请来的原参谋长叶剑英、粤军骁将邓演达以及营长严重、原保定军校炮兵队长钱大钧、建国粤军军部参议刘峙、原东路讨贼军总部副官顾祝同等。会议的内容，主要是决定有关军校开办事宜，实施各项创校工作。
这一时期，由筹委会委员讨论决议的各种工作繁多，初步安排的主要工作有8项：订立校章，修理校舍，任免教职员，招考学生，审查员生资格，决定第1期学生教练计划，决定全校员生必须加入国民党，决定服装、教材书籍之样式种类及购置办法。在筹备军校体制过程中，初定设立教授、教练、管理、军需、军医5个部，由各筹备委员暂行分工主管。先期各级办事人员则从各军军事学校在职人员中选拔，经严格挑选后再通过考试择优录用。
孙中山手书的国民党中执委候补委员名单关于学生来源，筹委会决定在全国19个省进行招考。2月10日，拟定招生名额为324人。分配各省区招考学生名额：直隶、山东、山西、陕西、河南、四川、湖南、湖北、安徽、江苏、浙江、福建、广东、广西14省每省12人，计168人；东三省、热河、察哈尔计50人；湘、粤、滇、豫、桂军5个军各15人，计75人；国民党先烈家属20人；留有9个人的名额作为机动。另招备取生30人至50人。
廖仲恺作为大元帅府的财政部长，受孙中山的委托，一直参与军校的筹备工作并倾注了极大的热情。他在校务筹备会上说：“创办本党军官学校，近日在刚刚结束的全国代表大会上获一致通过。这次大会，确立了联俄联共扶助农工的各项政策。中国革命的高潮已经来到了，军官学校的筹办，将是涌于潮头最引人注目的一朵浪花。在这次会议结束时，已经提请两党同志回去后在全国各地为本校招生。我们一定要把那些优秀的、忠实于本党主义的人才集合到本党的旗帜下。现在，这里的各项筹备工作要抓紧，加快落实。南堤2号，现已经成了全国关注的中心，诸位一定要不辱使命。”
南堤2号门前自挂出了黄埔军校筹备处的牌子后，门里门外开始忙碌起来，人群络绎不绝。与此同时，市内的大街小巷也贴出了黄埔军校的《招生简章》。招生条件要求“明白主义”，学历上要求中学或相当于中学毕业，身体要求“强健”、无眼�