蒙古汉子杨宝山奉命前往外蒙古接洽第三国际驻乌兰巴托联络站的切尔诺夫上校，被苏军怀疑为日本间谍，并将他关进了监狱。在狱中，杨宝山碰到了被怀疑是日军间谍的苏樱和苏联女盗窃犯莎拉波娃。杨宝山与苏樱、莎拉波娃等人共赴刑场，执行枪决。当枪声在他身后响起时，杨宝山和莎拉波娃却没有被打中——原来，这是第三国际驻乌兰巴托办事处切尔诺夫上校和莎拉波娃验上尉验证杨宝山真实身份的又一招考验。杨宝山与切尔诺夫上校一见如故。漂亮的莎拉波娃也对铁骨铮铮的杨宝山产生好感。
回到延安后，杨宝山将情报交给了首长，首长安排杨宝山去中央党校学习。在中央党校，杨宝山与天宝兄弟般的情谊开始建立……，虽然是好友，但当天保问他以前的经历时，杨守口如瓶，笑而不答。
首长召见杨宝山，布置任务前，首长再次向杨宝山重述了保密战线的纪律，即将所知道的情况“活着烂在肚子里，死了带进棺材”。首长给杨宝山下达了“再到乌兰巴托”的任务，并将一只手枪和一些子弹交给了杨宝山。
杨宝山谢绝已经爱上自己的莎拖拉波娃的挽留，带上教授、十二岁左右的烈士遗孤“小提琴”、交通员刘文集、国民党上尉苏樱开始返回革命根据地。行前，莎拉波娃悄悄地将一块巧克力塞进杨宝山的口袋，并告诉杨宝山——队伍中有一位极为重要的人物，上级要求杨宝山就算牺牲自己的生命都要保障他的安全。
在沙漠边缘，教授抓到一只黄羊，杀羊的血腥味将一群饿狼引来。杨宝山命令刘文集带领大家先撤，自己留下来对付狼群。刘文集一行遭到日军的追击，赶上刘文集一行的杨宝山骑马从后方将敌人朝相反的方向引开，这才使刘文集一伙得以解脱。撤退途中，苏樱不慎中弹，刘文集等人均认为苏樱已牺牲，用牧草将其草草掩盖后离开……
杨宝山与大队会合后，不见了苏樱，对刘大发雷霆——认定少一人就意味着护送任务不圆满的杨宝山不顾刘文集的反对，固执地只身返回寻找苏樱的尸体。
他和刘文集约好，在黄河南岸，一破喇嘛庙会合。
刘文集一行渡过黄河后，坚持要在河边等候杨宝山，教授却用命令的口吻说，河边空旷，无遮挡，他强逼众人离开了河岸。刘文集失望地期盼河对岸杨的归来，随手把烟头扔在了河边……这经意的行为给他们今后的行动埋下巨大危险。杨宝山历经曲折终于找到了苏樱的“尸体”，他将苏樱捆在马背上南渡黄河。在河中，苏樱醒过来，这让杨宝山喜出望外。杨宝山带着苏樱来到准备会合的破喇嘛庙，不见刘文集的影子，却遭到敌人埋伏。原来，刘文集扔在黄河边上的苏联烟头暴露了他们的行踪。
在躲避日军追击过程中，小提琴背着的子弹丢了，他只身离队去寻找子弹。经过艰难找寻，小提琴终于在草丛泥水里摸到子弹，但却遭一日本兵的袭击，危急关头，杨宝山从后边用绳套住日本兵脖子，将其拖死。搏斗中，小提琴与苏樱会合到一起，却与杨宝山走散。
杨宝山与刘文集和教授碰到了一起，经过激烈的争执，决定由刘文集带教授先撤，杨宝山去寻找失散的苏樱和小提琴。
小提琴与苏樱四处寻找着大队，当夜宿一蒙古包时，小提琴知道了苏樱国民党军人的身份，这使他的感情无法接受，他联想起死在国民党屠刀下的父母，对苏樱充满厌恶。天色未亮，小提琴牵走了马，抛下苏樱悄然离去。小提琴的出走暴露了苏樱的藏身之处，使她陷入巨大危险中。幸得杨宝山及随后赶到的刘文集等及时相助，才使苏樱脱离了危险。但他们很快又陷入追踪而来的日军包围之中——刘文集打光机枪里的所有子弹仍未击溃敌人，大家决定扔掉机枪轻装突围。小提琴听到枪声，朝响枪处奔来，当他远远看到大队一行几乎赤手空拳地与敌人拼搏时，便不顾危险将找回的子弹送了过去。得到子弹的杨宝山一伙却为刚扔掉机枪而婉惜——这时的苏樱冒着弹雨硬是将扔了的机枪找了回来——这方使得大队得以逃生。小提琴对苏樱的行为很是感动，并深为自己的行为自责。
全体人马终于集中到一片芰萁草丛中，这时，他们发现河边停着一辆日军卡车——这里已经被日军抢先占据。大家商定拼死一搏，夺日军卡车过河。教授不顾杨宝山的强烈反对去引开日军，并壮烈牺牲。渡过河的杨刘一行，目睹教授的牺牲，无不唏嘘。音乐声中，大青山的骑兵部队赶来，全体骑兵战士下马，齐刷刷地举起马刀向刘文集敬礼——原来刘文集才是真正的大干部。
1943年，中国的抗日战场形式开始扭转。在中央党校民族班学习的同学相继派出延安，纷纷奔赴前线。唯独杨树宝山无事可做。就连在延安学习成长起来的苏樱也要到前线去，当苏樱向杨宝山表达自己的情感时，杨默不作声。当杨宝山正想申请上前线时，首长命令杨宝山回内蒙家乡珠和潜伏，随时准备迎接祖国解放。并交代了日后单线联系的方式、并再三叮嘱没有直接领导的安排，绝对不能暴露身份。
1947年3月，胡宗南大举攻占延安。回到家乡的杨宝山恢复了孟克敖其尔的蒙古名字。马鸿逵地方保安队发现杨宝山家中一张印有俄文的巧克力糖纸，由此认定杨宝山是一名共产党而逮捕了他。天宝带领一支游击队凑巧打下了保安队的驻点，救下了孟克敖其尔。因担心国民党保安队再次为难孟克敖其尔，天宝要求杨宝山离开珠和与自己一起行动。可杨宝山又犯轴劲，以没有接到直接上级命令为由拒绝了天宝的安排，继续潜伏在当地。
1949年9月，董其武宣布起义，绥远省和平解放。杨宝山年迈的父母均积极参加革命活动，没有接到直接上级通知的杨宝山给外人留下了革命不积极的印象。刚成立的地方政权对他外出七年的经历产生了怀疑，并对他进行严格审查。虽遭受了万般委屈，但杨宝山仍然固守组织纪律没有透露自己的身份。
一九四九年，金秋的北京。已经身居高位的苏樱在老北京饭店找到准备出席中国人民政治协商会议第一次全体会议的天宝，她希望能在天保率领的民族体表团里找到杨宝山的身影。天宝告诉苏樱党组织也在千方百计寻找他，可这个杨大傻子又犯了骆驼犟劲儿了，至今没有消息。在开国大典的礼炮声中，执着的苏樱决定亲自前往杨宝山的老家寻找。
苏樱来到珠和地区，地方干部帮她查阅当年国民党保安队遗留下来的所有案卷，但都没有找到杨宝山的记载。执着的苏樱决定亲自查找，在一份名为孟克敖其尔的案卷中，她发现了一张巧克力糖纸——这使得苏樱眼睛一亮。她惊喜的判断孟克敖其尔就是杨宝山。急不可待的苏樱立刻前往杨宝山的家乡，在那里，苏樱终于戏剧性地见到了杨宝山。
当随同苏樱前来的旗政府工作人员拿出中共中央西北局的来函，证明杨宝山可以公开身份时，杨宝山长舒一气，道：我要求工作！
