1941年6月23日，德国入侵苏联的第二天，雅科夫就上了前线。临行前来不及见父亲一面，只通了个电话，斯大林说：“去吧，好好打仗。雅科夫在奔赴前线途中，从维亚济马火车站给妻子寄了一张明信片，其中说道：亲爱的尤丽娅。照顾好加尔卡和你自己。告诉她爸爸雅沙很好。等一有机会，我再写一封长点的信。别担心我，我一切都好。你的雅沙。多年后，女儿加林娜听邻居说，父亲走后，母亲哭了很长时间，就像乡下女人哭死去的丈夫一样边哭边诉——该不是感觉到她的雅沙再也回不来了?雅科夫一直没有寄来“长信”。1941年7月11日，德军攻入维捷布斯克市。苏方三个集团军落入包围圈。其中就有雅科夫上尉担任榴弹炮连连长的第44坦克师第14榴弹炮团。战争初期，被围困部队的惊慌和混乱可想而知。当时苏联对于德国的突然袭击毫无准备，损失惨重，仅仅三个星期，苏军阵亡人数即高达百万，7万余人被俘。
部队首长并未忘记雅科夫。他们知道一旦斯大林儿子牺牲或者被俘会是什么结果。因此师长瓦西里耶夫上校给特别处处长下了死命令：撤退时务必把雅科夫拉上汽车。据炮团团长报告，命令已经执行，然而当7月16日夜间该师余部冲出重围时，却不见雅科夫的身影，且不知为何并未加紧搜寻。直至在大本营的朱可夫下令立即弄清雅科夫上尉的下落并报告方面军司令部后，才自7月20日开始搜寻。由政委戈罗霍夫率领的摩托化部队士兵，在卡斯普利亚湖边遇到了红军战士拉普里泽，据拉普里泽说，他是和雅科夫一起突围出来的。7月15日他们换上老百姓的衣服，将随身的证件埋到土里，在弄清附近没有德国鬼子后，雅科夫决定稍事休息，拉普里泽则一直往前走，碰巧遇到那批摩托化部队的士兵。政委戈罗霍夫似乎不明白自己在找谁，带着人就往回走了，他认定雅科夫已经归队。
雅科夫的好友伊万·萨佩金上校的一封信将事情经过讲得比较清楚。这封信于1941年8月2日发出，寄给雅科夫的弟弟瓦西里。信中说：炮团落入包围圈。师长丢下他们不管，登上坦克离开战场。坦克从雅科夫·约瑟福维奇旁边驶过，甚至都没有关心一下雅科夫的命运，自己坐在坦克里同炮兵师长一起突出重围。雅科夫同数十万同胞一样，从此杳无音信。除了拉普里泽外，再也找不到一个可以说明雅科夫神秘失踪的人了。1943年8月13日，德国飞机从空中撒下传单，上有一张一个胡子拉碴的男人的照片，身着红军的大衣，周围是德国士兵，图下的文字是：“这是雅科夫·朱加施维里，斯大林的长子，第44坦克师第14榴弹炮团榴弹炮连连长，7月16日在维捷布斯克附近同数千其他官兵一起投降当了俘虏。你们也学习斯大林儿子的榜样，投降吧!”
雅科夫被俘的消息，很快就传到了斯大林处，这无疑是对斯大林的一大打击。祸不单行，战场上处处失利，如今又加上个人的不幸。德方的宣传攻势有增无减，8月份又出现了一张传单，上面写着：亲爱的父亲，我被俘了，身体还好。不久就要到德国一个军官战俘营去。待我不错。祝您健康。问大家好。雅沙。苏联军事侦察机关试图摸清雅科夫的下落，派出了几个营救组，均无功而返。许多地下工作者和侦察员在向莫斯科通报雅科夫的情况时暴露了身份。德寇兴高采烈。斯大林一怒之下，命令逮捕雅科夫之妻尤丽娅·梅尔策，罪名是给德国人当间谍。尤丽娅在古比雪夫蹲了一年半的监狱，直至雅科夫去世的消息传来方才获释。