1901年年中，经日军大本营筹划，决定在当年冬天进行一次耐寒训练，这一任务被交给了驻弘前市的第八师团。在日军构想中，如果对俄作战失败，俄军有可能在本州岛东北地区登陆日本本土，这样第八师团的防区首当其冲，极有可能面临在冬季的八甲田山地区作战这一问题。因此由第八师团来执行这样的训练任务便是当仁不让。
第八师团在接到这一任务后，选定由师团下属步兵第五联队的中队长神成文吉等人负责该任务。不过第五联队在出发前5天才开始准备工作。神成文吉的顶头上司、第二大队大队长山口少佐为证明日军可在严寒条件下整建制全装备开拔和作战，命令神成文吉从第五联队下辖的三个大队中一共挑选了约200名士兵，并携带大量生活物资和作战装备，分由14台雪橇装载，每台雪橇自重80公斤，至少要4名士兵才能拉动，对士兵的体力要求极高。出发前，山口少佐借口让其他军官观摩，坚持带上一批没有任何寒区经验的中高级军官随行。
出发不久，八甲田山便迎来猛烈的暴风雪。随着道路上的积雪逐渐加深，运送物资的雪橇队渐渐落到后面。傍晚5时左右，神成分队被迫放弃沉重的雪橇，所有的物资由全体士兵分担，这进一步拖慢了行军速度。当天晚上9时他们才到达预定宿营地，而士兵们直到次日凌晨1时，才吃到一顿半熟的饭。
当夜，分队的主要军官召开会议，有人提出放弃行军，但山口少佐凭借自己的军衔，强行否定该意见，并强令部队趁天不亮就开拔，以补回耽误的时间。由于在夜间强行行军，次日黎明时日军完全迷失方向，整整一天只前进了不到数百米。为翻过一道悬崖，多名士兵被暴风雪吹落崖下身亡，还有士兵被冻伤冻死，士气不可避免地跌落到谷底。第二天宿营时，由于风雪造成的混乱，一些士兵与大队人马失散，其中包括携带宿营设备的工兵，以至于在宿营地里的人不得不露营在雪地里。这一晚暴风雪更为猛烈，气温下降到零下50度，而士兵们则再也没有得到食物。
第三天凌晨3时，神成分队再次在黑暗中开拔，由于迷路，分队只能凭直觉摸索前进，希望能够抵达附近的村落。但行进不久，他们碰到悬崖，只得原路返回。此时部队建制已混乱不堪，死亡和失踪人员超过2/3。神成文吉和山口在绝望中命令两名低级军官仓石一和后藤房之助分头逃生求援。
在青森的营地里，预定在此接应神成分队的驻军发现分队未按时抵达后，也派出搜救队伍。他们最终于1月27日发现奄奄一息的后藤房之助，并在前者的指引下陆续发现了山口和几名幸存者以及大部分遇难者遗体。几天后，搜救队伍又发现了仓石一带领的几名幸存者。至此，日军历史上最惨烈的“八甲田山惨案”终于落下帷幕，出发时210人的神成分队，有193人冻死或失踪，6人在获救后死于医院，包括最高指挥官山口少佐。最终幸存者仅有11人，其中大部分人被截肢。而对死难者遗体的搜寻工作则一直持续到当年的5月底。
事后日军对此事的总结中，认为对雪中行军困难估计不足，准备工作不够，以及指挥系统混乱是导致事故发生的主要原因。根据这些经验，在其后的训练中增加了有针对性的内容。3年后的日俄战争中，日军在寒冷的中国东北地区击败以耐寒著称的俄军，这些用高昂代价换来的经验起到了重要作用。(然而“八甲田山惨案”中寥寥无几的幸存者，在日俄战争中尽数化为炮灰)日军对冻伤的研究也自此而始，甚至日后的731部队中开设活体冻伤实验，也与此有关。对此事的纪念活动则一直从当时延续下来，甚至在日本战败后，对于此事的纪念活动仍未停止。最典型的是驻青森的日本陆上自卫队第九师团第五普通科联队自1965年起，每年冬天都要在八甲田山区进行冬季雪中作战训练，而这支第五普通科联队所继承的正是原第八师团第五联队的番号。