事态进一步恶化，格列高利准备北上与神圣罗马帝国境内的诸侯会面，途径意大利北部的卡诺莎城堡(城堡主人是托斯卡纳家族的玛蒂尔达女伯爵)。在这种内忧外患的严峻形势下，亨利四世被迫妥协。他再也无法顾及自己高贵的国王身份，于1077年1月，决定冒着严寒前往卡诺莎觐见教皇，恳求他撤回开出教籍的敕令。与他随行的还有他的妻子贝尔塔(萨伏依伯爵奥托和都灵女侯爵阿德莱德的女儿)、幼子康拉德(后来继承了德意志国王(1087~1098)和意大利国王(1093~1098))以及少数僧侣、侍卫。当时统辖德国南部的王公贵族们理所当然地不予放行，亨利一行只好取道阿德莱德女侯爵也就是亨利的岳母处，希望通过她治下的一条经过阿尔卑斯山塞尼峰的山间小路到达卡诺莎。由于亨利此前曾经意图与贝尔塔离婚，一度闹的沸沸扬扬，导致阿德莱德与他的关系很不好。但最终看在女儿的情分上，女侯爵同意帮助这位处境艰难的君主，同时以调停者的身份前往卡诺莎。但向他索要了一笔高额的款项作为回报。
经过漫长而艰难的跋涉之后，他们终于到达了这座修筑在小山顶上的卡诺莎城堡。亨利让车驾停在山脚下，脱下皮帽和靴子，身着苦修士的简陋服装，仅仅披上一件毡毯，这是亨利四世的忏悔形式，在隆冬时节赤足露顶(当时，罗马教皇对逐出教会或违反教规的人，允许他们举行各种不同形式的忏悔仪式，来赎取自己的罪行。其时间有长达几年的。比如，有的赤脚露头，在教堂门前向所有进入教堂的人恳切哀求，请他们代为祈祷;有的用木杖打自己或由忏悔师来打，以 3000 杖抵一年的忏悔;有的赴圣地朝拜，或捐纳巨款等等，一直到教会满意他的忏悔为止。)希望籍此获得赦免。为使亨利得到更多的同情，贝尔塔也加入了忏悔仪式，她同其它随行者一样，免去冠帽除去靴袜，尽管这对贵族女性是无以复加的耻辱，但这位可敬的王后还是决定与丈夫共患难。在冰天雪地中亨利四世和随行者赤足踏雪一步一步地走上山顶。
亨利四世此举已是极尽卑微，但教皇却紧闭城堡大门，迟迟不让亨利进入。亨利夫妻一行人在严冬中赤足露顶，仅靠裹着毡毯取暖，冻得瑟瑟发抖。为了保住皇帝宝座，亨利与妻子忍辱跪在城堡门前求饶，痛哭流涕以求宽恕。国王的狼狈景象格里高利七世都看在眼里，他面临着一个两难的抉择：同意赦免亨利四世，他就会失去一个 加强神权且实现改革的大好机会。但亨利四世的忏悔看似耻辱，其实也不失为权宜妙计。因为教皇根据教规将君主逐出教门，自然是合理合法的;而亨利果断决定通过忏悔乞求赦免，同样是有理有据，按照教规要尽可能地从宽对待。教皇此时也感受到了压力，因为这种卑微的忏悔势必会给亨利四世带来广泛的同情与谅解。亨利四世等待觐见的同时，城堡内的一些教士和城堡主人玛蒂尔达女伯爵开始向教皇求情。阿德莱德女侯爵目睹她的女儿女婿在城外受辱，自然不遗余力地向教皇劝说，并与米兰伯爵阿尔伯特等贵族共同为亨利四世担保。甚至连一些克吕尼派教士也被亨利此举感动了，加入到求情者中。但大门一直没有打开，据《教权纪事：卡诺莎》记载：在等待过程中，因为过于寒冷，亨利四世几次被随从请求结束忏悔仪式，但都被他拒绝。随从们念完祷词，得到许可后纷纷返回山下的宿营地中。在得到母亲参与了劝说的口信后，王后也返回营地，陪伴在她幼子身边。城堡外只剩下亨利四世等两三人。大雪纷飞，地冻天寒，身为帝王之尊的亨利带着自己的妻子赤足披毡，据说一直在雪地站了三天三夜(也有一说，亨利一行人大多数时间其实都待在山下的村庄中等待教皇的赦免)，教皇才同意亨利四世进来见他。
亨利匍匐在教皇面前，展开双臂，使全身呈十字形，向教皇泪流满面地忏悔自己的罪过，然后呈上自己服从教皇权力的保证书和宣布撤销关于废黜教皇法令的命令书。教皇并不满意，他严厉地训斥亨利四世，历数他的种种罪行。亨利四世一一点头认罪。看到曾经趾高气扬的国王可怜到如此地步，在场的贵族和神职人员纷纷请求教皇赦免亨利四世。教皇格列高里七世这位出身低微的手工匠的儿子直到让亨利四世受尽了精神上的侮辱后才恩赐给这位忏悔者一个赦罪的吻，他同意不将亨利四世逐出教会，但是仍不恢复其国王的权力;在教皇和玛蒂尔达女伯爵等人的见证下，亨利四世被要求写下效忠教皇的誓词并宣誓。