由于德国在山东的侵略行径，使得山东人民对外国侵略者极为反感。早在1897年就发生了巨野教案，山东巡抚李秉衡因此被贬职。在此之后，山东的民教矛盾有增无减。1897年，山东冠县飞地梨园屯(今邢台市威县)村民与教堂因历史上的土地纠纷引起冲突。威县梅花拳师赵三多应村民阎书勤等的邀请，前往援助。后赵三多将梅花拳改名为义和拳。1898年6月，山东巡抚张汝梅上奏朝廷，认为义和拳本属乡团，建议“改拳勇为民团”。并明确说义和拳就是“义和团”，在清朝官员中首次提出了“义和团”的概念。同年10月赵三多等人在冠县飞地蒋家庄(今邢台市威县)竖起“扶清灭洋”的旗帜“起义”，遭清军镇压而失败。
次年(1899年)，山东平原县知县蒋楷镇压义和团，当地义和拳首领李长水请求荏平、高唐等地的义和拳首领朱红灯支援，朱红灯在杠子李庄整齐队伍正式竖起了“天下义和拳兴清灭洋”旗帜。10月11日，蒋楷率领勇役数十人前来镇压，被义和拳打败。这次事件后来被称为“平原起义”。
后来清廷加派袁世敦等人前来镇压，在森罗殿战斗中击败义和拳。其后清军游击马金叙活捉义和拳首领朱红灯、心诚和尚等人。当时的山东巡抚是毓贤，他仇视外国侵略者，对民众反基督教情绪比较同情。他罢免了蒋楷、袁世敦等，对义和拳采取剿抚兼施，以抚为主的措施，有说法指出正是毓贤改拳为团，还向朝廷上奏将民教矛盾的责任归结于教会一方。其态度遭到外国敌视，在列强交涉下毓贤被革去职务。但毓贤对义和拳也进行了镇压，在其离职前下令将朱红灯、心诚和尚、于清水等义和团首领杀害。1899年12月，袁世凯代替毓贤署理山东巡抚。
1899年，袁世凯在济南就任山东巡抚后，对义和团始终持敌对态度，在其任山东巡抚后严格限制义和团的活动，并从1900年6月开始血腥镇压复起的义和团。在山东遭遇不利情况后，义和团开始向直隶等地转移。清政府严禁义和团，先后派出多批军队参与镇压。1900年5月12日，涞水县高洛村发生教案，练军分统杨福同前往弹压。5月22日，数千义和团在石亭设伏击毙杨福同，被称为“涞水大捷”。这次戕官事件使清廷大为震惊。随后的1900年5月27日，直隶中部芦保铁路沿线约3万义和团占据了涿州城，知州龚荫培无计可施，便绝食坐以待毙，这是义和团占据和控制的第一个州城。在此之后，清政府又派出聂士成等参与镇压，与义和团多次交战。但此时直隶地区的义和团运动已呈现出“诛不胜诛”的局面。