这主要是由诗歌本身发展规律和社会时代因素所决定的。
诗歌自身发展规律
现在我们谈到诗歌起源，一般看《诗经》。但是作为抒情言志的韵文，《诗经》可以说是诗这种体裁前期的一个成熟体。虽然采自民间，但是《诗经》的整理、编审都是经过国家级文职人员进行的。这一点从诗经的整饬程度，我们也可以看得出来。
不过正由于《诗经》的严肃性，发源于南方的《楚辞》格式慢慢流行起来，也就是杂言体慢慢发展，逐渐和以《诗经》为代表的中原四言体开始鼎立。
随着汉朝兵临天下、民族融合的文治武功，音乐也开始复杂起来。四言诗虽稳重大气，但是撑不起胡乐的配合演唱，所以开始出现更长的诗歌创作。等到汉魏之时，五言诗因为加了单音节，变得更灵活而占据了诗词主流，辅以七言诗。
但是这个发展是非常缓慢的。从《诗经》时期入魏晋，将近千年的时间，中国古诗主流结构仅仅添加了一个字。
因为诗歌话语权掌握在统治者手中，而上层文人所喜爱的、使用的都是洪钟大吕，国之重器。本身音节就不多，用于配诗演唱的音乐更注重庄重，大气，所以作为歌词的诗本身发展缓慢。
诗是歌词。到汉朝文化开始普及，文学下沉，音乐已经完全跟不上的时候，才逐渐出现脱离音乐的“徒歌”——但还是歌。
直到曹植的出现。他是中国诗歌发展的第一个爆破点。这并非偶然，是命运选中了这个才高八斗的人。正因为徒歌的大量出现，人们慢慢地在朗诵诗歌的时候发现了某些特殊的独立于音乐之外的感觉。而曹植因为争位失败，全心投入东汉时期流入中原的佛教文献翻译的美化工作。因为当时佛教文献在印度口口相传，都是唱经，而进入中国后由于语言不同，唱经难以实现。曹植利用自己的文采对佛经进行翻译，并配合音乐进行调整。
做过翻译的就知道，翻歌词容易，但是要把翻译过来的文字合上原来的调调，那是相当费脑筋的过程。
曹植在这个过程中发现了汉字音韵规律，创作了“梵呗”，开启了中国汉字音韵学研究。通过魏晋南北朝年间佛教大流行，无数音韵学家(周顒、沈约等)的努力，终于在古诗创作中配合音韵学使用了四声标注法，开始探讨音律结构对诗句创作的影响，并逐渐归纳出“四声八病”，指导后来者的创作。
诗歌从音乐格式彻底成为文本格式，完全脱离音乐变调，使用文字自身标准发音对音律进行调节。一千年时间的准备，才让诗文从音乐中完全独立，并发展出自身的规律。
而四声标注法正是盛唐平仄格律的基础。
不要相信那些人说什么“格律让诗歌死亡”，在中国诗词史上，正是格律让诗开始辉煌，创作了大唐一代百花齐放、千姿百态的盛世飞歌。
格律的产生，让唐朝诗歌普及、让文人轻松入门，天下诗人如过江之鲫，不可胜数。正是在这种大基数猛涨的情况下，才会有“诗仙”、“诗圣”、“诗佛”等等万人敬仰的大师出现。用现在的话来说，这是个大数据问题，没有基数，何来顶峰?
格律的出现和格律的被抛弃是中国诗词史上最大的两个事件。前者造就近体诗，后者发展出现代诗。格律诗孕育出盛唐诗歌，现代诗，大家现在可以看到，就是现在这个样子。但这都是文学走向，无可厚非。
时代和社会因素
其实还可以细分为许多原因，比如文风扭转、政治开明、思想驳杂等等，但是统统都是社会因素。
文风扭转
南北朝后期的宫体诗，格式上已经非常精致，但是由于处于末世，诗歌都流于形式，空洞无物，这也是诗词史上最受非议的“齐梁体”时期。这其中有汉末经学被摧毁的原因，也有战乱的原因，整个社会处于夜夜笙歌的氛围之中，文艺作品除了隐逸派，就只剩下了享乐派，总的来说都属于颓废派。
隋朝一统江山，即使是隋炀帝，也飞快地学会了南朝花团锦簇的文字，如他的《春江花月夜》：
暮江平不动，春花满正开。流波将月去，潮水带星来。夜露含花气，春潭漾月晖。汉水逢游女，湘川值二妃。
这和齐梁体比起来也并不逊色。反正写得挺漂亮，就是“寄兴都绝”，不说正事。
所幸隋朝出了个大儒王通，算起来是王勃的叔爷爷(大概记得，没有查证)，也就是说从东汉末年儒家分崩离析之后，总算有人站出来开始重拾经学道路的旧山河，开始劝人积极向上、走人间正道。
进入初唐，百废待兴，关于文学纠偏更是百家争鸣，陈子昂、初唐四杰都是反对齐梁体的急先锋。而正是这样一帮人，将诗歌从宴乐、美女这样的小情调题材中重新拖回了言国事的层次，并且由于大量普通文人的介入，将唐诗的吟诵内容拓宽到了天下万物。宋词是苏轼做到了这一点，而唐诗，是那个昂扬向上的朝代的每一个诗人共同的努力。
政治开明
魏晋南北朝的官场遴选是“举荐”法，固化了统治阶层，人生下来该干什么干什么，没有社会阶层流动性。老百姓没有向上动力，读了书也没用，所以即使是天才，也终将被埋骨于门第之间。
唐朝开创了科举制，遴选天下才子。虽然早期任然需要推荐，身份要求很高，但是总算让天下读书人看到了进入统治阶层的可能。正是这一制度，让原来不读书的大多数开始重视文化教育——只要身家清白，就有可能通过努力鱼跃龙门。而这正是为盛唐巨大基数的诗人群体做好了储备力量。
到武则天时期，由于女皇基本上废尽了李家老臣，本身也需要培植自己的力量，科举制度大幅改革，真正开始了以诗文取天下士的时代。而平仄的概念也是在武则天授意下，宰相许敬宗编修的韵书中提出，尽量简化、规范诗的创作，为朝廷输送大量读书人作为官场人才培养。
写好诗就能改变自己的命运，天下读书人还不趋之若鹜?这个产业有可能不发达?
假如今天高考要考格律诗，大家想象一下，会是个什么状态。
当然，以诗文取士只是门槛，并不是科考成功就能飞黄腾达，还需要考核你的综合能力，才会给你安排合适的位置。但是科考毕竟是个门槛，不会写诗，在唐朝就像我们今天的人不会说普通话一样。
李白、杜甫就在门槛之外，但他们为了功名和理想，也必须认真学习，成为诗仙、诗圣只是附带赠品。李白是商人身份，不够格，杜甫够格，却碰上那年号称“野无遗贤”，去考试的一个都没要，这就是运气。
李商隐就过了门槛，却卡在吏部，因为政治倾向不明，整个处于失业状态，只好自己找事做。但是他是晚唐诗作的最高峰。
所以在唐朝，诗写得好不一定能混得好，但是不会写诗的人，可以说连混的资格都没有，只有军籍、乐籍、商人等等其它低级别的身份可以讨生活。
你说要不要努力学写诗?
思想驳杂
这个就不用多讲了，万国来朝，加上政治开明，朝廷自信，对外来思想流派一视同仁，自由发展，也让盛唐的诗歌表现出千姿百态。
唐朝诗歌本身发展，也经历了从初唐的文风归正，盛唐的高山仰止，中唐的百花齐放，晚唐的绮丽颓靡。这其中虽然社会影响很大，但是禅道诗、山水诗都不同程度地混杂了各个流派的思想，交相辉映，大为可观。
为什么其它年代的诗追赶不及
唐诗发展到顶峰的时候，词牌的前身——曲子词慢慢现身。随着宴乐的形成，诗的地位越来越崇高，但是格式上开始跟不上西域活泼跳脱的音乐风格，词牌很好地顶替了诗在音乐方面的位置，并且符合了老百姓们喜欢的俗艳特色，不讲大道理，就要小情调。
诗词分野逐渐形成。格律诗容易入手，但不再适合演唱，便慢慢地脱离了下里巴人的实际生活用途，成为高层文人交流、劝谏、言志的工具。
这是时代的发展，也是诗走入孤洁清高的必然道路。这是第一次诗词分野，直到苏轼、辛弃疾才形成一次诗词合流。
但是我们要看到，所谓诗词合流，只是把词的主题拓宽，把词的格调提高，并不是放下诗的身份。同样的道理，到了南宋年末，词的身份上来了，也就不复在宋朝时期的巅峰状态了。
取而代之的是元曲。
老百姓需要的、烟火气的文艺创作一直都在，只是诗、词、散曲都通过高层文人的参与，发展到了文学的一定高度，并逐渐在民间死亡。
这是自然规律。
老百姓最后就看小说，如今就是看电影。
社会的选择就是这样，唐朝之后的年代没有比得上盛唐的诗，宋朝之后的年代没有比得上大宋的词，元朝之后的年代没有比得上元朝的曲，这是文化发展的必然规律。
所谓之“起、兴、盛、灭”是也。
因为我们现在的现代诗也比不上民国时期了。
不过也不用伤心，唐宋元明清就没有电影是不是，也没有抖音是不是。