Наверное, тему надо сформулировать несколько иначе - не "почему", а "как так вышло?". Дело в том, что единовременной отмены гладиусов неким высочайшим указом очередного императора-сумасброда как-то не отмечено. Переход с коротких клинков на длинные осуществлялся постепенно. Спата, тот самый длинный меч, отвоевывала позиции ползучим наступлением.
Причин этому много, и почти они все, как на подбор, не военные, а социальные либо экономические. Я попробую указать на основные, но вообще должен отметить: тема смены гладиуса на спату настолько сложна, что требует если не книги, то по меньшей мере монографии.
Основная причина:
Основная причина массового перехода на длинные мечи (пропорции спаты - примерно такие же, как у каролинга) - это "варваризация" армии. Заключается она, если упрощенно, в том, что римские граждане перестают идти в армию. Армия более не считается престижным заведением, к воинской повинности начинают относиться как к тяжкому бремени...
Со времен воцарения Тита Флавия Веспасиана (того самого, что изобрел публичные платные туалеты и крылатую фразу "Деньги не пахнут), граждане Рима практически перестают служить в войсках родной страны. В легионы набирают галлов, германцев, даков - представителей всех окрестных племен и народов, но только не италиков. Это связано не только с падением престижа армейской службы, но и с гражданской войной, бушевавшей в Риме в начале правления Веспасиана. Возможно, император перестал доверять собственным согражданам, возможно, просто-напросто кончились людские ресурсы, возможно, римляне военщиной просто были сыты уже по горло... Факт есть факт: при Веспасиане и его наследниках армия Рима состоит уже из кого угодно, но только не из натуральных римлян. Натуральные римляне остаются только в преторианской гвардии.
И при этом армия... Растет. В строй вводятся новые легионы.
Вторая причина - возрастание роли конницы
Она неразрывно связана с общеармейской "варваризацией". Изначально Рим был силен пехотой, но отнюдь не кавалерией. Конниками в его армии обычно были союзные кельтские племена, чаще всего галлы (впрочем, и галлы-то - тоже собирательный образ).
Поэтому очень интересно то, что в Риме сословие всадников пользовалось правами аристократии, воевать верхом уже во времена Христа было почетно даже для урожденного римлянина. Всадники Рима - предтечи будущих рыцарей и служилого дворянства.
Именно галлы изобрели и спату, и, кстати сказать, кольчугу (появление кольчуги датируется примерно 300 годом до нашей эры). Именно это сочетание - длинного рубящего меча и кольчужной рубашки - и стало основным вооружением римского кавалериста тех лет. Помимо кольчуги в кавалерии также использовалась чешуя - лорика сквамата, но никогда не лорика сегментата.
К концу II века нашей эры технологические и экономические мощности Рима возрастают настолько, что он оказывается в состоянии содержать большие отряды хорошо бронированной кавалерии. В III веке появляются катафракты - тяжелые кавалеристы, одетые в чешуйчатую броню (и люди, и кони) и вооруженные рубящими мечами. Классическая тактика легиона уходит в историю - римляне переходят от оборонительного стиля к наступательному. Правда, с какого-то момента им перестает везти в наступлении, вот что ты будешь делать-то, а?..
В войсках становится много катафрактов, а число пехоты снижается. При этом "первые рыцари" в подавляющем большинстве - из народов неримского происхождения.
Третья причина - чужое влияние
И в описываемое время, и в позднейшее распространенной практикой был наем на службу войск целыми родоплеменными отрядами. На службу поступали на отдельные люди, а слаженные дружины из одного племени, уже обладающие какой-то своей тактикой и стилем боя. Пока костяк армии сохранял национальную аутентичность, новые бойцы вынужденно перенимали римскую тактику и принципы боя. Но чем больше в армии оказывалось инородцев и меньше римлян, тем сложнее было сохранять римскую тактику.
И в какой-то момент Рим "отпустил вожжи", фактически позволил наемным дружинам сражаться так, как им удобно. К этому моменту - а это примерно середина III века нашей эры - даже в пехоте чистокровных италиков уже практически не было, одни "варвары". Которые радостно перешли на привычные им длинные мечи и отказались от плотных построений в пользу более свободного строя (хотя сам строй еще сохранялся). Тогда же происходит отказ от большого прямоугольного скутума в пользу более легкого овального пехотного щита.