Первые примитивные каменные ножи в основном были орудиями для скобления, но и они, несомненно, использовались в качестве оружия. Первые действительно эффективные образцы боевых ножей были сделаны, вероятно, из меди. Позднее появились бронзовые кинжалы и короткие мечи, которые широко использовались воинами. Первые железные кинжалы, по-видимому, были сделаны из метеоритного железа, что продлевало их срок эксплуатации по сравнению с бронзовыми.
Благодаря широкому использованию железа, а затем и стали, широкое распространение получили и кинжалы. К началу средних веков кинжалы стали доступными даже сословию купцов и торговцев, и именно с тех пор нож стал самым распространенным оружием. Профессиональные солдаты и рыцари носили нож как вспомогательное оружие на поле боя, которое давало возможность продолжать сражаться, если основное оружие было утрачено или сломано. Поскольку в средние века кинжалы были очень распространены, существовало множество их видов. Среди самых распространенных были кинжалы рон-дел, басселард и квильон - последний являлся разновидностью короткого меча. К другим специальным кинжалам периода раннего Ренессанса относятся итальянский кинжал с зубьями для захвата клинка меча и стилет бомбардира, в котором объединены оружие обороны и приспособление для измерения количества пороха в виде мерных меток на клинке.
В XV-XVIII вв. кинжал оставался самым популярным личным оружием, хотя к концу XVIII в. расширение применения огнестрельного оружия и появления небольших пистолетов начинает влиять на традиционную роль кинжала. Но ненадежность кремневых и ударных механизмов этого оружия помогла, кинжалу остаться на «последней линии самообороны». По крайней мере, некоторые первые карманные пистолеты, еще имели встроенные складные кинжалы как сопутствующего оружия.
К началу XIX в. промышленная революция позволила создать множество центров производства высококачественных ножей в Шеффилде, Золингене и во многих других местах. В результате качественные боевые ножи в нескольких популярных вариантах стали доступны. Одной из таких конструкций, нашедшей широкое применение, особенно в Британской империи, был нож Shakeespeare, названный по имени офицера индийской армии, сконструировавшего его в качестве бытового и охотничьего ножа, который также служил эффективным боевым ножом с двусторонней заточкой. Возможно, самым известным на Западе ножом XIX в. был массивный нож боуи, любимый американцами на юге и западе страны. Еще одним распространенным видом ножа был морской шотландский кинжал, или морской кортик, сделанный для офицеров и некоторых других категорий моряков для абордажных операций во времена парусного военного флота. Важным новшеством в производстве ножей стал складной боевой нож, особенно складные кинжалы и боуи. Американская армия начала закупать для своих войск специальные боевые ножи в XIX в., когда промышленность смогла обеспечивать стабильное качество серийных ножей. Первым серийным боевым ножом США стал «нож стрелка», выпущенный в 1849 году; его клинок с двусторонней заточкой был эффективен как в бою, так и в быту. Однако к концу столетия боевой нож начал терять популярность из-за надежности огнестрельного оружия, хотя пару десятилетий спустя окопная война первой мировой снова сделает боевой нож ценным оружием пехоты.
До XX в. производство традиционных ножей и кинжалов развивалось также в Африке и Азии. Среди самых известных - кавказский кинжал, кукри из Непала, голок и крис из Малайзии, джамбия из Аравии, катар, из Индии, танто и хамидаши из Японии. Иногда, как, например, в случае с арабским джамбией, эти кинжалы носят вместе с традиционными национальными одеждами. В других случаях такое национальное историческое оружие, например кукри, превратилось в эффективное оружие рукопашного боя, широко используемое и сегодня. Некоторые виды холодного оружия, такие как танто, получили всемирное распространение.
Когда первая мировая свелась к статичной окопной войне, стало очевидно, что в траншее трудно обращаться с винтовкой со штыком. Вместо этого стало нормой ведение рукопашного боя с помощью кастета или ножа. Немцев оснащали специальными ножами, напоминающими короткие штыки для винтовки Mauser. Союзники, которым удавалось захватить такое оружие, использовали его по назначению, а также требовали создания собственных окопных ножей.
Британским войскам окопные ножи не выдавались, но у них было свободно продававшееся высокоэффективное оружие типа ножа БпакееБреаге или традиционного валлийского меча. Еще одним интересным оружием первой мировой войны был так называемый «офицерский нож» компании Cogswell and Harrison, на который похож появившийся позднее нож Fairbairn-Sykes (сокращенно F-S)
Американские войска были снабжены двумя основными типами окопных ножей: М1917 с шипами на клинке и М1918 М1 Trench с двусторонней заточкой. Обе модели были оснащены гардой-кастетом. Во время военных действий, в которых участвовали американские морские пехотинцы между мировыми войнами, эти же самые окопные ножи высоко ценились как оружие ближнего рукопашного боя. Другие войска зачастую также продолжали использовать окопные ножи первой мировой войны.
В результате, когда началась вторая мировая война, большинство боевых ножей либо оставались от первой, либо были осовремененными репликами старых моделей. Немецкая пехота, например, продолжала носить, очень похожий на ножи, использовавшиеся в первой мировой войне. Немецкие и итальянские солдаты и офицеры восстановили старый обычай носить кортики, чьи украшенные клинки при необходимости могли служить боевым оружием. В оккупированных Германией странах бойцы Сопротивления часто применяли боевые ножи местного производства. Во время второй мировой войны среди голландских десантников, сражавшихся за британцев, и участников голландского Сопротивления приобрел популярность окопный нож М1915.
Разнообразие боевых ножей войск союзников было вызвано различными факторами. Появление особых воинских подразделений и частей, таких как коммандос, SAS, рейнджеров, морских десантников и спецназа, сформировало потребность в специализированных клинках для ближнего рукопашного боя с задачей бесшумного устранения противника, а также для того чтобы повысить агрессивность таких войск. В результате появились нож Ра1гЬа1т-5уке5, стилеты морского десанта и \Л42. В конечном итоге нож Ра'1гЬа1т-Букеь стал поставляться или продаваться практически в каждую часть войск союзников. Другие специализированные клинки были разработаны для скрытого ношения. Среди них были ножи для ношения на руке и на внутренней стороне лодыжки, ножи под большой палец и ножи для ношения под лацканом пиджака.