冲锋枪是对1944年出现的德语Sturmgewehr/StG的早期翻译（德语中“Sturm”本意为“风暴”，如同星球大战中的“Sturmtruppe”“风暴兵”；作为动词意为“冲锋”、“突击”；“Gewehr”直译“武器”、“枪”），经英语转译后亦被译为“突击步枪”。对应枪型英语（submachine gun缩写SMG，直译“亚机关枪”）实际早期被译作“手提机枪”或“手提轻机枪”，现在中文语境中被统称为“冲锋枪”。与机枪的差别在不使用全长步枪弹。而卡宾枪原指枪管缩短结构减轻的杠杆式、栓动或半自动步枪，早期使用全长步枪弹的毛瑟Karabiner 98 kurz亦被称作“卡宾 98 短”步枪；现各类枪械尤其是可速射的轻短类型，有因规避法律限制等原因，均有降级自定义为“卡宾枪”，造成与“冲锋枪”界限模糊。
世界上第一款使用手枪弹的连发速射武器设计是第一次世界大战时协约国意大利于1915年推出的维勒·帕洛沙（Villar-Perosa，简称VP或FIAT Mod.1915）航空机枪，采用双枪管设计，发射9毫米格利森蒂手枪弹，装有两脚架但没有肩托，射速超过每分钟1500发，但因为是固定在飞机上而非单兵携带所以不被一些人看成是真正意义上的冲锋枪。一战末期，VP机枪的设计被贝瑞塔公司改成单管直接装上了木质枪托，变成了OVP冲锋枪，之后又进一步改造成了配有25发弹容量弹匣、射速每分钟900发的贝瑞塔M1918冲锋枪。
同期美军陆军准将约翰·T·汤普森（John Taliaferro Thompson）在1918年设计了汤普森冲锋枪（Thompson submachine gun），首次采取submachine gun的称谓，在当时被译为手提机枪或手提轻机枪，使用柯尔特.45 ACP手枪弹，于1921年开始量产。
在另一方，德国人也推出了发射9×19毫米鲁格弹的MP18伯格曼冲锋枪，因使用手枪弹，德国人将其归类为Maschinenpistole/MP（机关手枪），但与其更早的手枪如鲁格P 08和毛瑟C 96的全自动版本（亦被称为MP，本质为手枪，造价高昂且连发对枪支的损耗很大）显著属不同类型。后因东线战场上鲁格手枪弹显得威力不足，遂以7.92×57毫米毛瑟步枪弹为基础，专门开发了7.92×33毫米中长步枪弹，用于全新的Maschinenpistole 43/MP 43，此枪后被希特勒出于鼓舞士气目的重新定名为Sturmgewehr 44/StG 44（虽然他最初反对为全新开发和列装这种新类型轻武器耗费战争资源），成为冲锋枪一词的来源；此称谓亦被英美所接受，成为assault rifle，以区别于使用手枪弹的“submachine gun”。
中文语境原本不区分使用手枪弹或中长、小口径步枪弹的枪型，如使用7.62X25毫米“托卡列夫手枪弹”的PPSh-41“波波莎”和使用7.62X39毫米中长弹的“五六式”均称作“冲锋枪”；近来有仿效德、英语，以“冲锋枪”对应于Maschinenpistole/submachine gun特指使用手枪弹品种，以“突击步枪”对应于Sturmgewehr/assault rifle特指使用中长弹或小口径步枪弹品种，虽然中文中这两个词均为“Sturmgewehr”的不同翻译。
按机能上冲锋枪其实是突击步枪的短管卡宾枪型，又和可以连发的大型冲锋手枪有所重叠，其实怎样才算是冲锋枪往往视乎生产者或使用者的。
因为冲锋枪是在一战临时出现的全新枪械种类，而发明的原始用意其实就是相当于现代所说的突击步枪，而当时并未发明新式的中间型威力枪弹，所以就以可以连发手枪子弹枪械为目标。而原始开发国德国和意大利对其定性不同，即德国把其称为maschinenpistole（机关手枪），但意大利把其称为手提机枪或连发卡宾枪，在中文的“冲锋枪”和上两者概念不同，其实反而是原始的用意即突击步枪，所以现时实际上并无严格的定义。
以发射手枪弹的枪型来说，可因为有枪托和长枪管更可以双手握持，实际有效射程和精度远远超过使用同弹药的手枪甚多的，一般约可达五十米左右。
而且较大和坚固的机匣和枪机构造，可以使用较同外观和尺寸的标准手枪弹的高膛压的强装弹（类似马格南手枪弹的威力，但用标准弹壳中把火药装得较满），适合作近距离狙击任务，实际有效射程达一百米级，而使用专用的新型子弹的个人防卫武器更可达二百米级，两者近距离中都可以贯穿大部分的防弹衣。
而反过来使用减装弹（在标准弹壳中减少火药分量）时或本来便用亚音速子弹的型号，因为有较长的枪管，可以在上面开小孔来安装专用的抑制器。故冲锋枪常被特警队作反恐或治安任务用途。
而发射中间型威力枪弹(包括了小口径步枪弹)的枪型，理论射程和标准突击步枪相仿，但实际上因为枪过短和轻，很难击中在三百米外的目标。但因为假想敌也是使用自动步枪的前题下，军方常欢迎这类枪型。
冲锋枪并未有统一的定义。
现时一般的书籍上指的是从两次世界大战中的战胜国的角度出发，都是使用手枪子弹，但可用较标准弹更高威力的弹型，即包括高威力的强装弹并配穿甲弹弹头或个人防卫武器的专用弹，拥有像步枪构造的枪托和护木或前握把还有接近步枪的枪管长度，可以连发的枪械，更有很多实际由突击步枪改造成的，如柯尔特9毫米冲锋枪和PP-19-01勇士冲锋枪。这也意味通常的冲锋枪是属于卡宾枪（短步枪），概念也接近后来的个人防卫武器。所以一旦冲锋枪被改造或调校单发射击，便是一支低火力的短小半自动步枪。
但从德国和日本的角度指的是机关手枪（德语: Maschinenpistole）或和制汉字的短机关枪（日语: 短机関铳）即可以连发的短枪。以这种观念出发的所谓超小型冲锋枪的，常没有枪托和超短枪管，又没有护木或前握把，而且其衍生的半自动型号都被定位为手枪，也通常只可以用标准手枪弹或减装弹乃至低火力的手枪弹。
但以原始冲锋枪开发的定义指的是后来的突击步枪，只不过当时还没有专用的子弹下才不得不用手枪弹，至今仍然常有人认为短管的突击步枪就是冲锋枪。如在中国传统的分类:
世界各国对冲锋枪的定义并无普遍接受的共识。按照中国大陆1978年出版《辞海·军事分册》之定义，冲锋枪是“由单兵操作，不配备脚架，通常装有快慢机，发射手枪子弹或中号步枪弹的单兵连发火器”，可见当时中国大陆并没有接受北约的“突击步枪”概念，苏联AK-47突击步枪的中方授权制造版本56式自动步枪的正式中文名称即为“五六式冲锋枪”，在越战/自卫反击战相关新闻报导中提及美制M-16突击步枪通常也以“冲锋枪“称谓。按此标准，冲锋枪和自动步枪的主要区别在于弹药类型和脚架；只有使用全长步枪子弹并不标配脚架的枪型，比如美制勃朗宁自动步枪（Browning Automatic Rifle，简称BAR），才会被冠以“全自动步枪”的称呼。90年代之后出于同国际接轨的考虑，中国大陆也开始采用“自动步枪”来描述使用中间型弹药的枪型，比如95式自动步枪，然而旧的分类方法已然约定俗成，以至至今在解放军部队中仍有采用“95式冲锋枪”的叫法。
但因为现代治安和反恐作战，已经为冲锋枪找到了新的定位和用途，所以较少人接受使用中间型威力枪弹的定义。
冲锋枪的设计需求最早来自于第一次世界大战当中的堑壕战上。当时无论是同盟国阵营和协约国阵营的士兵，都在寻求一种能在狭窄的壕沟战斗环境中进行高射速射击的全自动武器，它们希望这种武器能够拥有如同机枪一般的连射火力，但在同时体积也必须缩小到可由单兵携带并射击。
除了Villar-Perosa外，还出现了两种真正的冲锋枪，便是以Villar-Perosa改用单枪管、加装枪托及护木改良版本OVP冲锋枪，和德国的MP18冲锋枪。实际上设计和外观都是作为可像机枪般连发，使用适合近战的手枪子弹的卡宾枪。
这类需求在一战末期最后几场大规模战役开始显露其价值，德军在实行突击群战术的步兵上配备了大量冲锋枪，并且成功的对协约国军造成了威胁，但是因为同期出现的美国战斗霰弹枪在火力上压倒了冲锋枪，而在冲锋枪在战略上的优势仍未完全显露时，一战便已经结束了。因此冲锋枪并未在一战的战场上对当时步兵的作战方式产生全面性影响。
在二战当中，冲锋枪已经成为欧美国家的军队的主要装备，著名的如美军的汤普森冲锋枪、M3冲锋枪、德军的MP40等；就连在战前将冲锋枪视为“土匪兵器”而不屑去生产的英国陆军，也在开战以后大量的生产、配发被戏称做“水喉管”的斯登冲锋枪（Sten）系列装备部队，而苏联也以PPSh-41冲锋枪为主力，甚至比步枪更广泛装备部队，有些部队更以本型为唯一枪械。这时期的冲锋枪常作为游击队和特种部队的武器，为了降低生产成本，通常采用冲压的方式制造，二战前后开发的冲锋枪多被视为第二代的产物。
二战末期由纳粹德国率先开发出来的突击步枪成了轻兵器史上的革命性发明，虽然突击步枪动摇了传统的步枪以及冲锋枪在军队中的地位，但是冲锋枪在警用市场数量上仍然相当广泛。如以色列军事工业所生产著名的乌兹冲锋枪系列便是一例，乌兹冲锋枪沿用了前捷克斯洛伐克的CZ 25冲锋枪首创的包络式枪机设计，这两种枪械都把弹匣的供弹位置设于握把内，大大缩短了全长而保持了枪管的长度。
然而，当时冲锋枪给人们的印象还是一种结构简单、精度不高的射击枪械，尤其是二次大战时的制品工艺粗劣故障频生，在射击精度上较更早的冲锋枪倒退。这种状况一直到了1960年代后期才由德国枪厂黑克勒-科赫（H&K）所开发出来著名的MP5系列才有所改变。
MP5系列的发明把冲锋枪的技术水准一举向上提升，采用了H&K生产的HK G3自动步枪系列改进而成的发射系统，MP5在射击的准确度以及整体的性能上比早期的冲锋枪有很大进步。因此MP5系列在1980年的伦敦伊朗大使馆挟持人质事件（王侯门事件或太子门事件）当中大出风头，执行攻坚任务的英国陆军特种空勤团手持MP5进行攻坚时的镜头经由大众媒体正式曝光后，获得了警方以及军方的特种作战部门的赏识，至今仍然可在各个军警部队的镜头当中发现MP5系列的身影。
近代冲锋枪亦有引申出其他作战用途，如FN P90及HK MP7等的个人防卫武器。