在群论中，群表示论（group representation theory）是一个非常重要的理论。它包含了（局部）紧致群、李群、李代数及群概形的表示等种种分支，近来无限维表示理论也渐露头角。表示理论在量子物理与数学的各领域中均有重要应用。

表示理论早期是藉矩阵的语言描述的，具体定义如下：

形式地说，一个群${\displaystyle G}$的表示乃一同态 ${\displaystyle \mathrm{\rho <!--\; \rho \; -->}:G\to <!--\; \to \; -->\mathrm{G}\mathrm{L}(V)}$，其中${\displaystyle V}$为给定的有限维向量空间，系数布于一个域${\displaystyle F}$，通常取${\displaystyle F=\mathbb{C}}$，但在一般域（如局部域或有限域）上的表示也有重要应用。${\displaystyle \mathrm{G}\mathrm{L}(V)}$表从${\displaystyle V}$上的自同构，或对一给定的基底来说，是${\displaystyle n=\dim <!--\; \; -->V}$阶可逆方阵的集合。若${\displaystyle \mathrm{K}\mathrm{e}\mathrm{r}(\mathrm{\rho <!--\; \rho \; -->})}$是平凡的，则称此表现是忠实的。

若所考虑的群${\displaystyle G}$带有额外的结构（如拓扑群、李群或群概形），我们通常要求${\displaystyle \mathrm{\rho <!--\; \rho \; -->}}$满足相应的条件（如连续性、可微性或者要求它是概形间的态射）；在有限群及紧致群以外的情况，通常也须考虑无穷维表示。

一个群${\displaystyle G}$的所有有限维表示构成一个张量范畴，记为${\displaystyle {\mathrm{R}\mathrm{e}\mathrm{p}}_G}$；其态射定义如下：

${\displaystyle {\mathrm{H}\mathrm{o}\mathrm{m}}_G((\mathrm{\rho <!--\; \rho \; -->},V),(\mathrm{\sigma <!--\; \sigma \; -->},W)):=\{f\in <!--\; \in \; -->{\mathrm{H}\mathrm{o}\mathrm{m}}_F(V,W):f(\mathrm{\rho <!--\; \rho \; -->}(g)v)=\mathrm{\sigma <!--\; \sigma \; -->}(g)f(v)\}}$

它等价于有限维${\displaystyle F}$-模所构成的范畴。不难验证表示间的同构确由矩阵的相似变换给出。一个表示被称作不可约的，当且仅当它没有在${\displaystyle G}$的作用下不变的非平凡子空间。若一个表示能表成不可约表示的直和，则称之为完全可约的。若取${\displaystyle F=\mathbb{C}}$，则紧致群的表示均为完全可约的，对于一般的李群及群概形则复杂得多，完全可约与否通常与半单性有关。

给定${\displaystyle G}$的一个表示，可以得到一个特征标${\displaystyle \mathrm{\chi <!--\; \chi \; -->}:G\to <!--\; \to \; -->F}$，它是个类函数。特征标理论在有限群分类中占关键地位；在紧致群上，特征标满足舒尔正交关系，又根据彼得-外尔定理，不可约表现的特征标相对于 ${\displaystyle L^{\mathrm{\infty <!--\; \infty \; -->}}}$ 范数在类函数中稠密。请参见特征标理论。

设${\displaystyle H}$为${\displaystyle G}$之子群，。以下将定义两个函子${\displaystyle {\mathrm{R}\mathrm{e}\mathrm{s}}_H^G:{\mathrm{R}\mathrm{e}\mathrm{p}}_G\to <!--\; \to \; -->{\mathrm{R}\mathrm{e}\mathrm{p}}_H}$（限制）与${\displaystyle {\mathrm{I}\mathrm{n}\mathrm{d}}_H^G:{\mathrm{R}\mathrm{e}\mathrm{p}}_H\to <!--\; \to \; -->{\mathrm{R}\mathrm{e}\mathrm{p}}_G}$（诱导）。

诱导表示亦可用矩阵直接计算，或定义为某个主齐性空间的截面；后者可推广至李群与群概形的表示，此时诱导表示的性状与${\displaystyle G/H}$的几何构造密切相关。

弗罗贝尼乌斯互反定理言明：若${\displaystyle V,W}$分别为${\displaystyle G,H}$的表示，则有自然的同构${\displaystyle {\mathrm{H}\mathrm{o}\mathrm{m}}_H(W,{\mathrm{R}\mathrm{e}\mathrm{s}}_H^G(V))={\mathrm{H}\mathrm{o}\mathrm{m}}_G({\mathrm{I}\mathrm{n}\mathrm{d}}_H^G(W),V)}$。换言之：${\displaystyle ({\mathrm{I}\mathrm{n}\mathrm{d}}_H^G,{\mathrm{R}\mathrm{e}\mathrm{s}}_H^G)}$为一对伴随函子。

若以特征标表之，上述同构化为一个较弱但较具体的等式：${\displaystyle ({\mathrm{\chi <!--\; \chi \; -->}}_{{\mathrm{I}\mathrm{n}\mathrm{d}}_H^G(W)},{\mathrm{\chi <!--\; \chi \; -->}}_V)=({\mathrm{\chi <!--\; \chi \; -->}}_W,{\mathrm{\chi <!--\; \chi \; -->}}_{{\mathrm{R}\mathrm{e}\mathrm{s}}_H^G(V)})}$。

迄今已知的物理定律通常在某个李群的作用下保持不变，如空间的旋转群${\displaystyle \mathrm{S}\mathrm{O}(3)}$或其覆盖${\displaystyle \mathrm{S}\mathrm{p}\mathrm{i}\mathrm{n}(3)}$，其不可约表示关系到角动量的量子化。进一步的例子是：任何与狭义相对论相容的量子力学系统都带有${\displaystyle G:=AH}$（半直积）的酉表示，其中${\displaystyle A}$是时空的平移而${\displaystyle H}$是 劳仑兹变换群，借着研究${\displaystyle G}$的不可约酉表示，可分类粒子的质量和自旋。