3. Умножение матриц.
Введем теперь действие умножения матрицы на матрицу. Предварительно рассмотрим частный случай: Произведением строки А на столбец В той же длины,

называется число
(или элемент кольца, которому принадлежат элементы рассматриваемых матриц).
Для прямоугольных матриц
и В произведение определено, если длины строк первого сомножителя А равны длинам столбцов второго сомножителя В, т. е. если число столбцов А равно числу строк В. Именно, произведение АВ матриц А и В составляется из произведений строк А на столбцы В, при их естественном расположении в матрицу. Точнее: произведением АВ матрицы А на матрицу В, где

называется матрица С, элемент
строки и
столбца которой равен произведению
строки А на
столбец В, т. е. равен сумме произведений элементов
строки матрицы А на элементы
столбца матрицы В. Таким образом,

Рассмотрим примеры:

Последние два примера поучительны тем, что в них рассматриваются произведения одинаковых сомножителей, но в разных порядках. Результаты получились различными. Следовательно, свойство коммутативности при умножении даже квадратных матриц не имеет места.
Условие, когда произведение матриц определено, а также размеры произведения двух матриц удобно изобразить при помощи схематического рисунка:

Ясно, что если определены произведения АВ и ВА, то число строк А равно числу столбцов В и число строк В — числу столбцов А. Оба произведения АВ и ВА будут квадратными матрицами, но разных размеров, если А и В не квадратные.
Если А и В квадратные, то АВ не обязано равняться В А, как мы только что видели на примере. Матрицы А и В, для которых
называются коммутирующими. Например, матрицы
и
коммутируют, ибо 
Это определение умножения матриц на первый взгляд не кажется естественным. Оно становится совершенно естественным, если связать матрицы с линейными подстановками переменных.
Пусть А и В — матрицы указанного выше вида. Рассмотрим линейные подстановки переменных с этими матрицами, заметив, что число старых переменных в первой подстановке равно числу новых во второй, что дает основание обозначить их одинаковыми буквами:

и

Покажем, что если эти две подстановки сделать одну за другой, т. е. выразить переменные
через
, то матрица коэффициентов окажется равной АВ.
Действительно, пусть

Тогда коэффициент
есть коэффициент при
Выпишем все необходимое для вычисления этого коэффициента:

При подстановке
мы получим

Таким образом,

так что матрица коэффициентов в выражениях
через
действительно равна АВ. Итак, последовательному проведению («суперпозиции») двух линейных подстановок соответствует произведение их матриц.
Заметим, что линейную подстановку

можно записать в матричных обозначениях
, где

Соответственно, подстановка

записывается в виде
где
матрица коэффициентов, Т — столбец из 
Поэтому суперпозицию этих подстановок можно записать в виде
. Вместе с тем матрица суперпозиции равна АВ, и этот факт записывается так:
. Таким образом, верно следующее соотношение ассоциативности:

где Т — столбец.
Рассмотрим теперь свойства действия умножения матриц;
1. 
2. 
3. 
Эти свойства непосредственно следуют из того, что элементы произведения выражаются как через элементы А, так и через элементы В в виде линейных однородных полиномов.
4.
(ассоциативность умножения).
Это свойство трактуется таким образом, что если одна из частей равенства имеет смысл, то имеет смысл и другая, и они равны.
Пусть
имеет смысл и пусть
есть число строк матрицы A, k — число ее столбцов. Тогда В имеет k строк, ибо АВ имеет смысл. Пусть матрица В имеет I столбцов. Тогда и АВ имеет I столбцов, так что для осмысленности
нужно, чтобы С имела I строк. Итак, для осмысленности
необходимо и достаточно, чтобы число столбцов матрицы А равнялось числу строк матрицы В, а число столбцов матрицы В равнялось числу строк матрицы С. Аналогично прослеживается, что те же условия необходимы и достаточны для осмысленности
Остается доказать равенство
Введем в рассмотрение матрицы
и
обозначая их элементы соответствующими малыми буквами.
Имеем,
далее,

Мы видим, что
ибо эти элементы представлены в виде сумм одинаковых слагаемых, только расположенных в различный порядках.
Равенство
можно доказать менее вычислительно, воспользовавшись следующим простым замечанием. Пусть Р и Q — две матрицы такие, что PQ имеет смысл. Пусть
— столбцы матрицы Q. Тогда столбцами матрицы PQ являются
что непосредственно следует из определения. Это обстоятельство можно записать в виде

Обозначим через
столбцы матрицы С. Тогда
Далее,
. Но, как было установлено выше,
ибо
— столбцы. Таким образом,

Особую роль при умножении матриц играют единичные матрицы. Это квадратные матрицы, у которых элементы главной диагонали равны 1, а все остальные элементы равны 0. Обозначать Единичные матрицы будем
(если нужно указать порядок) или просто Е.
Из правила умножения матриц непосредственно следует, что
и
, если произведения определены.
Ясно, что единичной матрице соответствует единичная подста новка переменных:

сводящаяся просто к переименованию переменных. На языке подстановок переменных свойства единичных матриц становятся совершенно очевидными.
Отметим еще, что представляют собой субматрицы произведе
двух матриц. Пусть

Субматрица, образованная строками с номерами
и столбцами с номерами
равна произведению субматрицы матрицы А, составленной из строк
, а, на субматрицу матрицы В, составленную из столбцов
. Это непосредственно следует из того, что
есть произведение
строки матрицы А на
столбец матрицы В.