Consideriamo ora un sistema finito u₁, u₂, ... , u_m di vettori di V e sia U lo spazio che loro generano, lo spazio cioè formato da tutte le loro possibili combinazioni lineari.

La dimensione dello spazio U sarà comunque minore del numero di generatori cioè dim U < m. Infatti se questi generatori sono linearmente indipendenti essi formano una base di U e quindi la sua dimensione è m, ma se questi generatori sono tra loro dipendenti, questa dimesione diventa strettamente minore di m. Quello che cerchiamo è allora un algoritmo che trasformi i generatori u₁, u₂, ... , u_m di U in altri generatori linearmente indipendenti e dentro lo spazio U. Questo algoritmo si basa su una così detta operazione elementare il cui significato astratto è espresso dalla formula seguente:

Possiamo, in virtù di questa formula, sostituire un generatore v di U con un vettore ottenuto sommando a v un multiplo scalare di un'altro generatore u, senza alterare lo spazio U generato da tali vettori.
La dimostrazione della formula si ottiene facilmente dato che au+v è un vettore di Span(u,v) e

è un vettore di Span(u, au+v). Applicando intelligentemente più volte questa operazione elementare,e cambiando eventualmente l'ordine dei vettori, possiamo risolvere il problema che ci siamo posti. Descriviamo ora dettagliatamente l'algoritmo.

Algoritmo di Gauss trasformare un insieme di generatori in una base
Sia {u₁, u₂, ... , u_m} il dato sistema di generatori di U.
1. Scriviamo tali generatori come combinazioni lineari dei vettori della base di V che abbiamo scelta:

3. Scegliamo sulla prima colonna di questa matrice un elemento non nullo detto pivot. Se tale elemento non esiste passiamo in rassegna la colonna successiva. Se tutte le colonne sono nulle l'algoritmo si ferma. Altrimenti
4. Portiamo al primo posto, permutando tra loro le righe, la riga che contiene il pivot scelto nel passo 3. Indichiamo ancora con a₁₁ tale pivot.
5. Sostituiamo la seconda riga u₂ con la riga u₂ -(a₂₁/a₁₁)u₁ in modo da avere zero come primo coefficiente. Poiché a₁₁ è non nullo possiamo eseguire la divisione.
6. Ripetiamo il passo 5 sulle altre righe in modo da avere la prima colonna della nuova matrice con tutti zeri sotto il pivot a₁₁. A questo punto la matrice ha la forma seguente:

Le k righe non nulle della matrice ridotta sono, in quanto vettori numerici riga di Rⁿ linearmente indipendenti, e tali sono anche i vettori v₁,v₂, ..., v_k di U ottenuti da quelle righe tramite la base B di V. Abbiamo allora

ma ora i vettori v sono linearmente indipendenti e poiché le operazioni elementari che abbiamo fatte per trovarli, non hanno cambiato lo spazio U, essi sono anche un insieme di generatori e dunque sono una base per U che per questo risulta di dimensione k.
Notiamo che il processo di riduzione di una matrice non è univoco dato che si possono scegliere i pivot in modo arbitrario tra gli elementi non nulli di una data colonna. Se si esegue il calcolo a mano conviene scegliere come pivot, per semplificare il calcolo, numeri piccoli, se possibile 1 o -1, mentre se si esegue l'algoritmo con un calcolatore conviene prendere come pivot il coefficiente in valore assoluto più grande (da quà il nome di pivot preso in prestito dal linguaggio sportivo) per ridurre il più possibile gli errori di arrotondamento.

Esempio 1
Consideriamo i vettori geometrici u₁ = -j + 2k, u₂ = -i + j + k, u₃ = -2i - j + 8k, u₄ = i - 4j + 5k. Si tratta di trovare una base per lo spazio U = Span(u₁, u₂, u₃, u₄) e la sua dimensione.
Scriviamo le componenti dei vettori nella base i, j, k come righe di una matrice:

Prendiamo come pivot per la prima colonna il numero 1 e portiamo quindi la quarta riga al primo posto

eseguiamo le operazioni 5. e 6. sulla prima colonna per ottenere con operazioni elementari degli zeri: sommiamo la prima riga con la terza, e poi moltiplichiamo la prima riga per 2 e sommiamola alla quarta

Prendiamo come pivot sulla seconda colonna -1. Eseguendo le operazioni elementari sulle ultime due righe otteniamo la matrice ridotta

le prime due righe danno i vettori v₁ = -i - 4j + 5k e v₂ = -j + 2k che sono evidentemente linearmente indipendenti e che, essendo ottenuti da u₁, u₂, u₃, u₄ attraverso operazioni elementari generano lo spazio U. Abbiamo dunque

ed essendo v₁, v₂ linearmente indipendenti essi formano una base (ridotta) di U e pertanto dim U = 2.


Esempio 2
Siano u₁ = (2,-1,3,0), u₂ = (0,1,1,-1), u₃ = (4,1,0,-1) tre vettori numerici di R⁴ e sia U = Span(u₁, u₂, u₃). Vogliamo vedere se i vettori u₁, u₂, u₃, sono linearmente indipendenti e nel caso non lo siano, vogliamo trovare la dimensione di U e una sua base. Scriviamo le componenti dei vettori (nella base canonica) come righe di una matrice:

Riduciamo la matrice con l'algoritmo di Gauss: scegliamo come pivot per la prima colonna 2, moltiplichiamo la prima riga per -2 e sommiamola alla terza; prendiamo 1 come pivot per la seconda colonna, moltiplichiamo la seconda riga per -3 e sommiamola alla terza. La sequenza di operazioni che abbiamo detto portano alle matrici

L'ultima matrice è ridotta e i suoi tre pivot sono 2, 1, -9. I vettori v₁ = (2,-1,3,0), v₂ = (0,1,1,-1) e v₃ = (0,0,-9,2) sono chiaramente linearmente indipendenti e

dunque dim U = 3 e dato che i tre vettori u₁, u₂, u₃ generano uno spazio vettoriale di dimensione 3 questi vettori sono anch'essi linearmente indipendenti. Corollario 4. (ii)

L'algoritmo di Gauss applicato ai vettori numerici permette di risolvere un importante problema: dati m vettori numerici a n componenti u₁, u₂, ... , u_m stabilire la dimensione dello spazio che essi generano e trovare una base. Basterà, come abbiamo fatto nell'esempio precedente, scrivere le componenti dei vettori come righe di una matrice, ridurre la matrice col metodo di Gauss e vedere quante righe non nulle rimangono. Se queste righe sono v₁, v₂, ... ,v_k, allora k tra i vettori precedenti sono linearmente indipendenti e risulta