Tout d'abord parce qu'il y a moins d'air en altitude.

L'air comme tout le reste est maintenu autour de la terre par la gravité : "l'attraction terrestre".
Au plus on s'éloigne du centre de la Terre, au plus cette gravitation s'atténue, les gaz peuvent davantage s'étendre, se disperser et leur concentration diminue.
Le volume des poumons étant peu extensible, il ne contiennent plus autant d'air.

Par ailleurs, la pression est aussi un paramètre important.
En effet, nous avons essentiellement besoin de conserver une pression d'oxygène minimale dans le sang, qui est légèrement inférieure à celle de nos poumons.

Au niveau de la mer, la pression d'oxygène consiste en sa fraction par rapport aux autre gaz (environ 20%) fois la pression athmosphérique. En altitude, la proportion d'oxygène est identique, mais la pression totale diminue.
La pression d'oxygène dans les poumons baisse, celle du sang aussi et nous ressentons un "manque d'air", comme si nous faisions de l'apnée.
Le corps s'adapte ensuite à long terme en fabriquant plus de globules rouges afin de capter plus facilement l'oxygène des poumons.

"Pourquoi" proposé par : www.pourquois.com
Source de la réponse : Danny