Přesněji řečeno nejde o závislost na nadmořské výšce, ale nad vzdáleností od centra gravitace (teoreticky může být zdrojem gravitace i jiné těleso než koule či geoid). Potenciální energie je tedy závislá na poloze v gravitačním poli, přesněji na rozdílu hladin gravitačního potenciálu.
