Qual a diferença entre Windows XP 32bits e o Windows XP 64bits

A principal diferença entre o Windows 32 e 64 não é a memória, e sim o processamento a 64 bits. Se você utilizar menos de 2GB de memória não vai ter diferença entre os dois sistemas.
O ganho de desempenho acontece não só em programas de cálculo, mas em todos os programas que sejam escritos em 64 bits.
O XP 32bits nunca irá reconhecer 4Gb de memória. Para reconhecer e utilizar os 4Gb, você precisa instalar um sistema operacional de 64bits - XP x64 ou Vista x64. No fórum do XP x64 existem alguns tópicos de discussão sobre comparações entre os dois sistemas.