¿Que monitor tienes? Ten en cuenta que fraps te graba a la resolución a la que tengas el juego. Prueba a jugar en modo ventana mientras grabes, un vídeo de .... 800x600 evidentemente pesará menos que uno de 1680x1050. O sino, en las opciones de Fraps, mira en la parte de "Video Capture Settings" (debajo de donde eliges la tecla para grabar), ahí selecciona "Half-size" para grabar a la mitad de resolución que le tengas puesta.
Y por la versión de pago, creo que lo único que cambia es la duración del vídeo (no estoy seguro de eso...).
Bueno, y otra opción sería comprimir el vídeo con otros programas después de grabarlos con fraps. Los hay gratuitos, sin necesidad de pagar por ellos ni "parchearlos".