existe alguna posibilidad de que el archivo .RRF se pueda convertir en mp4 para asi poder editarlo?
Los vídeos no son mas que una consecución de frames. Los frames son, a grandes rasgos, matrices llenas de números que denotan colores por pixel reproducidos de forma consecutiva.
El replay del RO, al contrario que esto, guarda los contextos y acciones de un determinado personaje dentro del juego (tal y como si guardases cosas como "PERSONAJE A REALIZA DOUBLE STRAFE" en un archivo de texto, solo que el RO lo serializa en su propio formato que el cliente sabe leer). El juego, dado que tiene los datos del lugar donde estaba el personaje, lo que estaba haciendo, etc.. es capaz de mostrarte de nuevo lo mismo usando el cliente, tal y como si estuvieses jugando (por eso es medio interactivo).
Si entiendes esto, puedes entender que eso que planteas no es posible. Tal y como se ha dicho, se puede usar una grabadora de vídeo sobre el cliente mientras este lleva a cabo el proceso de replay leyendo el archivo correspondiente.