@Gintoki, Hola
Aunque tu archivo este en mp4 o cualquier formato compatible como AVI/dvix, ten presente que eso son solo "contenedores". Son como cajones donde meter cosas.
Dentro esta el trabajo que realizan los codecs, y si el codecs que has utilizado NO es compatible con la PS3 por mucho que el contenedor sea mp4................NO puedes verlo
ACLARACIóN: La PS3 es un pésimo reproductor de archivos, puedes utilizar tu PC con estupendos reproductores de video y si tienes opción conectar tu PC/TV.
Puedes usar un reproductor multimedia con estupenda calidad/versatilidad o realizar esto mediante red PC-PS3 y el software necesario (De esta manera tienes más codecs disponibles).