мало видеоплееров (аппаратных) поддерживают h264. т.ч. для большинства лучше avi или mp4 (IMHO), а в качестве - разница незаметна (если видно - чаще всего это ошибки в кодировании).
Разница в качестве между h264 и остальными проявляется в том, что файл в h264 меньше весит при прочих равных. Но ценой этому - цпужорство при проигрывании (и, разумеется при кодировании, но это нас не волнует).