Todo depende de lo que quieras hacer, el tiempo que quieras dedicar y el tipo de implementación que quieras hacer.
Prototype es posiblemente el más rápido de los frameworks, en su contra está que tiene una curva de aprendizaje muy alta y además tienes pocos scripts ya creados en comparación con el resto.
Mootools es para mi el mejor framework, ya que se basa en modelo de objetos principalmente y es muy bueno si quieres reutilizar clases o estructuras completas (nosotros no tardamos ni un día en meter una navegación por AJAX a un portal entero sin ella gracias a nuestras clases ya creadas). En su contra, la curva de aprendizaje es alta, su funcionamiento orientado a objetos a veces hace que programar en el sea algo más tedioso que jQuery orientado al DOM y aunque tienes muchisimos scripts ya creados siempre serán menos que jQuery.
jQuery es e framework más extendido, sobretodo por su facilidad de uso y una curva de aprendizaje bastante baja, al trata directamente el DOM facilita mucho el crear pequeños scripts para modificar zonas, pero la mayoría se vuelven poco reutilizables...
Yo te recomendaría, si eres programador o te consideras programador, que pruebes Mootools, enseguida le cogerás el tranquillo y verás que es bastante fácil e intuitivo ;-)