J'ai voté "la pluie"
J'aurais été tenté bien entendu de mettre plusieurs réponses.
La pluie : Me dérange si elle tombe déjà avant que je ne parte rouler. Me dérange beaucoup moins si elle se met à tomber durant la sortie. Jusqu'à présent, pour mes randos à la journée, comme je privilégie les randonnées permanentes, j'ai toujours choisi une journée où la météo était clémente.
Le vent : Me dérange s'il est de face. Beaucoup moins quand il est dans le dos

. Lors d'un sortie en boucle, j'essaie de rentrer vent dans le dos. Le problème est différent en cas de parcours imposé, bien sûr.
Le froid : Sur des sorties de 3h, jusqu'à -3 / -4, ça va. Dans ces conditions, c'est des pieds que je souffre le plus. Je ne fais pas de sorties à la journée quand il fait moins de 10°C.
Ponctuellement, bien sûr, la grosse chaleur, les voitures, le dénivelé peuvent être génants. Mais mis à part les voitures, les autres options font partie des plaisirs du cyclo-tourisme !