Ολυμπιακοί Αγώνες Ελλάδος Αθήνα 2004, Αθλούμενοι