نشأ فيليب مارغولين في مدينة نيويورك وليفيتاون في نيويورك. في عام 1965، تخرج من الجامعة الأمريكية في واشنطن العاصمة بدرجة البكالوريوس في الحكومة. كان متطوعًا في هيئة السلام في ليبيريا، غرب أفريقيا من عام 1965 إلى عام 1967. في عام 1970، تخرج من كلية القانون في جامعة نيويورك. خلال السنتين الأخيرتين في كلية القانون، درس في الليل وعمل كمعلم في المدرسة الثانوية في جنوب برونكس في نيويورك لتمويل دراسته. كانت وظيفته الأولى بعد التخرج من كلية القانون كمساعد قضائي لهربرت إم. شواب، رئيس محكمة استئناف ولاية أوريغون. من عام 1972 حتى عام 1996، كان مارغولين يمارس المحاماة الخاصة في بورتلاند، أوريغون، متخصصًا في الدفاع الجنائي على مستوى المحاكم التجريبية والاستئنافية. كمحامٍ استئنافي، ظهر أمام المحكمة العليا للولايات المتحدة، ومحكمة الاستئناف الفيدرال
