Vào năm chàng 12 tuổi, một lần Tấn Võ Đế Tư Mã Viêm nhân lúc cao hứng đã ra lệnh cho mọi người viết văn thơ, kết quả là tác phẩm của Phan Nhạc là bài hay nhất. Các quan đại thần nhìn qua, tác giả của bài thơ ấy là một tên mặt trắng còn non nớt, bèn lấy làm ganh ghét, lập tức đuổi chàng ra khỏi triều đình. Sau mười năm nhàn nhã với thơ phú, Phan Nhạc cuối cùng cũng đã được thu dụng làm quan, giữ chức huyện thái lệnh huyện Hà Dương và cũng có chút công lao đối với việc triều chính. Lúc ấy, ở huyện Hà Dương có trồng rất nhiều cây đào nên người ta gọi chàng là “nhất huyện hoa”. Từ đó về sau, con đường quan lại của chàng luôn không được suôn sẻ mà có lúc thăng lúc giáng, mãi đến năm Nguyên Khang thứ sáu (296), chàng mới trở về Lạc Dương nhậm chức Kinh quan. Một chàng thiếu niên đầy tài năng và dung mạo tuyệt thế của ngày xưa giờ tóc đã hoa râm, đã nếm đủ mọi đắng cay gian khổ trên chốn quan trường, tai đã nghe qua và mắt đã thấy qua những người luôn a dua xu phụ kẻ khác.
Lúc này, quyền lực chính trường rơi vào tay của mụ hoàng hậu xấu xí Giả Nam Phong. Cháu bên ngoại của mụ là Giả Ích rất thích kết giao qua lại với các quan khách, cùng nhau tổ chức nên một hội văn nhân có tên là “Nhị thập tứ hữu” (hai mươi bốn người bạn), dùng chữ nghĩa để dấy lên cơn phiến động trong tập đoàn ngoại thích của Giả hậu. Trong khi đó, mụ ta muốn phế truất thái tử, nhưng Phan Nhạc lại là người bất hạnh khi rơi vào trong âm mưu này: Giả Nam Phong đã phái một quan nhân dưới trướng của mình chuốc cho thái tử uống say rồi bắt Phan Nhạc viết một bài văn tế thần, đồng thời bắt thái tử sao chép lại. Thái tử do uống say nên thần trí không được minh mẫn, đành viết bừa một lúc. Sau khi nhận bài văn của thái tử xong, Phan Nhạc lại sửa một vài nét chữ, biến nó thành một bài văn có ý phản nghịch, khiến thái tử phải bị phế truất, mẹ đẻ của thái tử bị bức tử. Tuy không phải là người lập ra kế hoạch phế truất thái tử, nhưng rõ ràng Phan Nhạc lại là người có vai trò làm khuấy động nên âm mưu này, do vậy, tuy gian kế đã thành công nhưng chàng cũng không được yên. Sau khi thái tử mất, Triệu vương Tư Mã Luân lấy cớ báo thù bèn dấy cơn binh biến và tấn công vào cung, dẹp bè đảng của Giả hậu. Trước đấy, Phan Nhạc đã từng đắc tội với người bạn của Triệu vương nên sau cuộc loạn Bát vương, Triệu vương Tư Mã Luân vừa đoạt được chính quyền đã lập tức ra lệnh bắt Phan Nhạc và phán định hình phạt tru di tam tộc.
Trong cơn loạn Bát vương, Phan Nhạc lại là người tham gia tích cực, vì thế mà chàng phải mang một tội danh lớn: giúp hổ làm ma. Nhưng không vì thế mà vấn đề công và tội của chàng làm mờ đi nét tài hoa trong văn phong, sự tinh tế trong miêu tả của chàng.
Trong cuộc sống, Phan Nhạc là một người rất tốt. Đính hôn từ năm hơn mười tuổi, đối với người vợ kết tóc xe tơ họ Dương, chàng rất mực chung tình. Dương thị mất năm Nguyên Khang thứ 8 (298) khiến Phan Nhạc đau buồn triền miên, viết nên những bài từ điếu vong chứa đầy tình cảm son sắt keo sơn, và đây cũng chính là những bài hay nổi tiếng trong mảng đề tài này. Nhưng đáng tiếc là do mộng công danh quá nặng, gấp gáp trên đường thăng tiến, lại không biết thoả mãn với những gì đã có nên cuối cùng chàng phải mang tội tử.