ダーズリー一家は、ハリー・ポッターの唯一存命の親戚であるマグルの家族です。一家は、サリー州リトル・ウィンジングのプリベット通り四番地に住んでいます。彼らは魔法やその他一切の「普通でない」事柄を極度に嫌悪し、自分たちの「完璧に普通」な生活を維持することに固執しています。一家は、バーノン・ダーズリー、その妻ペチュニア・ダーズリー、そして息子ダドリー・ダーズリーの三人で構成されています。 両親を亡くしたハリーは、叔母であるペチュニアの家で育てられますが、彼らはハリーを厄介者として扱い、階段下の物置で生活させるなど、長年にわたり精神的・肉体的な虐待を加えました。物語において、ダーズリー一家は魔法ワールドの魅力や寛容さとは対照的な、偏狭で非魔法的な世界を象徴する存在として描かれています。
ハリーがダーズリー家に預けられる前、ペチュニア・ダーズリーは魔法の才能を持つ妹リリーに嫉妬心を抱いていました。彼女はアルバス・ダンブルドアに手紙を書き、自分もホグワーツ魔法魔術学校へ入学させてほしいと懇願しましたが、断られています。その後、ペチュニアはドリル製造会社グランニングズに勤めるバーノン・ダーズリーと出会い結婚し、「普通」の生活を築き上げました。 1981年11月1日、ヴォルデモートによって孤児となった赤ん坊のハリーが、ダンブルドアによってダーズリー家の玄関先に置かれました。彼らは不本意ながらハリーを引き取りますが、彼から魔法の要素を一切排除しようと試み、ハリーの出自について嘘をつき通しました。 ハリーが11歳になるまで、ダーズリー家はハリー宛に届くホグワーツからの入学許可証を執拗に妨害し続けましたが、最終的にはルビウス・ハグリッドの介入により失敗に終わります。その後も、ハリーは夏休みの間だけプリベット通りに戻ることになりますが、そのたびにドビーの来訪やマージョリー・ダーズリーの膨張事件など、魔法絡みの騒動が絶えませんでした。 第二次魔法戦争が激化すると、一家は不死鳥の騎士団の保護下に入り、プリベット通り四番地を離れることになります。この別れの際、ダドリー・ダーズリーは吸魂鬼の襲撃から自分を救ってくれたハリーに初めて感謝の念を示し、和解の一歩を踏み出しました。
(Vernon Dursley) ダーズリー家の家長。大柄で首がほとんどなく、大きな口ひげを生やしています。彼は極めて偏屈で、自分の意見と異なるものを一切認めない性格です。魔法を「常軌を逸した異常なもの」として心底軽蔑しており、ハリーに対して最も辛辣な態度を取ります。
(Petunia Dursley, née Evans) バーノンの妻で、ハリーの母リリーの姉。痩せていて馬のような顔立ちと、近所の様子を覗き見するために不自然に長い首を持っています。彼女の魔法への嫌悪は、かつて魔法の才能に恵まれた妹への嫉妬と、その世界から拒絶されたという感情に根差しています。
(Dudley Dursley) バーノンとペチュニアの一人息子。両親に甘やかされて育ち、幼少期は太っていて意地悪な少年でした。ハリーをいじめることを楽しみとしていましたが、15歳の夏に吸魂鬼に襲われた経験をきっかけに、内面に大きな変化が訪れ、最終的にはハリーと和解します。
ダーズリー一家は、マグルの中でも特に魔法に対する拒絶反応が強い家族です。彼らは魔法の存在を理解しようとせず、恐怖と嫌悪の対象として扱います。彼らの家であるプリベット通り四番地は、皮肉にもハリーの母リリーが残した血の守りの魔法によって、ハリーが17歳になるまでヴォルデモートから身を守るための最も安全な場所となっていました。この古代魔法は、ハリーが母の血縁者であるペチュニアのいる場所を「家」と呼べる限り、その効力を発揮し続けました。