ダーズリー家は、ハリー・ポッターの唯一の存命中の血縁者であり、マグル（非魔法族）の家族である。一家はサリー州リトル・ウィンジングのプリベット通り4番地に居住している。リリー・ポッターの姉であるペチュニア・ダーズリーが、夫のバーノン・ダーズリー、息子のダドリー・ダーズリーと共に暮らしている。ヴォルデモート卿によるポッター夫妻殺害後、アルバス・ダンブルドアの計らいにより、ダーズリー家は不本意ながらもハリーを預かることになった。 彼らは魔法を激しく嫌悪しており、「まとも」で「普通」であることを至上の価値としている。そのため、ハリーの存在を疎んじ、幼少期には虐待に近い扱いをしていた。物語を通じて、彼らは魔法界との関わりを拒絶し続ける、ハリーにとっての抑圧的な家庭環境の象徴として描かれている。
ダーズリー一家は、世間体を何よりも重んじ、隣人に対して自分たちが完璧に「普通」の家庭であると見せることに執心している。彼らは魔法やその他一切の異常な事柄に対して、恐怖と憎悪に近い感情を抱いている。この価値観は、一家の生活様式、他人への態度、そして特にハリーへの扱いに色濃く反映されている。家の中は常に清潔に整えられているが、その雰囲気は愛情に欠け、息苦しいものである。
首がほとんどなく、大きな口ひげを生やした、恰幅のいい大男。非常に頑固で偏狭な性格であり、自分の理解できないものや気に入らないものに対しては、怒鳴り散らして否定する。ハリーの魔法の兆候を「叩き出す」ために、厳しい躾や罰を与え続けた。
馬面で骨ばった、非常に痩せた女性。姉のリリーとは対照的に金髪である。首が異常に長く、それを近所の噂話を探るために使っている。彼女の魔法嫌悪の根底には、魔法の才能に恵まれた妹リリーへの長年の嫉妬と、自分も魔法界の一員になりたかったという秘めたる願望があった。（Pottermore）
幼少期は両親に甘やかされた結果、非常にわがままで欲深い、いじめっ子の少年だった。金髪で、父親に似て太っている。当初はハリーを格好のいじめの標的としていたが、5年生の夏に吸魂鬼 (ディメンター) に襲われた事件を境に、内面に変化が生じ始める。最終的にはハリーに対して感謝の念を示すまでに成長した。
ダーズリー家は全員がマグルであり、魔法の力を持たない。彼らは魔法を「まがいもの」や「異常」とみなし、徹底的に排除しようとする。特にバーノンはその傾向が強い。しかし、ペチュニアは姉が魔女であったため、吸魂鬼やアズカバンといった魔法界の存在について基本的な知識を持っていた。一家は、ハリーが家にいる限り、リリーの血の護りによって安全が確保されているという事実を知らされていなかった。