リドルの館は、リトル・ハングルトン村で最も大きく壮麗な邸宅であり、丘の上から村と教会を見下ろすように建っていた。かつては地元の名士であったリドル家の住居だったが、その当主一家は傲慢な性格で村人からは好かれていなかった。 物語開始の約50年前（1943年）、この屋敷の応接間で当主のトーマス・リドル、その妻メアリー・リドル、そして息子のトム・リドル・シニアが、外傷もなく健康体であったにもかかわらず全員死亡しているのが発見された。マグルの警察は死因を特定できず、屋敷の合鍵を持っていた庭師のフランク・ブライスが容疑者として逮捕されたが、証拠不十分で釈放された。 この事件の真相は、リドル家の娘メローピー・ゴーントとトム・リドル・シニアの間に生まれた16歳のトム・マールヴォロ・リドル（後のヴォルデモート卿）が、実の父親とその両親を殺害したというものであった。彼は叔父であるモーフィン・ゴーントの杖を使い、許されざる呪いの一つである死の呪いで3人を殺害。その後、モーフィンの記憶を改竄して罪を自白させ、自らの犯行を隠蔽した。 この事件以降、リドルの館は所有者が変わったものの住む者はなく、次第に荒廃していった。窓は板で打ち付けられ、屋根の瓦はずれ、壁は蔦に覆われた。地元の子供たちの間では肝試しの場所として知られるようになった。
リドルの館は、ハリー・ポッターと炎のゴブレット の物語が始まる上で極めて重要な役割を担う。 物語の冒頭、年老いた庭師フランク・ブライスは、長年空き家だったはずの館に明かりが灯っているのを目撃し、調査に向かう。そこで彼は、弱体化したヴォルデモート卿と、そのしもべであるワームテール (ピーター・ペティグリュー) が、魔法省の役人バーサ・ジョーキンズの殺害やハリー・ポッターの捕獲計画について話し合っているのを盗み聞きする。彼らの会話にはバーテミウス・クラウチ・ジュニアの存在も示唆されていた。 フランクはヴォルデモートのペットの蛇であるナギニに発見され、最終的にヴォルデモート卿によって死の呪いで殺害される。この出来事をハリー・ポッターは夢として目撃し、額の傷に激しい痛みを感じて目覚める。この夢は、ヴォルデモートの復活が間近に迫っていることを示す最初の不吉な前兆であり、第四巻全体のプロットの導入部となっている。