標高が７０ｍ近くある愛宕山は風化に弱くて脆い姪浜層の砂岩でできています。そして周囲の大部分が急峻な崖地となっているため崖崩れの危険があり、土砂災害特別警戒区域・土砂災害警戒区域に指定されています（下記参照）。

　左の写真では急崖が住居に迫っていますが、この崖は「姪浜石」の採石場の跡です。左下の写真は2015年3月1日に生じた崩落事故の現場です。崖の一部が一斉に剥がれ、径１ｍをこえる岩が住宅のフェンスと物置を直撃しました。この写真はその岩が撤去された後のものです。

　山の南側に建っているマンション（愛宕山ハイリビング）では、裏の崖からの落石があり（原因は猪が餌を漁って掘り返したため）、危険防止の鉄製ネットを張って貰うということもありました。

　地震時の強震動や雨水による出水・浸透も崖の崩壊をおこす危険要因です。1980年(昭和55年)７月29日の集中豪雨の際には崖崩れによって愛宕３丁目の家屋が半壊する災害が生じています。近年、温暖化の影響で「これまで経験したことがないような集中豪雨」の危険性が高まり、また、警固断層で地震が発生する可能性が指摘されている昨今、愛宕山の崖崩落災害をいかに防いで住民の安全を守っていくかは重要な課題です。左の写真は家のすぐ裏手にある採石場跡の崖にブルーシートを応急的に張って雨水の浸透を防いでいる様子を写したものです。また、右下の写真は女坂を東側から写したものです。急傾斜地をコンクリートの擁壁で覆ってありますが、そこに多くの家屋が建っています。中央部に雨水浸透防止のブルーシートが見えますが、しっかりした防災対策が望まれます。間違っても、危険地指定をすれば事足れりといったようなことがあってはならない問題です。