Rahvasuu teab Haapsalu lossi kohta nii mõndagi rääkida. Kord olevat Kalevipoeg Lääne-Nigulas viibides näinud, et Haapsallu on ilma tema loata loss ehitatud. See ajanud Kalevipoja väga vihale. Ta otsustanud ehitise hävitada. Võtnud suure kivimüraka kätte ja sihtinud Haapsalu torni pihta, aga kuna jalg libises pehmel mättal, siis imekombel ei tabanud kivi märki ja Haapsalu loss jäänud alles.
1558. aastal puhkes Liivi sõda ning piiskopkonna maade pärast hakkasid võitlema rootslased, taanlased, venelased ja poolakad. Viimased olid varem juba seitse aastat Haapsalu linnust piiranud. Kuigi piiskopilinnusest viis maa-alune käik Uuemõisa, oli toidust siiski puudus käes. Ei aidanud muud, kui võtta appi kavalus. Viimane elus härg joodeti kangest õllest purju ning viidi müüride äärde. Purjus härg möirgas nii valjult, et poolakate meelest sai sellist häält teha vaid terve kari. Nad järeldasid, et linnuses on toidutagavara veel küllalt, ning lõpetasid piiramise.
17. sajandil ehk Rootsi ajal oli Haapsalu lossi omanikuks krahv Jacob De la Gardie. Kuna ta tegi kõike äärmiselt rahulikult, siis hüüdsid eestlased teda Laisaks Jaaguks. Kord oli Jacob De la Gardie parajasti saunas, kui adjutant teatas talle suure hulga vaenlaste lähenemisest. Laisk Jaak keeras end rahulikult teisele küljele ega väljunud saunast enne, kui oli end kiirustamata lõpuni puhtaks pesnud. Saunast väljunud, läks krahv koos oma peapadjaga vaenlaste juurde ja hüüdis: "Välja, välja, hobu ja mees!" Padjast võetud suled hõljusid tuules ning muutusid ratsanikeks ühes hobusega. Niiviisi võitis Laisk Jaak oma vaenlased. Teinekord saanud Jacob De la Gardie vaenlaste üle võidu nii, et vanakurat muutnud mahakukkunud kiriku laastud samade võlusõnadega krahvi kaitsvateks ratsanikeks. Aga saatan soovis säärase abi eest vastutasuks Laisa Jaagu hinge. Viimane lubaski selle ära, kuid palus ajapikendust, kuni ta on täielikult riietunud. Krahv venitas sellega, alati oli tal riietuse juures mingi ese veel puudu - kaelarätik, sukapael või üks saabas. Kuna olukord muutus lõpuks siiski väga kriitiliseks, ehitas Laisk Jaak Stockholmi ilusa Jakobi kiriku ning palvetas kaua altari juures. Taevased jõud võtnud tema palvet kuulda ning vanakuradil polevat muud üle jäänud, kui teinud sellel puhul kõva vankrikolinat ja kivipõrandast tõusnud tulekeeled. Laisk Jaak sai ikkagi taevasse.
Lossis pidavat olema peidus varandus, mida valvab suur must koer. Kord 18. sajandil tulnud rootslasest öövaht keskööl lossiaeda. Seal nägi ta suurt musta koera salapärasel kastil istumas. Pärast seda sündmust sai öövahist ärimees, kinnisvaraomanik ja rahahoiustaja, kuid mõne aja pärast läks mees metsa ning poos end üles, mistõttu rahvas arvab, et nähtud koer pidi ilmselt saatan ise olema.
Haapsaluga on seotud ka teine kuulus koeralugu. Kord näinud üks kingsepp öösel unes, et tema juurde tuli hall mehike ja näitas üht nurka lossivaremeis, öeldes, et sinna on peidetud suur varandus. Järgmisel ööl sama unenägu kordus. Hommikul rääkis kingsepp sellest enda rikkale ja ihnele vennale. Mõlemad avaldasid loo tõepärasuse üle kahtlust, kuid rikas vend läks siiski mainitud kohale, kaevas seal, kuid leidis suureks pettumuseks vaid surnud koera. Arvates, et vaene vend oli tahtnud tema kulul nalja heita, viskas rikas koera vaese venna aknasse. Unest ärganud ehmunud kingsepp leidis toast suure hunniku kulda.
Päris alguses rääkisime loo valgest daamist, kes kummituslikult ilmub Haapsalu toomkiriku ristimiskabeli aknale. Ajaloolane Kalev Jaago selgitab seda nii: "Daami moodi kummitust on 1530. aastatel toomkirikus märganud piiskop Wilhelm. Tõepõhja on raske määratleda, kuid inimeste kirikutesse sissemüürimisi on ka tõesti toimunud, kuigi Haapsalus selle kohta mingeid tõendeid pole. On olemas ka oletus, et tegemist on teadlikult sisse projekteeritud valgusefektiga - imega, et kohale meelitada keskaegseid turiste - palverändureid."
Ajaloolased ei ole Haapsalu piiskopilinnuse kiitmisega kitsid. Mart Helme ütleb, et Haapsalu piiskopiloss tekitab temas "emotsiooni, mida iseloomustavad sõnad majesteetlik ja romantiline". Kalev Jaago lisab: "Eesti arhitektuuriloos on eriti väljapaistev koht toomkirikul. Linnus iseloomustab oma suurusega üht kolmest keskaegsest pealinnast, mis Eesti territooriumile jäid - Tallinn, Tartu ja Haapsalu. Kurb on vaadata lagunevaid müüre, kuid samas ei soovi ka linnuse ülesehitamist. Nende müüride vahel olen kogenud palju ehedaid tundeid ja romantikat."
Kalvi Aluve on oma raamatus "Haapsalu piiskopilinnus" öelnud: "Linnus kui piiskopkonna residents on ehitatud ehituskunstiliselt heal tasemel ja ehkki praegusajal varemeis, on ta säilitanud oma üldise terviklikkuse. Ka varemetel on oma romantilise maalilisuse ja emotsionaalse ilmekusega eriline võlu." Tundub, et me just lahendasime Haapsalu piiskopilossi saladuse, miks ta meile meeldib või ehk siiski ...