Brak zachowanych materiałów źródłowych, uniemożliwia jednoznaczne określenie przeszłości rezydencji w Kraskowie. Według Grundmanna, w dobie średniowiecza znajdował się w tutaj niewielki, tzw.: ucieczkowy zamek (niem: Fliehburg), który w XIV w., został otoczony fosą. Wiele wskazuje jednak na to, iż siedziba rycerska została wzniesiona w XV w., a później przebudowano ją na renesansowy dwór, którego konstrukcyjne relikty można odnaleźć w piwnicach obecnego pałacu. Na tej podstawie wysnuta została hipoteza dotycząca postaci ówczesnego, renesansowego dworu. Budynek ten, miał być dwuskrzydłowy, o układzie zbliżonym do litery „L”. Od strony dziedzińca miały znajdować się niewielkie krużganki.
Według dotychczasowych opracowań, przebudowa dworu, nastąpiła za panowania Sigmunda Zeidlitz (1536-1616). Przydano wówczas fosę okalającą budynek z czterech stron. Wybudowany dwór został poważnie uszkodzony w trakcie Wojny Trzydziestoletniej. Kolejnej przebudowie został poddany w czasach Karla Juliusa von Zeidlitz, tj.: na przełomie XVII i XVIII w. Ostatnia przebudowa budynku została przeprowadzona z inicjatywy Davoda Sigmunda von Zeidlitz w latach 1738-1746. Odbudował on pałac po wcześniejszym pożarze oraz nadał mu znacznie bardziej reprezentacyjnego charakteru, akcentując oś frontowej elewacji figuralną kompozycją wieńczoną przez zegar. W tym okresie wzniesiono także zachowaną do dzisiaj, charakterystyczną oficynę pałacową, która wraz z pałacem, oraz zabudowaniami folwarcznymi wznoszonymi także w pierwszej połowie XX w., budują pierzeje rozległego dziedzińca folwarcznego i tzw.: dziedzińca honorowego tuż przed pałacem. Otrzymana po przebudowie forma pałacu, o delikatnej dekoracji i bryle przekrytej mansardowym dachem okazała się być na tyle atrakcyjna, iż właściciele obiektu nie ulegli w XIX w., neostylowym trendom panującym przy przebudowie rezydencji. Niestety jednak, tożsamość architekta odpowiedzialnego za wygląd pałacu w Kraskowie nie jest znana i wymaga dalszych badań. Przy bocznej, południowej elewacji pałacu, która ze względu na otwarcie widokowe w kierunku terenów parkowych może być nazywana także elewacją ogrodową, założono obszerną werandę. Weranda, oryginalnie posiadała żeliwną konstrukcję umożliwiającą rozpięcie nad nią markizy. W 1850 r., ówcześnie właściciele Kraskowa, rodzina von Salisch zleciła królewskiemu planiście ogrodów, Peterowi Josephowi Lenné, zaprojektowanie terenów rozciągających się wokół pałacu (w wyniku prawdopodobnych problemów finansowych rodu, projekt nie został nigdy w pełni zrealizowany). W 1903 r. z inicjatywy rodziny von Salisch, przeprowadzono także renowację frontowej elewacji pałacu, po której wyposażona została w dwie ozdobne, neobarokowe ścienne latarnie.
Po wojnie obiekt zarządzany przez PGR był pustostanem. Po renowacji przeprowadzonej w latach 1994-1995 przez nowego właściciela obiekt pełnił do niedawna funkcje hotelowe i konferencyjne.
