D’après feu Harry Wheeler, son père, George Ernest Wheeler, est venu de Chazy, état de New-York, à Saint-Jovite, pour examiner la possibilité d’installer un chantier de coupe du bois dans les années 1880. Séduit par le paysage et le potentiel de la région, il revient plus tard avec son épouse, Lucile Aldridge, et son premier fils Frederick Haskel (Tom), né en 1894, pour s’y établir. Le Seraphin Cottage et l’entreprise de débitage du bois voient le jour en 1895 sur les rives du lac du même nom*.
La même année naît leur fille, Frances Ellen. Le médecin venu du village, leur facture 3,00$ pour l’accouchement! La vie leur sourit! Cependant, le 21 septembre 1896, leur maison est rasée par les flammes et tout est perdu. Les Wheeler retournent aux États-Unis peu de temps après, tous atteints de typhoïde. Comme on les tient pour morts, leur domaine est vendu. C’était sans compter sur la détermination de cette famille survivante qui fait un retour dans la région en 1900. Elle revient avec un nouveau fils, George Ernest Jr mais sans leur fille Ruth, née à l’hiver 1897, qui est malheureusement décédée de la méningite à 16 mois. Cette fois, leur maison est construite directement sur une plateforme de granite aux abords du lac Ouimet et est baptisée « Gray Rocks ». Leur fils Roy naît cette année-là, mais il mourra accidentellement le 9 mai 1904, environ un an après la naissance d’un autre garçon, Harry Roberts.

À cette même époque, les affaires reliées à l’industrie du bois ralentissent et George, avec sa santé fragilisée, décide alors de réorienter ses activités. De l’hôte généreux qu’il est pour ses nombreux amis depuis 1900, le refuge des Wheeler les accueille maintenant contre rétribution. C’est la nouvelle vocation du Gray Rocks dès 1905. Pendant cette étape de réorganisation naît Naomi Lucile (Mona) et les jours s’écoulent sans beaucoup de distinction entre famille et clientèle. Mona n’est pas haute comme trois pommes que les villégiateurs envahissent la place même à la saison froide, c’est une nouveauté! Et si l’année 1908 apporte la joie d’une autre naissance, celle de Marie-Louise, elle apporte aussi le deuil car le jeune George Ernest Jr succombe à un cancer.

À partir du Inn très rustique des débuts, George Wheeler voit à l’amélioration et à l’expansion de son hôtel et exploite l’auberge jusqu’à son décès en 1926 avec l’aide de ses deux fils maintenant adultes. Ceux-ci continuent à innover et à diversifier les installations. Ils fondent aussi leur propre famille. Tom épouse Ada Webster en 1924. De cette union naîtront trois filles : Beverley, Barbara et Byrne. Le mariage d’Harry suit un peu plus tard. Son épouse, Myrle Smythe, et lui auront aussi trois enfants Harry Roberts (Biffer), Frederick Haskel (Tom Jr) et Lucile, née en 1934. Elle décrochera la première médaille olympique canadienne en ski en 1956.

Jusqu’en 1993, année de la vente de leurs actifs, le domaine hôtelier demeure une affaire familiale et trois générations s’y seront succédé pour le gérer.