Según el plano de Texeira de 1656, en este solar se hallaba el Colegio de los Escoceses fundado en 1623 en su propia casa por el coronel escocés William Sempill of Lochwinnoch (conocido en España como Guillermo Semple), aunque no abrió sus puertas hasta cuatro años más tarde bajo la gestión de los jesuitas. En 1771, dos años después de que éstos fuesen expulsados, el Colegio fue trasladado a Valladolid por el reverendo John Geddes y su antigua sede reedificada para vivienda particular, aunque sin perder la propiedad; compensándose su expropiación y derribo con la cesión a aquélla institución del solar en esquina con la Red de San Luis donde el propio Colegio de los Escoceses promovió el primer edificio del segundo tramo de la nueva avenida.
El solar desocupado fue adquirido por la Constructora Calpense, sociedad filial de la editorial Espasa Calpe, S.A. creada expresamente en abril de 1920 para construir un "Palacio del Libro", encargándose el proyecto al arquitecto José Yarnoz Larrosa, que según los documentos conservados en el Archivo de Villa distribuyó el programa en un subsótano con trasteros e instalaciones; un sótano con dos viviendas para porteros por ser dos los portales: uno principal en el chaflán con la calle de Chinchilla, y otro de servicio junto a la medianera de la calle de la Salud y los almacenes de las cuatro tiendas que los rodean en planta baja, reservándose la mayor con escaparates a Gran Vía y Salud para la propia Espasa Calpe, S. A., que además ocupa también el patio central con una sala de exposiciones y conferencias de planta oval con salita para el orador , cubierta con una vidriera a la altura del entresuelo y con acceso directo desde la tienda o atravesando el portal dispuesto en la bisectriz del chaflán. La planta principal se destina a oficinas, y los cinco pisos superiores y el ático retranqueado se reparten cada uno en dos viviendas, con las habitaciones de aparato antedespacho, despacho, sala, y comedor con office y los dormitorios principales abiertos hacia la Gran Vía y las calles adyacentes, y las habitaciones de servicio cocina, baño, aseos, ropero, y dormitorios de criados y alguna alcoba más, repartidas en torno al gran patio central y otros tres medianeros más pequeños.
En cuanto a los alzados, Yarnoz adopta el estilo "neochurrigueresco" que había popularizado la Casa del Cura construida en el arranque de la nueva avenida, aunque adaptándolo a las dimensiones colosales del edificio y a las exigencias comerciales de la empresa promotora, lo que le llevó a eliminar casi por completo los paramentos del zócalo comercial, concebido como tres inmensos paños acristalados de escaparates, recortados sobre un almohadillado que apenas se adivina en los chaflanes, donde hace fondo a los frontispicios del portal, y en el fingido de la esquina opuesta, por razones de simetría. Sobre este primer basamento de doble altura se extiende una sucesión de arcos rebajados, separados por las ménsulas de soporte del balcón corrido que señala el arranque del cuerpo principal, que se presenta como un gran paramento liso perforado por una retícula de ventanas, enmarcadas en el principal por recercados "de orejas" que desaparecen en los dos pisos siguientes para reaparecer en el tercero, bajo la cornisa volada que marca su límite superior y el comienzo del doble ático. Este último presenta las ventanas enlazadas verticalmente mediante resaltes laterales que dibujan cajones rehundidos en los entrepaños; coronándose con una segunda cornisa rematada por la balaustrada que cierra las terrazas del sotabanco retranqueado, que sólo avanza en las esquinas para conformar torreones de doble altura -erizados de flameros, volutas y pináculos en línea con los miradores volados que articulan lós ángulos del cuerpo principal.
Sorprendentemente como ya señaló Gustavo Fernández Balbuena en 1925 a propósito del edificio que nos ocupa , esta acumulación erudita de piezas procedentes del léxico barroco produce un efecto muy diferente al del estilo que intenta imitar, caracterizado por la pesantez transmitida por los muros casi ciegos sobre los que se superponen aparatosas portadas, y que sólo se aligera a veces en las torres y peinetas de remate; mientras que en su versión actualizada se invierten los términos por la necesidad de hacer transparente el zócalo comercial, que se desmaterializa en los escaparates acristalados y en la amplia fenestración de las oficinas del entresuelo, para adensarse en los cerramientos de los pisos superiores destinados a vivienda, por los que se reparte toda la carga decorativa que antaño se agrupaba sólo en puntos muy concretos.
Aunque el vaciado del solar se había iniciado ya en el mes de abril de 1920, la solicitud de licencia de obras no se cursó hasta el 2 de agosto de 1920, estando todavía pendientes de definición las rasantes del terreno, que Sallaberry como Arquitecto Inspector de la Reforma Urbana informó el 5 de noviembre siguiente, al tiempo que denegaba la autorización pedida por sobrepasar los torreones la altura máxima establecida en las ordenanzas, lo que obligó a Yarnoz a presentar nuevos planos corregidos el día 2 de diciembre, obteniendo el permiso requerido el 28 de marzo del siguiente año.
Las obras quedaron completamente terminadas el 30 de noviembre de 1923, solicitándose tres días más tarde la licencia de alquiler, que fue denegada por no acometer el tubo de ventilación a la alcantarilla general, teniendo además Sallaberry que insistir para la resolución de este defecto, que no se corrigió hasta el 18 de marzo de 1926; otorgándose la licencia el 5 de abril de ese año. Aunque como era habitual, el edificio ya estaba en uso desde mucho antes, pues la librería de Espasa Calpe había abierto sus puertas ya en los primeros días de abril de 1923, ocho meses antes de que Yarnoz certificase el final de los trabajos; debiendo citarse como anécdota que el 28 de diciembre de ese año el propietario demandó la obtención de la "placa de salubridad" de acuerdo con un certificado al respecto firmado por Yarnoz, sin que consten más datos al respecto en el expediente consultado del Archivo de Villa.
Poco después de acabarse el edificio, ocupó el solar del chaflán la tienda de la Unión Relojera Suiza, perteneciente a la familia Grassy, que señaló su presencia con un gran reloj volado sobre la acera a la altura del entresuelo; instalándose en un apartamento del principal la redacción de la Revista de Occidente fundada por José Ortega y Gasset, que estableció allí su tertulia, y estando otros pisos ocupados por empresas como la compañía de seguros La Patria Hispana y las oficinas de Telefunken AEG Ibérica, y Metropol Film; mientras que las viviendas del cuarto piso se convirtieron en las pensiones Venecia y Avenida, que con el tiempo se unificaron en la Comercial; abriendo en el tercero el Hotel Coruñesa, que se extendería más tarde también al segundo.
Durante la Guerra Civil, la Casa del Libro fue requisada para convertirla en la Oficina Central de Propaganda de las Juventudes Socialistas Unificadas, recuperando su uso original al término de la contienda. En 1960, la Unión Relojera Suiza fue remodelada por el arquitecto Manuel Ambrós Escanellas que ocho años antes había adaptado para la misma sociedad el prestigioso chaflán del nº 1 de la propia Gran Vía, que todavía se conserva como Joyería Grassy ; y dos años después el prestigioso arquitecto José Antonio Corrales Gutiérrez ejecutó una de las innumerables reformas que con los años fueron extendiendo la Casa del Libro por los pisos superiores.
Como es tristemente habitual, también este inmueble ha sufrido una notable merma de sus elementos decorativos, que se concentra en los dos pisos superiores, donde ha desaparecido el esgrafiado que adornaba los rehundidos de los entrepaños, así como los avolutados frontones partidos, jarrones y pináculos que remataban los torreones. A cambio, en los últimos años se ha ido recuperando el degradado zócalo comercial, eliminándose buena parte de los rótulos de comercios, oficinas y pensiones que afeaban los chaflanes, aunque acertadamente se ha conservado el popular reloj de la Unión relojera Suiza, su antiguo local esté ahora ocupado por la perfumería Yves Rocher.
