Intanto coloro che piú erano avversi al ritorno degli esuli, con sottile astuzia consigliarono al Cardinale d'andar prima a pacificare Pistoia, dicendogli che, se essa rimaneva come ora in mano dei Bianchi, la pace in Firenze sarebbe stata sempre fittizia. E quando egli andò, avversarono l'opera sua in modo che, non solamente dove tornarsene senza nulla aver concluso, ma volendo entrare in Prato, si vide dalla sua stessa città natale chiudere le porte in viso. Di tutto ciò il Papa fu adiratissimo, ed il 29 maggio scriveva ai Fiorentini una lettera piena di sdegno. Ma essi erano in tale disordine e tumulto che, avendolo pregato di trovar loro un Podestà, di quattro che ne propose, non uno volle accettare. Pure il Cardinale persisteva impassibile nella sua idea d'accordo, e fece, sotto sicurtà, venire a Firenze dodici sindachi dei fuorusciti, sei dei Bianchi e sei dei Ghibellini, perché s'intendessero con dodici eletti in città, due per Sesto, uno dei donateschi, l'altro dei loro avversari. Questi ventiquattro cittadini erano tutti dei Grandi, e diffidavano tanto gli uni degli altri, che i dodici fuorusciti, sebbene avessero avuto dal popolo buona accoglienza, e fossero, sotto la pubblica fede, alloggiati in casa Mozzi, dove abitava il Cardinale stesso, pure, temendo d'essere da un momento all'altro tagliati a pezzi, volevano andarsene via. Ma furono dagli amici consigliati, invece, ad armarsi ed asserragliarsi nelle case dei Cavalcanti, con l'aiuto dei quali avrebbero potuto, occorrendo, respingere e domare gli avversarî colle armi. I Cavalcanti parevano a ciò assai ben disposti, e cominciarono a trattare. Ma dopo avere cosí sollevato un sospetto e un odio infinito nei loro nemici, si ritrassero a un tratto, scontentando fieramente anche gli amici. I fuorusciti allora partirono, il dí 8 giugno 1304, piú che in fretta. E subito s'andava ad alte voci gridando contro il Cardinale, che egli aveva tradito la città con questi suoi oscuri maneggi, e s'aggiungeva ancora che aveva incitato i fuorusciti ad accostarsi alle mura, armata mano. Si mostravano le lettere col suo suggello, e s'affermava che i fuorusciti erano pel Mugello venuti fino a Trespiano, tornandosene indietro solamente quando seppero che i meditati disegni erano andati in fumo. Il Villani dice che queste erano calunnie; ma anche dalle Epistole attribuite a Dante Alighieri si deduce che il Cardinale voleva davvero il ritorno dei fuorusciti, ed aveva perciò trattato con loro. Adesso però egli era finalmente stanco, e partissene il 10 giugno, lasciando al solito la Città interdetta, ed esclamando: «Dappoiché volete essere in guerra e in maledizione, e non volete udire né ubbidire il messo del Vicario di Dio, né avere riposo né pace tra voi, rimanete con la maledizione di Dio, e con quella di Santa Chiesa».
La condizione dei Cavalcanti e dei loro amici divenne in questo momento terribile davvero. La loro presente unione coi Donati non bastava a far dimenticare l'odio antico, che si era sopito un momento, ma solo per favorire il ritorno dei Bianchi, a danno dei Tosinghi. I quali infatti restarono isolati, perché abbandonati anche dal popolo grasso, che, stanco delle continue guerre civili, e persuaso dal Cardinale, aveva favorito l'accordo fra Donati e Cavalcanti. Ma quando questi, giunti al punto di concluderlo, s'erano inaspettatamente tirati indietro, allora risorse subito l'odio antico, ed essi si trovarono fra due fuochi. Messer Corso frenava per ora lo sdegno, non volendo troppo avvicinarsi ai Tosinghi, e col pretesto della gotta se ne stava ancora da parte, lasciando fare ai suoi. Ma l'odio di Rosso della Tosa era irrefrenabile, addirittura feroce contro i Cavalcanti, i quali lo avevano veramente messo sull'orlo della totale rovina. Laonde non era appena partito il Cardinale, che già Firenze pareva alla vigilia d'una catastrofe. I Cavalcanti videro il pericolo in cui si trovavano; ma erano numerosi, arditi e potenti. I Gherardini, i Pulci, i Cerchi del Garbo stavano con essi; molti amici avevano anche nel contado e fra gli esuli bianchi; né mancavano d'aderenze fra i popolani grassi, non pochi dei quali abitavano nel centro di Firenze le loro case. Quelli però che ora s'armavano contro i Cavalcanti, non erano i popolani, ma i Grandi. I Cerchi del Garbo cominciarono ad azzuffarsi di giorno e di notte coi Giugni. In aiuto dei primi vennero subito i Cavalcanti cogli amici loro, e furono vittoriosi, tanto che poterono da Or S. Michele arrivare, senza quasi trovar resistenza, fino alla piazza di San Giovanni. Ma quando s'erano cosí allontanati dalle proprie case, si manifestò in queste un grave incendio. I nemici v'avevano appiccato un fuoco lavorato, che da piú giorni a questo fine andavano apparecchiando. Il primo a metterlo, cominciando dalle abitazioni dei suoi propri consorti, fu Neri degli Abati, priore di San Piero Scheraggio; poi lo vennero saettando molti altri, fra i quali troviamo lo stesso Simone della Tosa e Sinibaldo di Mess. Corso Donati. Era il 10 giugno del 1304, e soffiava un forte vento di tramontana; l'incendio si diffuse perciò rapidissimamente in Calimala, Mercato Vecchio, Or S. Michele; e cosí arse, con le case dei Cavalcanti, tutto il centro, «tutto il midollo e tuorlo e cari luoghi della città di Firenze», come dice il Villani. Esso aggiunge che, tra palazzi, case e torri, ne andarono in rovina piú di millesettecento, con infinita rovina delle mercanzie ivi raccolte, giacché quelle che non arsero, vennero, nello sgomberarle, rubate, continuandosi a combattere ed a saccheggiare anche in mezzo alle fiamme. Paolino Pieri dice nella sua Cronica, che fu distrutto un decimo della Città, il sesto per valore. Molte famiglie, molte compagnie furono disfatte; ma piú degli altri soffrirono i Cavalcanti, i quali rimasero come esterrefatti dinanzi al fuoco, che bruciava tutto quello che avevano. Eppure tale era l'odio concepito contro di essi, che anche dopo aver subito cosí crudeli calamità, vennero come ribelli cacciati di Firenze.