Ce site est optimisé pour être consulté depuis un navigateur moderne dans lequel JavaScript est activé.

La base de données de Synapse est ÉNORME

nicolas

Taille de la BDD

select pg_size_pretty(pg_database_size('synapse'));

 pg_size_pretty 
----------------
 109 GB
(1 row)

Taille des 10 plus grosses tables

select schemaname as table_schema,
    relname as table_name,
    pg_size_pretty(pg_total_relation_size(relid)) as total_size,
    pg_size_pretty(pg_relation_size(relid)) as data_size,
    pg_size_pretty(pg_total_relation_size(relid) - pg_relation_size(relid))
      as external_size
from pg_catalog.pg_statio_user_tables
order by pg_total_relation_size(relid) desc,
         pg_relation_size(relid) desc
limit 10;

 table_schema |              table_name               | total_size | data_size | external_size 
--------------+---------------------------------------+------------+-----------+---------------
 public       | state_groups_state                    | 82 GB      | 48 GB     | 34 GB
 public       | event_json                            | 7797 MB    | 6639 MB   | 1158 MB
 public       | events                                | 3195 MB    | 1370 MB   | 1826 MB
 public       | device_lists_changes_in_room          | 2129 MB    | 1020 MB   | 1109 MB
 public       | event_edges                           | 2031 MB    | 825 MB    | 1206 MB
 public       | event_auth                            | 1629 MB    | 1137 MB   | 492 MB
 public       | room_memberships                      | 1593 MB    | 581 MB    | 1013 MB
 public       | event_search                          | 1318 MB    | 758 MB    | 561 MB
 public       | cache_invalidation_stream_by_instance | 765 MB     | 574 MB    | 191 MB
 public       | event_to_state_groups                 | 762 MB     | 368 MB    | 393 MB
(10 rows)

Nombre de `state_groups` non référencés

select count(*) from state_groups sg
    left join event_to_state_groups esg on esg.state_group=sg.id
    left join state_group_edges e on e.prev_state_group=sg.id
where esg.state_group is null and e.prev_state_group is null;

 count 
-------
 34255
(1 row)

Pour faire simple on est affectés par ce bug : https://github.com/matrix-org/synapse/issues/3364

~~Il va probablement falloir regarder du côté de cet outil : https://github.com/matrix-org/rust-synapse-compress-state~~

Plutôt celui-ci : https://github.com/erikjohnston/synapse-find-unreferenced-state-groups comme expliqué dans ce commentaire.

Edit: d’ailleurs c’est aussi lié à Limiter les salons fédérés en fonction de leur complexité #100, parce que la complexité est directement dérivé de la quantité de « state » events.

vincent

Wow, c’est un bug qui date de 2018 toujours pas résolu ! Il doit être bien caché.

nicolas Plutôt celui-ci : https://github.com/erikjohnston/synapse-find-unreferenced-state-groups comme expliqué dans ce commentaire.

Haha, c’est magnifique ce script pour nous aider à écoper et sauver synapse de la noyade. 🌊⛵🌊

Do not blindly delete all the state groups that are returned by this tool.

😅

nicolas

vincent

Do not blindly delete all the state groups that are returned by this tool.

😅

https://github.com/matrix-org/synapse/issues/3364#issuecomment-1270428524
https://github.com/erikjohnston/synapse-find-unreferenced-state-groups/pull/8/files

Mais je suis toujours pas certain que ça soit complètement OK.

nicolas

Avec un peu de chance c’est précisément ce bug qu’on a : https://github.com/matrix-org/synapse/issues/12821

Parce que comme j’ai supprimé pas mal de grosse rooms dernièrement par rapport à Limiter les salons fédérés en fonction de leur complexité #100 et que je n’ai observé quasi aucune réduction de la taille de la bdd, j’imagine qu’en fait une bonne partie des données n’a pas vraiment été supprimée. Donc ça voudrait dire qu’on aurait un bon paquet d’espace à récupérer.

vincent

🛟 Mission : Il faut sauver Synapse 🛟

🚧 fermeture du service Matrix pour travaux technique 🚧

Dates : du samedi 26 Août au dimanche 27 Août

Comme le problème empire assez vite, on va couper le service Matrix ce Week End pour tenter de réparer les bugs « à la main ». @nicolas et @etienne vont se retrouver samedi après midi pour mettre le nez dedans.

Pour suivre l’avancé des travaux, il suffit de suivre ce fil de discussion. Et avant que ça coupe, il est possible d’en discuter sur la room #technique:club1.fr

vincent

J’ai fait une version rapidos de page Web indiquant que le service est fermé à mettre sur riot.club1.fr. Tout est dans ce superbe repo :

https://github.com/club-1/maintenance

nicolas

Purée mais je suis saoulé, c’est n’importe quoi tout à coup (en dehors du fait que prometheus s’est mis à planter lui aussi…) :

disk usage 2023-08-27

(1% fait un peu plus de 2Go)

Là je suis en train de lancer le delete des state groups non référencés trouvés par l’outil en rust cité plus haut. C’est pas encore fini, mais ça devrait faire gagner 20Go d’après les tests faits avec @etienne sur une autre machine.

nicolas

Euuh Houston, on a un problème. Ça vient de finir et la db fait exactement la même taille qu’avant.

synapse=# select pg_size_pretty(pg_database_size('synapse'));
 pg_size_pretty 
----------------
 131 GB
(1 row)

synapse=# select schemaname as table_schema,
    relname as table_name,
    pg_size_pretty(pg_total_relation_size(relid)) as total_size,
    pg_size_pretty(pg_relation_size(relid)) as data_size,
    pg_size_pretty(pg_total_relation_size(relid) - pg_relation_size(relid))
      as external_size
from pg_catalog.pg_statio_user_tables
order by pg_total_relation_size(relid) desc,
         pg_relation_size(relid) desc
limit 15;
 table_schema |              table_name               | total_size | data_size | external_size 
--------------+---------------------------------------+------------+-----------+---------------
 public       | state_groups_state                    | 99 GB      | 59 GB     | 40 GB
 public       | event_json                            | 8321 MB    | 7086 MB   | 1235 MB
 public       | events                                | 3517 MB    | 1472 MB   | 2046 MB
 public       | cache_invalidation_stream_by_instance | 2502 MB    | 1790 MB   | 712 MB
 public       | device_lists_changes_in_room          | 2439 MB    | 1139 MB   | 1300 MB
 public       | event_edges                           | 2309 MB    | 888 MB    | 1421 MB
 public       | received_transactions                 | 1930 MB    | 995 MB    | 935 MB
 public       | event_auth                            | 1819 MB    | 1222 MB   | 597 MB
 public       | room_memberships                      | 1624 MB    | 581 MB    | 1044 MB
 public       | event_search                          | 1460 MB    | 813 MB    | 648 MB
 public       | event_to_state_groups                 | 847 MB     | 396 MB    | 451 MB
 public       | event_auth_chain_links                | 745 MB     | 443 MB    | 302 MB
 public       | device_inbox                          | 707 MB     | 607 MB    | 100 MB
 public       | event_auth_chains                     | 684 MB     | 287 MB    | 397 MB
 public       | current_state_delta_stream            | 624 MB     | 551 MB    | 74 MB
(15 rows)

synapse=# select count(*) from state_groups sg
    left join event_to_state_groups esg on esg.state_group=sg.id
    left join state_group_edges e on e.prev_state_group=sg.id
where esg.state_group is null and e.prev_state_group is null;
 count 
-------
 37015
(1 row)

synapse=# SELECT 
      DISTINCT(state_groups.room_id) AS room_id_gone, COUNT(*) as count 
    FROM 
      state_groups       
      LEFT JOIN events USING(room_id) 
    WHERE 
      events.room_id IS NULL 
    GROUP BY 
      room_id_gone;
          room_id_gone           | count 
---------------------------------+-------
 !AGeUOyHpLMMrLYAkXW:matrix.org  |    36
 !CsFQYUPDhnAJICoKnh:matrix.org  |   349
 !HuhMGSUaJyvtuoVzTr:libera.chat |     2
 !OGEhHVWSdvArJzumhm:matrix.org  |   132
 !PvQGNjiCNulFZsMPud:matrix.org  |    56
 !SayHlEYXdrpSerhLMC:matrix.org  |    92
 !hbPGQxyHEvFEncGQxE:f-droid.org |     2
 !iuyQXswfjgxQMZGrfQ:matrix.org  |    16
 !kacSMbuIPxzQgVfRrc:libera.chat |     1
 !wOlkWNmgkAZFxbTaqj:matrix.org  |     8
 !wZBTEAQUretzLfLJEN:matrix.org  |     7
 !yhqiEdqNjyPbxtUjzm:matrix.org  |     3
(12 rows)

Total state groups: 529469
Found 55030 unreferenced groups

$ sudo psql synapse < delete-sgs.sql
[sudo] password for nicolas:
CREATE TABLE
COPY 55030
DELETE 253327253
DELETE 21503
DELETE 43490

select pg_size_pretty(pg_database_size('synapse'));
 pg_size_pretty 
----------------
 131 GB
(1 row)

synapse=# select schemaname as table_schema,
    relname as table_name,
    pg_size_pretty(pg_total_relation_size(relid)) as total_size,
    pg_size_pretty(pg_relation_size(relid)) as data_size,
    pg_size_pretty(pg_total_relation_size(relid) - pg_relation_size(relid))
      as external_size
from pg_catalog.pg_statio_user_tables
order by pg_total_relation_size(relid) desc,
         pg_relation_size(relid) desc
limit 15;
 table_schema |              table_name               | total_size | data_size | external_size 
--------------+---------------------------------------+------------+-----------+---------------
 public       | state_groups_state                    | 99 GB      | 59 GB     | 40 GB
 public       | event_json                            | 8321 MB    | 7086 MB   | 1235 MB
 public       | events                                | 3517 MB    | 1472 MB   | 2046 MB
 public       | cache_invalidation_stream_by_instance | 2502 MB    | 1790 MB   | 712 MB
 public       | device_lists_changes_in_room          | 2439 MB    | 1139 MB   | 1300 MB
 public       | event_edges                           | 2309 MB    | 888 MB    | 1421 MB
 public       | received_transactions                 | 1930 MB    | 995 MB    | 935 MB
 public       | event_auth                            | 1819 MB    | 1222 MB   | 597 MB
 public       | room_memberships                      | 1624 MB    | 581 MB    | 1044 MB
 public       | event_search                          | 1460 MB    | 813 MB    | 648 MB
 public       | event_to_state_groups                 | 847 MB     | 396 MB    | 451 MB
 public       | event_auth_chain_links                | 745 MB     | 443 MB    | 302 MB
 public       | device_inbox                          | 707 MB     | 607 MB    | 100 MB
 public       | event_auth_chains                     | 684 MB     | 287 MB    | 397 MB
 public       | current_state_delta_stream            | 624 MB     | 551 MB    | 74 MB
(15 rows)

synapse=# select count(*) from state_groups sg
    left join event_to_state_groups esg on esg.state_group=sg.id
    left join state_group_edges e on e.prev_state_group=sg.id
where esg.state_group is null and e.prev_state_group is null;
 count 
-------
     0
(1 row)

synapse=# SELECT 
      DISTINCT(state_groups.room_id) AS room_id_gone, COUNT(*) as count 
    FROM 
      state_groups 
      LEFT JOIN events USING(room_id) 
    WHERE 
      events.room_id IS NULL 
    GROUP BY 
      room_id_gone;
 room_id_gone | count 
--------------+-------
(0 rows)

Bon c’est peut-être parce qu’il est encore en train de autovacuum, attendons…

nicolas

Ok alors en fait la suppression a pris 1h45min mais finalement là le autovacuum est toujours pas fini après 2h. J’espère vraiment qu’une fois que ça sera fini on aura regagné un peu d’espace.

nicolas

Aaaaaaarg mais c’est pas vrai, mais qu’est ce qu’il s’amuse à faire postgres pendant tout ce temps, il a toujours pas fini de autovacuum… qu’est ce que ça me stresse cette histoire, je suis même pas certain que la bdd s’en trouve réduite à la fin.

nicolas

D’ailleurs @etienne la raison pour laquelle dans la VM on a pas observé de diminution de taille c’était peut-être aussi parce qu’il avait pas fini de autovacuum. Bon là c’est toujours pas terminé. Je me dis que je vais peut-être quand-même redémarrer synapse au bout d’un moment, parce que normalement les deux processus doivent pouvoir fonctionner en parallèle.

nicolas

Bon, ça vient de finir, par contre vraiment je ne comprends pas. La Db n’as pas diminué d’un poil de taille malgré le fait qu’il y a bel et bien plusieurs millions de lignes qui ont été supprimées. C’est terrible

nicolas

Bon ben là je ne comprends plus rien, j’ai retenté un vacuum manuel avec l’option index_cleanup forcée puisque de mémoire c’est ça qu’on avait observé diminuer avec @etienne mais ça n’a rien changé…

synapse=# vacuum (analyse, verbose, index_cleanup on) state_groups_state;
INFO:  vacuuming "public.state_groups_state"
INFO:  index "state_groups_state_type_idx" now contains 147424049 row versions in 5304246 pages
DETAIL:  0 index row versions were removed.
3631042 index pages have been deleted, 3631042 are currently reusable.
CPU: user: 10.36 s, system: 42.83 s, elapsed: 174.61 s.
INFO:  "state_groups_state": found 0 removable, 0 nonremovable row versions in 1 out of 7700679 pages
DETAIL:  0 dead row versions cannot be removed yet, oldest xmin: 327025693
There were 34 unused item identifiers.
Skipped 0 pages due to buffer pins, 7398724 frozen pages.
0 pages are entirely empty.
CPU: user: 10.70 s, system: 42.86 s, elapsed: 174.99 s.
INFO:  "state_groups_state": truncated 7700679 to 7700654 pages
DETAIL:  CPU: user: 0.00 s, system: 0.00 s, elapsed: 0.00 s
INFO:  aggressively vacuuming "pg_toast.pg_toast_17079"
INFO:  index "pg_toast_17079_index" now contains 0 row versions in 1 pages
DETAIL:  0 index row versions were removed.
0 index pages have been deleted, 0 are currently reusable.
CPU: user: 0.00 s, system: 0.00 s, elapsed: 0.00 s.
INFO:  "pg_toast_17079": found 0 removable, 0 nonremovable row versions in 0 out of 0 pages
DETAIL:  0 dead row versions cannot be removed yet, oldest xmin: 327026409
There were 0 unused item identifiers.
Skipped 0 pages due to buffer pins, 0 frozen pages.
0 pages are entirely empty.
CPU: user: 0.00 s, system: 0.00 s, elapsed: 0.00 s.
INFO:  analyzing "public.state_groups_state"
INFO:  "state_groups_state": scanned 30000 of 7700654 pages, containing 567310 live rows and 0 dead rows; 30000 rows in sample, 145621934 estimated total rows
VACUUM

Je suis en PLS

nicolas

Youhou !! La commande reindex (verbose) database synapse; a enfin eu l’effet escompté ! Après 2074 secondes des plus stressantes la bdd s’est retrouvé réduite aux quelques 98Go attendus. L’idée vient de cet article de levans.fr vraiment clair et qui m’a bien aidé.

INFO:  index "state_groups_state_type_idx" was reindexed
DETAIL:  CPU: user: 280.57 s, system: 85.32 s, elapsed: 2074.46 s

Du coup comme normalement il y a enfin un peu de place sur le disque, j’an profite pour lancer un vacuum full verbose analyse; (qui avait lamentablement planté la dernière fois à cause du manque d’espace).

nicolas

Eh ben on y arrive !

INFO:  "state_groups_state": found 22996343 removable, 125315750 nonremovable row versions in 7700654 pages
DETAIL:  0 dead row versions cannot be removed yet.
CPU: user: 120.76 s, system: 115.20 s, elapsed: 1170.90 s.

Au passage j’ai découvert et appris à utiliser reptyr, un peu chelou mais efficace.

nicolas

pg_size_pretty 
----------------
 56 GB

 table_schema |              table_name               | total_size | data_size | external_size 
--------------+---------------------------------------+------------+-----------+---------------
 public       | state_groups_state                    | 27 GB      | 18 GB     | 8754 MB
 public       | event_json                            | 8170 MB    | 6964 MB   | 1205 MB
 public       | events                                | 3360 MB    | 1438 MB   | 1922 MB
 public       | device_lists_changes_in_room          | 2380 MB    | 1141 MB   | 1239 MB
 public       | cache_invalidation_stream_by_instance | 2249 MB    | 1611 MB   | 639 MB
 public       | event_edges                           | 2144 MB    | 868 MB    | 1276 MB
 public       | event_auth                            | 1648 MB    | 1150 MB   | 498 MB
 public       | received_transactions                 | 1567 MB    | 895 MB    | 672 MB
 public       | event_search                          | 1418 MB    | 810 MB    | 608 MB
 public       | room_memberships                      | 1017 MB    | 435 MB    | 582 MB
 public       | event_to_state_groups                 | 808 MB     | 391 MB    | 418 MB
 public       | device_inbox                          | 700 MB     | 602 MB    | 98 MB
 public       | current_state_delta_stream            | 633 MB     | 558 MB    | 75 MB
 public       | event_auth_chain_links                | 506 MB     | 332 MB    | 174 MB
 public       | state_events                          | 471 MB     | 325 MB    | 146 MB

nicolas

Bon, je crois qu’on est repartis pour un tour :

 pg_size_pretty 
----------------
 184 GB

Et :

Total state groups: 1189772
Found 78880 unreferenced groups