[Spacewalk-list] Increase speed of PostgreSQL Backup - SpaceWalk 2.5

[Matthias Gruber]

Hi!

I am seeking for a way to increase the speed of our SpaceWalk-Backup. The
most time of it is consumed by the spacewalk-dobby -> db-control backup
Process.
Is there a way to increase the speed, as I notices the db-control only
uses one CPU, is that modifyable?

Any hints or clues are welcomed

cheers
Matthias


------------------------------------------------------------------------------------
METZLER
Informationstechnologie

Matthias Gruber
IT-Infrastruktur & -Betrieb

B. Metzler seel. Sohn & Co.
Kommanditgesellschaft auf Aktien
Untermainanlage 1
60329 Frankfurt am Main
Telefon [phone] - 43 30
Telefax (0 69) 21 04 - 40 40
***@metzler.com
www.metzler.com


Persönlich haftende Gesellschafter: Harald Illy, Michael Klaus, Friedrich von Metzler, Emmerich MÌller, Gerhard Wiesheu
Vorsitzender des Aufsichtsrats: Dr. Christoph SchÃŒcking
Sitz der Gesellschaft: Frankfurt am Main, Handelsregister-Nr. HRB 27 515

Diese Nachricht ist vertraulich. Sollten Sie nicht der vorgesehene EmpfÀnger sein, so bitten wir Sie höflich, dies unverzÌglich dem Absender mitzuteilen und die Nachricht zu löschen. Es ist unzulÀssig, die Nachricht unbefugt weiterzuleiten oder zu kopieren. Da wir nicht die Echtheit oder VollstÀndigkeit der in dieser Nachricht enthaltenen Informationen garantieren oder zusichern können, sind die vorstehenden AusfÌhrungen rechtlich nicht bindend. Eine Haftung hierfÌr wird ausgeschlossen.
This message is confidential. If you are not the intended recipient, we kindly ask you to inform the sender and delete the information. Any unauthorised dissemination or copying hereof is prohibited. As we cannot guarantee or assure the genuineness or completeness of the information contained in this message, the statements set forth above are not legally binding. Accordingly we cannot accept any liability for their contents.

[Matthias Gruber]

Hi!

If someone seeks for a similiar "problem", I found following

I stumbled over
https://bugzilla.redhat.com/show_bug.cgi?id=1056417

Took this as clue and went straight into
/usr/share/perl5/vendor_perl/Dobby/CLI/BackupCommands.pm

where I changed
my $ret = system(@{Dobby::CLI::MiscCommands::pg_version('pg_dump')},
"--blobs", "--clean", "-Fc", "-v", "-Z7", "--file=$file",
PXT::Config->get('db_na me'));
to
my $ret = system(@{Dobby::CLI::MiscCommands::pg_version('pg_dump')},
"--blobs", "--clean", "-Fc", "-v", "-Z2", "--file=$file",
PXT::Config->get('db_na me'));

well takes more space for the Backup, but if it doesnt has so much time in
compression, its okay for me... perhaps I woll even change the -Fc
man pg_dump is helpfull

I will give that a try.


cheers
Matthias

------------------------------------------------------------------------------------
METZLER
Informationstechnologie

Matthias Gruber
IT-Infrastruktur & -Betrieb

B. Metzler seel. Sohn & Co.
Kommanditgesellschaft auf Aktien
Untermainanlage 1
60329 Frankfurt am Main
Telefon [phone] - 43 30
Telefax (0 69) 21 04 - 40 40
***@metzler.com
www.metzler.com



Von: "Matthias Gruber" <***@metzler.com>
An: spacewalk-***@redhat.com
Datum: 28.11.2018 12:24
Betreff: [Spacewalk-list] Increase speed of PostgreSQL Backup -
SpaceWalk 2.5
Gesendet von: spacewalk-list-***@redhat.com



* PGP Bad Signature, Signed: 11/28/2018 at 12:23:18 PM
Hi!

I am seeking for a way to increase the speed of our SpaceWalk-Backup. The
most time of it is consumed by the spacewalk-dobby -> db-control backup
Process.
Is there a way to increase the speed, as I notices the db-control only
uses one CPU, is that modifyable?

Any hints or clues are welcomed

cheers
Matthias


------------------------------------------------------------------------------------
METZLER
Informationstechnologie

Matthias Gruber
IT-Infrastruktur & -Betrieb

B. Metzler seel. Sohn & Co.
Kommanditgesellschaft auf Aktien
Untermainanlage 1
60329 Frankfurt am Main
Telefon [phone] - 43 30
Telefax (0 69) 21 04 - 40 40
***@metzler.com
www.metzler.com


Persönlich haftende Gesellschafter: Harald Illy, Michael Klaus, Friedrich
von Metzler, Emmerich Müller, Gerhard Wiesheu
Vorsitzender des Aufsichtsrats: Dr. Christoph Schücking
Sitz der Gesellschaft: Frankfurt am Main, Handelsregister-Nr. HRB 27 515

Diese Nachricht ist vertraulich. Sollten Sie nicht der vorgesehene
Empfänger sein, so bitten wir Sie höflich, dies unverzüglich dem Absender
mitzuteilen und die Nachricht zu löschen. Es ist unzulässig, die Nachricht
unbefugt weiterzuleiten oder zu kopieren. Da wir nicht die Echtheit oder
Vollständigkeit der in dieser Nachricht enthaltenen Informationen
garantieren oder zusichern können, sind die vorstehenden Ausführungen
rechtlich nicht bindend. Eine Haftung hierfür wird ausgeschlossen.
This message is confidential. If you are not the intended recipient, we
kindly ask you to inform the sender and delete the information. Any
unauthorised dissemination or copying hereof is prohibited. As we cannot
guarantee or assure the genuineness or completeness of the information
contained in this message, the statements set forth above are not legally
binding. Accordingly we cannot accept any liability for their contents.
* Matthias Gruber <***@metzler.com>
* 0xDAF721D3

* PGP Unprotected
* text/plain body
* PGP Unprotected

_______________________________________________
Spacewalk-list mailing list
Spacewalk-***@redhat.com
https://www.redhat.com/mailman/listinfo/spacewalk-list


* PGP Bad Signature, Signed: 11/28/2018 at 12:23:18 PM
* text/plain body
* text/html body
* Matthias Gruber <***@metzler.com>
* 0xDAF721D3





Persönlich haftende Gesellschafter: Harald Illy, Michael Klaus, Friedrich von Metzler, Emmerich Müller, Gerhard Wiesheu
Vorsitzender des Aufsichtsrats: Dr. Christoph Schücking
Sitz der Gesellschaft: Frankfurt am Main, Handelsregister-Nr. HRB 27 515

Diese Nachricht ist vertraulich. Sollten Sie nicht der vorgesehene Empfänger sein, so bitten wir Sie höflich, dies unverzüglich dem Absender mitzuteilen und die Nachricht zu löschen. Es ist unzulässig, die Nachricht unbefugt weiterzuleiten oder zu kopieren. Da wir nicht die Echtheit oder Vollständigkeit der in dieser Nachricht enthaltenen Informationen garantieren oder zusichern können, sind die vorstehenden Ausführungen rechtlich nicht bindend. Eine Haftung hierfür wird ausgeschlossen.
This message is confidential. If you are not the intended recipient, we kindly ask you to inform the sender and delete the information. Any unauthorised dissemination or copying hereof is prohibited. As we cannot guarantee or assure the genuineness or completeness of the information contained in this message, the statements set forth above are not legally binding. Accordingly we cannot accept any liability for their contents.

[Matthias Gruber]

Hi!

For the books, my previous "solution" was only for online_backups :-/

Now I found something else, which I use and could reduce the time quite
well

In: /usr/share/perl5/vendor_perl/Dobby/Files.pm
the line
my $gz = gzopen("$dst", "wb") or die "gzopen: $!\n";
was changed to
my $gz = gzopen("$dst", "wb1") or die "gzopen: $!\n";

Thats line 45 in subroutine gzip_copy

Cheers
Matthias

------------------------------------------------------------------------------------
METZLER
Informationstechnologie

Matthias Gruber
IT-Infrastruktur & -Betrieb

B. Metzler seel. Sohn & Co.
Kommanditgesellschaft auf Aktien
Untermainanlage 1
60329 Frankfurt am Main
Telefon [phone] - 43 30
Telefax (0 69) 21 04 - 40 40
***@metzler.com
www.metzler.com



Von: Matthias Gruber/METZLER
An: spacewalk-***@redhat.com
Datum: 29.11.2018 14:39
Betreff: Antwort: [Spacewalk-list] Increase speed of PostgreSQL
Backup - SpaceWalk 2.5


Hi!

If someone seeks for a similiar "problem", I found following

I stumbled over
https://bugzilla.redhat.com/show_bug.cgi?id=1056417

Took this as clue and went straight into
/usr/share/perl5/vendor_perl/Dobby/CLI/BackupCommands.pm

where I changed
my $ret = system(@{Dobby::CLI::MiscCommands::pg_version('pg_dump')},
"--blobs", "--clean", "-Fc", "-v", "-Z7", "--file=$file",
PXT::Config->get('db_na me'));
to
my $ret = system(@{Dobby::CLI::MiscCommands::pg_version('pg_dump')},
"--blobs", "--clean", "-Fc", "-v", "-Z2", "--file=$file",
PXT::Config->get('db_na me'));

well takes more space for the Backup, but if it doesnt has so much time in
compression, its okay for me... perhaps I woll even change the -Fc
man pg_dump is helpfull

I will give that a try.


cheers
Matthias

------------------------------------------------------------------------------------
METZLER
Informationstechnologie

Matthias Gruber
IT-Infrastruktur & -Betrieb

B. Metzler seel. Sohn & Co.
Kommanditgesellschaft auf Aktien
Untermainanlage 1
60329 Frankfurt am Main
Telefon [phone] - 43 30
Telefax (0 69) 21 04 - 40 40
***@metzler.com
www.metzler.com




Von: "Matthias Gruber" <***@metzler.com>
An: spacewalk-***@redhat.com
Datum: 28.11.2018 12:24
Betreff: [Spacewalk-list] Increase speed of PostgreSQL Backup -
SpaceWalk 2.5
Gesendet von: spacewalk-list-***@redhat.com



* PGP Bad Signature, Signed: 11/28/2018 at 12:23:18 PM
Hi!

I am seeking for a way to increase the speed of our SpaceWalk-Backup. The
most time of it is consumed by the spacewalk-dobby -> db-control backup
Process.
Is there a way to increase the speed, as I notices the db-control only
uses one CPU, is that modifyable?

Any hints or clues are welcomed

cheers
Matthias


------------------------------------------------------------------------------------
METZLER
Informationstechnologie

Matthias Gruber
IT-Infrastruktur & -Betrieb

B. Metzler seel. Sohn & Co.
Kommanditgesellschaft auf Aktien
Untermainanlage 1
60329 Frankfurt am Main
Telefon [phone] - 43 30
Telefax (0 69) 21 04 - 40 40
***@metzler.com
www.metzler.com


Persönlich haftende Gesellschafter: Harald Illy, Michael Klaus, Friedrich
von Metzler, Emmerich Müller, Gerhard Wiesheu
Vorsitzender des Aufsichtsrats: Dr. Christoph Schücking
Sitz der Gesellschaft: Frankfurt am Main, Handelsregister-Nr. HRB 27 515

Diese Nachricht ist vertraulich. Sollten Sie nicht der vorgesehene
Empfänger sein, so bitten wir Sie höflich, dies unverzüglich dem Absender
mitzuteilen und die Nachricht zu löschen. Es ist unzulässig, die Nachricht
unbefugt weiterzuleiten oder zu kopieren. Da wir nicht die Echtheit oder
Vollständigkeit der in dieser Nachricht enthaltenen Informationen
garantieren oder zusichern können, sind die vorstehenden Ausführungen
rechtlich nicht bindend. Eine Haftung hierfür wird ausgeschlossen.
This message is confidential. If you are not the intended recipient, we
kindly ask you to inform the sender and delete the information. Any
unauthorised dissemination or copying hereof is prohibited. As we cannot
guarantee or assure the genuineness or completeness of the information
contained in this message, the statements set forth above are not legally
binding. Accordingly we cannot accept any liability for their contents.
* Matthias Gruber <***@metzler.com>
* 0xDAF721D3

* PGP Unprotected
* text/plain body
* PGP Unprotected

_______________________________________________
Spacewalk-list mailing list
Spacewalk-***@redhat.com
https://www.redhat.com/mailman/listinfo/spacewalk-list


* PGP Bad Signature, Signed: 11/28/2018 at 12:23:18 PM
* text/plain body
* text/html body
* Matthias Gruber <***@metzler.com>
* 0xDAF721D3






Persönlich haftende Gesellschafter: Harald Illy, Michael Klaus, Friedrich von Metzler, Emmerich Müller, Gerhard Wiesheu
Vorsitzender des Aufsichtsrats: Dr. Christoph Schücking
Sitz der Gesellschaft: Frankfurt am Main, Handelsregister-Nr. HRB 27 515

Diese Nachricht ist vertraulich. Sollten Sie nicht der vorgesehene Empfänger sein, so bitten wir Sie höflich, dies unverzüglich dem Absender mitzuteilen und die Nachricht zu löschen. Es ist unzulässig, die Nachricht unbefugt weiterzuleiten oder zu kopieren. Da wir nicht die Echtheit oder Vollständigkeit der in dieser Nachricht enthaltenen Informationen garantieren oder zusichern können, sind die vorstehenden Ausführungen rechtlich nicht bindend. Eine Haftung hierfür wird ausgeschlossen.
This message is confidential. If you are not the intended recipient, we kindly ask you to inform the sender and delete the information. Any unauthorised dissemination or copying hereof is prohibited. As we cannot guarantee or assure the genuineness or completeness of the information contained in this message, the statements set forth above are not legally binding. Accordingly we cannot accept any liability for their contents.