Server performance mysql ubuntu

[ortchi]

Hallo,

Ich betreibe einen Server für verschiedene Altcoins (virtuelle Währungen).
Meine Server Hardware:

• AMD Opteron™, 8 Cores, 8x 2,3 GHz
• 32 GB DDR3-RAM
• 2x 250 GB SSD, 80K IOPS

Als BS läuft ubuntu Server 12.04 LAMP

Bis gestern lief alles super, bis jetzt MYSQL den Prozessor zwischen 60-100% Auslastet
mysql 3444 294 0.7 4500296 247500 ? Ssl 15:23 121:55 /usr/sbin/mysqld

top - 16:07:47 up 4 days, 19:08, 1 user, load average: 6.49, 6.59, 7.13
Tasks: 299 total, 2 running, 289 sleeping, 0 stopped, 8 zombie
Cpu(s): 44.0%us, 2.0%sy, 1.4%ni, 46.2%id, 6.1%wa, 0.0%hi, 0.3%si, 0.0%st
Mem: 32689704k total, 15991528k used, 16698176k free, 217552k buffers
Swap: 7996348k total, 0k used, 7996348k free, 8995812k cached


Mysql läuft auf den Standardwerten, bis auf max Connections, die habe ich auf 2000 erhöht, da er teilweise über 1000 Verbindungen auf meinem alten Server hatte.

Am Ende kommt noch die Auswertung von tuning-primer.sh. Ich weis das ich es erst 2 Tage laufen lassen muss, aber ich hatte gehofft, das ein Neustart der Datenbank hilft.

Für Hilfe steht auch eine Belohnung 0,1 BTC (Bitcoin) oder 600 DEM (deutsche elektronische Mark) zur Verfügung! Bei mehreren wird Aufgeteilt.


DANKE und Grüße!

ORtchi



bash tuning-primer.sh

-- MYSQL PERFORMANCE TUNING PRIMER --
- By: Matthew Montgomery -

MySQL Version 5.5.34-0ubuntu0.12.04.1 x86_64

Uptime = 0 days 0 hrs 54 min 34 sec
Avg. qps = 497
Total Questions = 1629090
Threads Connected = 29

Warning: Server has not been running for at least 48hrs.
It may not be safe to use these recommendations

To find out more information on how each of these
runtime variables effects performance visit:
http://dev.mysql.com/doc/refman/5.5/en/server-system-variables.html
Visit http://www.mysql.com/products/enterprise/advisors.html
for info about MySQL's Enterprise Monitoring and Advisory Service

SLOW QUERIES
The slow query log is NOT enabled.
Current long_query_time = 10.000000 sec.
You have 12 out of 1629183 that take longer than 10.000000 sec. to complete
Your long_query_time seems to be fine

BINARY UPDATE LOG
The binary update log is NOT enabled.
You will not be able to do point in time recovery
See http://dev.mysql.com/doc/refman/5.5/en/point-in-time-recovery.html

WORKER THREADS
Current thread_cache_size = 8
Current threads_cached = 1
Current threads_per_sec = 0
Historic threads_per_sec = 0
Your thread_cache_size is fine

MAX CONNECTIONS
Current max_connections = 2000
Current threads_connected = 31
Historic max_used_connections = 82
The number of used connections is 4% of the configured maximum.
You are using less than 10% of your configured max_connections.
Lowering max_connections could help to avoid an over-allocation of memory
See "MEMORY USAGE" section to make sure you are not over-allocating

INNODB STATUS
Current InnoDB index space = 445 M
Current InnoDB data space = 618 M
Current InnoDB buffer pool free = 0 %
Current innodb_buffer_pool_size = 128 M
Depending on how much space your innodb indexes take up it may be safe
to increase this value to up to 2 / 3 of total system memory

MEMORY USAGE
Max Memory Ever Allocated : 396 M
Configured Max Per-thread Buffers : 5.24 G
Configured Max Global Buffers : 176 M
Configured Max Memory Limit : 5.42 G
Physical Memory : 31.17 G
Max memory limit seem to be within acceptable norms

KEY BUFFER
No key reads?!
Seriously look into using some indexes
Current MyISAM index space = 141 K
Current key_buffer_size = 16 M
Key cache miss rate is 1 : 0
Key buffer free ratio = 81 %
Your key_buffer_size seems to be fine

QUERY CACHE
Query cache is enabled
Current query_cache_size = 16 M
Current query_cache_used = 5 M
Current query_cache_limit = 1 M
Current Query cache Memory fill ratio = 32.57 %
Current query_cache_min_res_unit = 4 K
MySQL won't cache query results that are larger than query_cache_limit in size

SORT OPERATIONS
Current sort_buffer_size = 2 M
Current read_rnd_buffer_size = 256 K
Sort buffer seems to be fine

JOINS
Current join_buffer_size = 132.00 K
You have had 5 queries where a join could not use an index properly
You should enable "log-queries-not-using-indexes"
Then look for non indexed joins in the slow query log.
If you are unable to optimize your queries you may want to increase your
join_buffer_size to accommodate larger joins in one pass.

Note! This script will still suggest raising the join_buffer_size when
ANY joins not using indexes are found.

OPEN FILES LIMIT
Current open_files_limit = 10000 files
The open_files_limit should typically be set to at least 2x-3x
that of table_cache if you have heavy MyISAM usage.
Your open_files_limit value seems to be fine

TABLE CACHE
Current table_open_cache = 400 tables
Current table_definition_cache = 400 tables
You have a total of 329 tables
You have 400 open tables.
Current table_cache hit rate is 7%
, while 100% of your table cache is in use
You should probably increase your table_cache

TEMP TABLES
Current max_heap_table_size = 16 M
Current tmp_table_size = 16 M
Of 178020 temp tables, 0% were created on disk
Created disk tmp tables ratio seems fine

TABLE SCANS
Current read_buffer_size = 128 K
Current table scan ratio = 1648 : 1
read_buffer_size seems to be fine

TABLE LOCKING
Current Lock Wait ratio = 0 : 1630764
Your table locking seems to be fine

 

[akretschmer]

Für Hilfe steht auch eine Belohnung 0,1 BTC (Bitcoin) oder 600 DEM (deutsche elektronische Mark) zur Verfügung! Bei mehreren wird Aufgeteilt.

Deine virtuelle Währung ist mir schnurz, aber was war jetzt die Frage?

Sollte diese MySQL sein, dann ist meine Antwort: Nein!

Nabnd.

 

[ortchi]

OK jetzt mal die Frage ausführlich hingeschrieben
Kann mir bitte jemand helfen die Datenbank zu optimieren?
Da es eine aktive Datenbank ist, will ich nicht mit den Werten rumspielen und damit mit dem Geld der User

 

[akretschmer]

OK jetzt mal die Frage ausführlich hingeschrieben
Kann mir bitte jemand helfen die Datenbank zu optimieren?
Da es eine aktive Datenbank ist, will ich nicht mit den Werten rumspielen und damit mit dem Geld der User

MySQL läuft deutlich besser, wenn man es gegen eine richtige Datenbank austauscht.

Ansonsten: Feintuning an Parametern kann man machen, bringt in der Realität viellcht 10 %. Einige Zehnerpotenzen mehr werden nach meiner Erfahrung in der Regel durch

• falsches Design der Tabellen
• falsch gestellte Abfragen
• falsche / fehlende Indexe
• falsche Datentypen
• falsche Datenbank
• ...

verschenkt.

Ohne zu wissen, was Du machst, ohne EXPLAIN zu sehen (okay, das Explain von MySQL will man auch lieber nicht sehen), ohne Tabellen und Abfragen zu sehen etc. kann Dir sicherlich keiner helfen.

Ein erster Ansatz wäre aber, slow_query_log anzuschalten und diese Abfragen dann mit Explain zu untersuchen, dabei aber den Würgreiz unterdrücken!

 

[ukulele]

SLOW QUERIES
The slow query log is NOT enabled.
Current long_query_time = 10.000000 sec.
You have 12 out of 1629183 that take longer than 10.000000 sec. to complete

Heist das es gibt 1629183 verschiedene Querys oder es wurden insgesamt soviele Querys ausgeführt? Auf jedenfall wären die 12 langen interessant sofern sie wesentlich länger als 10 Sekunden laufen.

 

[akretschmer]

SLOW QUERIES
The slow query log is NOT enabled.
Current long_query_time = 10.000000 sec.
You have 12 out of 1629183 that take longer than 10.000000 sec. to complete

Heist das es gibt 1629183 verschiedene Querys oder es wurden insgesamt soviele Querys ausgeführt?

Gesamtanzahl. MySQL zählt, soweit ich weiß, nicht unterschiedliche Abfragen.

Auf jedenfall wären die 12 langen interessant sofern sie wesentlich länger als 10 Sekunden laufen.

Ja, Aber das sind nur 12 von 1629183, bleiben noch 1629171 andere. Wenn diese alle knapp unter 10 Sekunden jeweils laufen wäre es sinnvoller, sich um diese zu kümmern. Aber dazu müßte man halt wissen, wie die korrekten Verhältnisse sind. Sinnvoll wäre sicherlich, diese Zeitschwelle runterzusetzen, damit man mehr im Slow-Log sieht.

Unter PG gibt es übrigens ein nettes Contrib-Modul, mit dem man seine Problemabfragen schön ermitteln kann: http://www.postgresql.org/docs/9.3/interactive/pgstatstatements.html


Andreas

 

[ukulele]

Muss ich zustimmen. Zumal ich gar nicht weis was eine DB für eine virtuelle Währung so tut

 

[Margit]

bis jetzt MYSQL den Prozessor zwischen 60-100% Auslastet

Auf einen ersten schnellen Blick fallen folgende Dinge auf:

• Current max_connections = 2000
  Historic max_used_connections = 82
  D.h. du hältst sehr viele Connections frei (und verschwendest damit RAM), benutzt werden aber nur sehr wenige - reduzieren! (ausser, das ist Absicht)
• Current innodb_buffer_pool_size = 128 M
  Current key_buffer_size = 16 M
  Du benutzt sowohl Myisam- wie auch Innodb-Tabellen, von daher ist die Verwendung beider Caches fein - aber sie sind beide nicht sehr gross definiert und damit verschenkst du Performance. Vergrössere beide Caches
  

 

[Margit]

Feintuning an Parametern kann man machen, bringt in der Realität viellcht 10 %.

Da täuscht du dich aber sehr - ich erleb oft, dass die Datenbanken mit grundfalschen Einstellungen betrieben werden und nach einer kleinen Optimierung der alte Server locker reicht wo schon dran gedacht wurde, Hardware hinterher zu schmeissen.

 

[akretschmer]

Da täuscht du dich aber sehr - ich erleb oft, dass die Datenbanken mit grundfalschen Einstellungen betrieben werden und nach einer kleinen Optimierung der alte Server locker reicht wo schon dran gedacht wurde, Hardware hinterher zu schmeissen.

Na gut ;-)