PDA

Просмотр полной версии : Быстрый импорт большой базы Mysql


pikasun
30.07.2010, 11:28
Имеется дамп mysql базы. Вливаю файл размером 1.6 Гига обычным способом. Процесс достаточно долгий. Кто подскажет нужные программы?

frozen0rb
30.07.2010, 14:26
Быстрее, чем через консоль ничего не будет. А большая часть программ под дампом такого размера сложатся.

pikasun
30.07.2010, 15:30
Попробовал всеми рекламируемый Sypex Dumper. Скорости не увидел.
Глюки вылетали при экспорте. Импорт даже делать не стал.
На самом деле базы значительно больше будут, похоже придется все на ночь заряжать...

vgvgvg
31.07.2010, 22:57
А порезать дамп руками на части и лить несколько кусков параллельно?



pikasun написал(а):

Попробовал всеми рекламируемый Sypex Dumper. Скорости не увидел.
Глюки вылетали при экспорте. Импорт даже делать не стал.
На самом деле базы значительно больше будут, похоже придется все на ночь заряжать...

pikasun
02.08.2010, 11:45
База под 30 гиг. Бум пробовать порезать...

vgvgvg
06.08.2010, 00:53
Ну тогда уж и экспортировать потаблично...
А еще надо посмотреть во что упираетесь при импорте. iostat посмотреть, наверняка в диски. Можно ли раскидать по разным дискам одновременно импортируемые таблицы?



pikasun написал(а):

База под 30 гиг. Бум пробовать порезать...

Akme
07.08.2010, 11:02
pikasun написал(а):

База под 30 гиг. Бум пробовать порезать...


Фига се базко - Подозреваю, что и порезать не получится, если потаблично, потому как скорее всего есть доминирующая табличка или парочка таких, которые в сумме и занимают 90 % объёма от этих 30 Гб. Была похожая ситуация, хоть порядка немного поменьше - гигов 5 была база (хотя даже и не mysql, но не суть), в ней две таблицы были по 2 гига, а остальные сотни таблиц занимали оставшийся гиг. Ситуация с доминирующей таблицей думаю типовая, хотя могут конечно быть и исключительные ситуации, что требует предварительного (перед перегонкой базы) её анализа.

pikasun
09.08.2010, 09:30
Akme написал(а):

Фига се базко

Это из старой версии UTM5 биллинга. Переехали на новую версию, база значительно уменьшилась.

Akme
11.08.2010, 12:11
pikasun написал(а):

Это из старой версии UTM5 биллинга. Переехали на новую версию, база значительно уменьшилась.




Для просмотра скрытого содержимого необходимо иметь 51 сообщение, у вас 0 сообщений.

pikasun
11.08.2010, 13:51
Для просмотра скрытого содержимого необходимо иметь 51 сообщение, у вас 0 сообщений.

Akme
11.08.2010, 17:21
pikasun написал(а):

*** скрытое содержание ***



Для просмотра скрытого содержимого необходимо иметь 51 сообщение, у вас 0 сообщений.


Как, к стати, решилась ситуация? - Какими средствами и временем обошёлся в итоге перегонки базки?

pikasun
11.08.2010, 17:30
Переехали на новую версию UTM5, экспортировали реквизиты клиентов.
Перезавели ранее все аккаунты. Базу не тянули соответственно.
Сейчас настроили репликацию по mysql и бекапы с реплики. Клиентов больше 1000 поэтому база растет.
Бум наблюдать дальше, что с объемами будет твориться.

pikasun
12.08.2010, 15:49
XtraDB

Начал смотреть в сторону XtraDB. Интересно насколько она эффективна.
http://www.percona.com/ (https://href.li/?http://www.percona.com/)