Реклама на сайте Advertise with us

Как задампить базу в 22 гига

Расширенный поиск по форуму
 
Новая тема Новая тема   
Автор
Поиск в теме:

Z

С нами с 15.05.05
Сообщения: 55188
Рейтинг: 7770


Передовик Master-X (16.10.2007) Передовик Master-X (16.12.2010) Передовик Master-X (01.02.2015) Передовик Master-X (16.05.2015) Передовик Master-X (01.06.2015) Ветеран трепа Master-X (16.06.2015)
Ссылка на сообщениеДобавлено: 04/06/13 в 00:21       Ответить с цитатойцитата 

вообщем сабж
никак не получается забакапить базу Mysql размером 22 гига
в консоле делаю
mysqldump --skip-opt -u USER -pPASS BASENAME > BASENAME.sql

получаю через некоторое время

mysqldump: Got error: 2013: Lost connection to MySQL server during query when retrieving data from server

и чего делать ?

andreich дарит вам акцию до 1 000р
КАТАЛОГ ПАРТНЕРОК | Бурж Гембла – тут! | RU Датинг на подписках

1
 



С нами с 27.09.03
Сообщения: 5454
Рейтинг: 2506

Ссылка на сообщениеДобавлено: 04/06/13 в 01:13       Ответить с цитатойцитата 

таблицы MyISAM?
долгое время я работал с проектом с большими данными, в итоге самое просто решение было тупо копировать файлы из /var/lib/mysql/my_database
но InnoDB так вроде не копируется, а MyISAM вполне.

0
 

Криптопохуист

С нами с 05.04.03
Сообщения: 17158
Рейтинг: 6019

Ссылка на сообщениеДобавлено: 04/06/13 в 02:16       Ответить с цитатойцитата 

Вообще я обычно кладу базы на LVM раздел. Очень удобно бекапать большие базы на живую.

1. Заходишь на сервер двумя консолями.
2. В первой: коннект через mysql: FLUSH TABLES WITH READ LOCK; из консоли мускуля НЕ выходить.
3. Во второй: lvcreate -s -L5G -n mybackup /dev/mapper/lvmysql
4. В первой: UNLOCK TABLES. выходим

Создался снапшот тома /dev/mapper/lvmysql под именем /dev/mapper/mybackup. ИЧСХ, создался когда в базу ничего не писалось.

Теперь можно замонтировать /dev/mapper/mybackup куда то и слить оттуда снапшоты всех файлов баз данных.

Ну и потом /dev/mapper/mybackup надо удалить.

Это очень удобно, однако
1. Базы уже должны лежать на томе LVM
2. В Volume Group должно хватать свободного места для снепшота.

http://www.pentarh.com/wp/2010/08/12/mysql-remote-encrypted-backup-lvm-snapshot/

5
 

www.phpdevs.com

С нами с 24.10.02
Сообщения: 16633
Рейтинг: 16105


Передовик Master-X (01.09.2005) Передовик Master-X (16.09.2005) Передовик Master-X (01.10.2005) Передовик Master-X (16.08.2006) Передовик Master-X (16.10.2006) Ветеран трепа Master-X ()
Ссылка на сообщениеДобавлено: 04/06/13 в 02:21       Ответить с цитатойцитата 

попробуй с ключем --skip-extended-insert

Пишу на php/mysql/django за вменяемые деньги.
Обращаться в личку.

0
 

генерал-губернатор Одессы

С нами с 11.04.04
Сообщения: 19289
Рейтинг: 1861


Передовик Master-X (16.06.2018)
Ссылка на сообщениеДобавлено: 04/06/13 в 06:47       Ответить с цитатойцитата 

andreich: какая цель действия? если бекап - проще средствами FS, для Linux - так как pentarh предложил или acronis trueimage for linux. mysqldump для бекапов не лучшее решение

если перенести - проще скопировать файлики. если весь сервер перетаскивать 1 в 1 - тупо всю ~mysql, пофиг innodb там или myisam, главное постарайся чтоб версии совпадали или по крайней мере новая была свежее.

если перенести на ходу - см. бекап

лечение гомосексуализма анонимно. монастырь, отвары, молитва. PM

0
 



С нами с 27.08.10
Сообщения: 567
Рейтинг: 36

Ссылка на сообщениеДобавлено: 04/06/13 в 07:56       Ответить с цитатойцитата 

Как вариант
http://sypex.net/ru/products/dumper/features/
Цитата:
Огромные базы данных
Sypex Dumper 2 умно работает с дампами, экономно расходуя память. При разработке и тестировании новой версии дампера использовались большие базы данных, свыше 1 000 МБ, в то время как большинству конкурентов, даже базы в 100 МБ доставляют проблемы. По сути, единственным ограничением для дампера являются ограничения PHP. 32-битные версии PHP не умеют работать с файлами более 4 ГБ.

Цитата:
Работа с таймаутами
Новая версия дампера умеет делать импорт/экспорт в несколько этапов. Т.е. если у вас на сервере жесткие ограничения по времени выполнения скриптов, дампер умеет автоматически останавливать и продолжать работу с места остановки, обходя ограничения сервера.

Купить MasterCard

0
 

Самый добрый бегемот

С нами с 24.06.03
Сообщения: 954
Рейтинг: 574

Ссылка на сообщениеДобавлено: 04/06/13 в 10:56       Ответить с цитатойцитата 

Вот тут вроде пишут про эту проблему, почитай, вдруг поможет
http://stackoverflow.com/questions/6516943/lost-connection-to-mysql-server-during-query

1
 
+ + +


С нами с 14.06.13
Сообщения: 13
Рейтинг: 2

Ссылка на сообщениеДобавлено: 14/06/13 в 20:53       Ответить с цитатойцитата 

А не пробовали подключить второй MySQL как slave и стандартными утилитами мускула реплецировать просто базу в real-time времени?
badoo.com так реплицируют и другие базы в терабайты icon_smile.gif

0
 

Криптопохуист

С нами с 05.04.03
Сообщения: 17158
Рейтинг: 6019

Ссылка на сообщениеДобавлено: 14/06/13 в 20:57       Ответить с цитатойцитата 


Для поднятия слейва базу мастера все равно нужно задумпить.

0
 

снимаю порчу, возможен бартер

С нами с 12.03.12
Сообщения: 1547
Рейтинг: 1006


Передовик Master-X (16.06.2013) Передовик Master-X (01.07.2013) Передовик Master-X (16.07.2013)
Ссылка на сообщениеДобавлено: 14/06/13 в 22:55       Ответить с цитатойцитата 

просто копирование спасает.
для начала. как вариант.( и инодб в том числе. вместе с логами.)

а вообще по правильному, конечно повысить в my.cnf таймаут, остановить работу сайта, на тех обслуживание.


но правильный вариант конечно у пентарха )тока блин думать об этом надо заранее. до того как зверёк прибежит.

Куплю RU траф. Дэйтинг, адалт, бляди, и так далее. ЛС.

2
 
+ + +


С нами с 14.06.13
Сообщения: 13
Рейтинг: 2

Ссылка на сообщениеДобавлено: 16/06/13 в 10:55       Ответить с цитатойцитата 

Оффтопик: Постинг ссылок разрешен только по достижению 30 постингов или 30 дней с момента регистрации
Pentarh писал:
Для поднятия слейва базу мастера все равно нужно задумпить.

хм, я не сталкивался может быть - но зачем дампить базу при сливе на слейв всех данных?
mysqldump лочит таблицы для экспорта, соответственно insert\update\delete становится в очередь и не выполняется, за время пока дампится очередь может переполниться и серв вылетит.
Частично спасает включение логирования запросов.
вот тут описаны основные способы, и комментарии - есть еще платные утилиты сторонних компаний - но ИМХО репликация самый лучший способ не останавливая серв забекапить базу.

0
 
Новая тема Новая тема   

Текстовая реклама в форме ответа
Заголовок и до четырех строчек текста
Длина текста до 350 символов
Купить рекламу в этом месте!


Перейти:  



Спонсор раздела Стань спонсором этого раздела!

Реклама на сайте Advertise with us

Опросы

Рецепт новогоднего блюда 2022



Обсудите на форуме обсудить (11)
все опросы »