MySQL replace

[sanek1991]

Сообщение от Coder

Взять всю базу, переработать и переписать... Причём даже через простой текстовый редактор., с соответствующим функционалом поиска и замены. И записать базу взад.

Не всё так просто.
База в несжатом виде более 4 GB.
Текстовому редактору тоже явно поплохеет.

[sanek1991]

Сообщение от Sitealert

А почему content_id, а не id? По автоинкременту что идёт?

Ну так назвали поле. Могли назвать просто id.
На нем автоинкремент.

[Coder]

Сообщение от sanek1991

Не всё так просто.
База в несжатом виде более 4 GB.
Текстовому редактору тоже явно поплохеет.

Ну и разбить ее на подходящие кусочки - а потом собрать.
Было когда-то где-то сходное, даже покруче - там перенос базы большущей в другую несколько структуру, с сохранением всего и вся - ну, ничего, - если получается с кусочком все, то потом только вопрос времени и терпения - ну, в общем, тут надо бы по кусочкам и с полным контролем.
А особенно ежели разные форматы - тут только хардкор.
Ну, это я к тому, что лучше подольше и с контролем, чем просто через напрямую - а ну как где что немного не так и сразу не увидеть?

Ну, в общем, просто мысли в слух

Да! Чуть не забыл - все только на локале - на живом вообще даже и не думал бы. А потом залить уж точно получившееся и проверенное.

[sanek1991]

Сообщение от Coder

если получается с кусочком все, то потом только вопрос времени и терпения - ну, в общем, тут надо бы по кусочкам и с полным контролем.

Кусочков только много получится.
Все таки склоняюсь к запуску php-скрипта, который по тихой обработает все записи в таблице.
Попробую конечно сам написать, но c php и mysql у меня туго, изучал только ассемблер на экзотические устройства.

[ziliboba0213]

Сообщение от sanek1991

Кусочков только много получится.
Все таки склоняюсь к запуску php-скрипта, который по тихой обработает все записи в таблице.
Попробую конечно сам написать, но c php и mysql у меня туго, изучал только ассемблер на экзотические устройства.

Может попробовать типа денвера поставить, локально... И лимиты для php. Я так фотки генерил

[sanek1991]

Сообщение от ziliboba0213

Может попробовать типа денвера поставить, локально... И лимиты для php. Я так фотки генерил

Ну, "типа денвера" на локальном компе есть.
Кроме того, лимиты php тут при чем?
Php только отправляет запросы в MySQL.

Да php скрипт уже почти написал. Есть небольшой опыт на ASM-e.
Не большой получается.
php только начал осваивать, поэтому медленно, местами получается говно-код, но причесываю и прилизываю

Вот основное тело:

PHP код:

// функции запросов в БД
function query($sql, $errormsg)
        {

            if(!$result = $db->sql_query($sql))
                {
                    // если есть ошибка
                    print "<br><font color=\"red\">\n";
                    print "$errormsg<br>";
                    $sql_error = $db->sql_error();
                    print $sql_error['code'] .": ". $sql_error['message']. "<br>\n";
                    print "<pre>$sql</pre>";
                    print "</font>\n";
                    return FALSE;
                }
            else
                {
                    return $result;
                }
        }


function result($query, $row) {
        $query = mysql_result($query, $row);
        return $query;
    }
    
        // стартуем
        print " fix text<br>";
         flush();
         
        // сколько всего записей требуется обработать
         $number = mysql_query("SELECT COUNT(" . $post_id . ") FROM " .  $text_table);
        $postsnum = result($number, 0); // сколько всего записей обработать
        $loopnum=intval($postsnum / $number_post); // сколько будет пачек
        $posts_left=($postsnum % $number_post); // сколько не обработанных

        print"number records to fix : $postsnum <br><br>";
        flush();

        if ($posts_left <> 0 ){
            $loopnum++;
        }

        $posts_loc=0; // номер начала пачки для записи (позже взять из txt)
        $posts_default=$number_post;


        // весь цикл
        for ($y = 1; $y <= $loopnum; $y++)
        {

        // текущая пачка
         print"$posts_loc ";
            flush();

            if ($y <> $loopnum)
            {
                $sql = "SELECT * FROM " . $text_table . " LIMIT $posts_loc,$posts_default ";
            } else {
                $sql = "SELECT * FROM " . $text_table . " LIMIT $posts_loc,$posts_left ";
            }

            $result = query($sql, "error query");
            $posts_count = $db->sql_numrows($result);
            $posts_data = $db->sql_fetchrowset($result);
             print "Ok<br>";
            flush();
            
            // цикл для перезаписи
            for ($i = 0; $i < $posts_count; $i++)
            {
                $pid = $posts_data[$i][$post_id]; // id записи
                
                // получаем запись
                $message = $posts_data[$i][$post_text];

                // изменяем запись (регулярка)
                $message = preg_replace('\\[.*?\\]', ' ', $message);

                // обновляем запись
                $sql = "UPDATE " . $text_table . " SET " . $post_text . " = \"$message\" WHERE " . $post_id  . "  = $pid ";
                query($sql, "error update");
            }
            
            // следующая пачка (позже записать в txt)
            $posts_loc=$posts_loc+$number_post;
        }



        // конец
        print"<br><br>fix all $postsnum records<br>"; 


[sanek1991]

Кстати на локалке старый php и mysql, поэтому через mysql_connect

PHP код:

$hostname = "localhost";
$username = "root";
$password = "";
$database = "local_db";

$text_table = "text_table"; // имя таблицы для перезаписи
$post_text = "post_text"; // имя поля для перезаписи
$post_id = "post_id"; // имя поля с id
$number_post = "200"; // по сколько записей обрабатывать

// соединение к БД
$db = mysql_connect($hostname, $username, $password); 
     
    if (!$db) { 
        echo "error connect: " . mysql_error(); 
        exit; 
    } 
     
    if (!mysql_select_db($database)) { 
        echo "error db: " . mysql_error(); 
        exit; 
    } 


Скрипт делаю универсальным. То есть только сменить настройки, и можно любые большие таблицы лопатить.
Было-бы хорошо, если-бы реальный программер довел до ума.
Осталось сделать пересоединение с БД, и запись текущего состояния в текстовик, что-бы можно было начать с места остановки.

[XPraptor]

sanek1991, собственный опыт, он всегда полезен, но может луше загуглите, чтобы быстрее было
Плюс обязательно смените php на 7.4 на локалке, ну и mysql пусть не на 8, но хотя бы на 5.7, там другая скорость и другие возможности.

Сейчас уже конфиги в php и mysql полностью вменяемые и не придется как раньше ничего руками до-страивать, просто поставьте и всё.

[vandamme]

есть текстовые редакторы, отлично открывающие гиговые файлы, вроде akelpad называется, давненько пользовался.

[XPraptor]

vandamme, Да проблема не в замене, замену и PowerGREP за пару сек сделает во всей базе, задача потом эту базу назад залить, и я так понял в рабочую (то есть она работает уже и надо заменить на рабочей без остановки).