Форум об интернет-маркетинге
Вернуться   Форум об интернет-маркетинге > Прочее > Разносортица

Разносортица Если Вы не нашли подходящий раздел, то можете разместить свою тему здесь. Коммерческие объявления запрещены

Ответ
 
Опции темы
Старый 02.10.2020, 22:53   #21
Diversant
На серче с 29.03.2006
Профессор
 
Аватар для Diversant
 
Регистрация: 14.07.2020
Сообщений: 749
Сказал(а) спасибо: 145
Получил(а) "Спасибо": 1,067
Нарушения: 0/0 (0)
Репутация: 339181

Thread Starter Re: Кто чем логи сайта анализирует ?

Цитата:
Сообщение от Had Посмотреть сообщение
Diversant, зачем Вы анализируете логи сайта?
Есть определенная задача
продвижение сайта форум Я-11, Г- нет в 30-ке
Diversant вне форума   Ответить с цитированием
Старый 02.10.2020, 22:57   #22
XPraptor
Думаю, что надо худеть
Академик
 
Аватар для XPraptor
 
Регистрация: 22.06.2020
Сообщений: 1,791
Сказал(а) спасибо: 1,526
Получил(а) "Спасибо": 1,939
Нарушения: 0/0 (0)
Репутация: 541251

По умолчанию Re: Кто чем логи сайта анализирует ?

Diversant, какие скрипты-то? Кому-то надо гугло картиночника искать, кому-то просто гул бота, кому-то яшу, кому-то еще кого - просто любая регулярка того, что надо искать.
Мне вот надо искать гул бота в опреределнной дате, больше ничего.
XPraptor вне форума   Ответить с цитированием
Старый 02.10.2020, 23:28   #23
Diversant
На серче с 29.03.2006
Профессор
 
Аватар для Diversant
 
Регистрация: 14.07.2020
Сообщений: 749
Сказал(а) спасибо: 145
Получил(а) "Спасибо": 1,067
Нарушения: 0/0 (0)
Репутация: 339181

Thread Starter Re: Кто чем логи сайта анализирует ?

Цитата:
Сообщение от XPraptor Посмотреть сообщение
Diversant, какие скрипты-то? Кому-то надо гугло картиночника искать, кому-то просто гул бота, кому-то яшу, кому-то еще кого - просто любая регулярка того, что надо искать.
Мне вот надо искать гул бота в опреределнной дате, больше ничего.
Скликивают директ - надо понять общности этих скликов, ни метрика не ga не видят
Diversant вне форума   Ответить с цитированием
Старый 02.10.2020, 23:52   #24
Sitealert
Слесарь-сайтосборщик
Доцент
 
Регистрация: 22.06.2020
Адрес: Замкадье
Сообщений: 403
Сказал(а) спасибо: 985
Получил(а) "Спасибо": 1,178
Нарушения: 0/0 (0)
Репутация: 180645

По умолчанию Re: Кто чем логи сайта анализирует ?

Цитата:
Сообщение от Diversant Посмотреть сообщение
так я и спрашиваю, есть готовые скрипты, чтобы велосипед то не пилить ?
Там велосипед-то из нескольких строк. Просто читаешь файл кусками заданной длины.
Sitealert вне форума   Ответить с цитированием
Старый 03.10.2020, 01:06   #25
Diversant
На серче с 29.03.2006
Профессор
 
Аватар для Diversant
 
Регистрация: 14.07.2020
Сообщений: 749
Сказал(а) спасибо: 145
Получил(а) "Спасибо": 1,067
Нарушения: 0/0 (0)
Репутация: 339181

Thread Starter Re: Кто чем логи сайта анализирует ?

Цитата:
Сообщение от Sitealert Посмотреть сообщение
Там велосипед-то из нескольких строк. Просто читаешь файл кусками заданной длины.
Это я уже нагуглил, но блин большие файлы уходят в лимит памяти и пхп дает ошибку лимит -1 даже делал. Да я нуб в этом вопросе
Diversant вне форума   Ответить с цитированием
Старый 03.10.2020, 01:20   #26
Sitealert
Слесарь-сайтосборщик
Доцент
 
Регистрация: 22.06.2020
Адрес: Замкадье
Сообщений: 403
Сказал(а) спасибо: 985
Получил(а) "Спасибо": 1,178
Нарушения: 0/0 (0)
Репутация: 180645

По умолчанию Re: Кто чем логи сайта анализирует ?

Цитата:
Сообщение от Diversant Посмотреть сообщение
большие файлы уходят в лимит памяти
Это если их сразу целиком в строку загонять. А надо открывать для чтения и читать кусками.
Sitealert вне форума   Ответить с цитированием
Старый 03.10.2020, 01:23   #27
Diversant
На серче с 29.03.2006
Профессор
 
Аватар для Diversant
 
Регистрация: 14.07.2020
Сообщений: 749
Сказал(а) спасибо: 145
Получил(а) "Спасибо": 1,067
Нарушения: 0/0 (0)
Репутация: 339181

Thread Starter Re: Кто чем логи сайта анализирует ?

Цитата:
Сообщение от Sitealert Посмотреть сообщение
Это если их сразу целиком в строку загонять. А надо открывать для чтения и читать кусками.
вот я не программист, и прошу скрипт какой то или кучу скриптов. Какой нашел там уходит в лимит
Diversant вне форума   Ответить с цитированием
Старый 03.10.2020, 02:58   #28
Sitealert
Слесарь-сайтосборщик
Доцент
 
Регистрация: 22.06.2020
Адрес: Замкадье
Сообщений: 403
Сказал(а) спасибо: 985
Получил(а) "Спасибо": 1,178
Нарушения: 0/0 (0)
Репутация: 180645

По умолчанию Re: Кто чем логи сайта анализирует ?

Вот, накидал, но на гигабайтах не проверял.
Впиши свой путь к файлу лога и кинь этот скрипт в какую-то папку; в эту папку будут писаться фрагменты лога размером $f (сколько задашь в байтах)
Код:
<?php
$file = '/var/logs/access_log'; //путь к файлу лога
$i = 0;
$c = 0;
$q = 4096; //строка, читаемая за 1 заход
$f = 10000000;//размер в байтах файлов, получаемых на выходе
$handle = fopen($file, 'r');
if($handle){
  while(($part = fgets($handle, $q)) !== false){
      $log = './log_'.$i; //Очередной файл, получаемый на выходе
      if(file_exists($log)){
        clearstatcache();
        $c = filesize($log);
      }
      if($c > $f){ 
        $c = 0;
        $i++;
      }
      file_put_contents($log, $part, FILE_APPEND);
  }
  fclose($handle);
  echo 'Done';
}
else echo 'Error';
Sitealert вне форума   Ответить с цитированием
Сказали спасибо:
Старый 03.10.2020, 08:56   #29
vastmanager
ОПТимизирую оптом.
Академик
 
Аватар для vastmanager
 
Регистрация: 26.06.2020
Сообщений: 1,162
Сказал(а) спасибо: 1,372
Получил(а) "Спасибо": 3,054
Нарушения: 0/0 (0)
Репутация: 698723

По умолчанию Re: Кто чем логи сайта анализирует ?

Цитата:
Сообщение от Diversant Посмотреть сообщение
вот я не программист, и прошу скрипт какой то или кучу скриптов. Какой нашел там уходит в лимит
Для анализа логов лучше использовать системные команды. Все работает с файлами любого объема.

Например чтобы найти в куче логов вхождения с юзерагентом Googlebot
задаем условие поиска:
find . -name \*.log | xargs grep -H 'Googlebot' /bin > Googlebot.txt

Запишет все строчки с вхождением Googlebot в файл Googlebot.txt

То же самое с командой смены директории и с записью результата в отдельную папку mydir:
cd /var/log/;find . -name \*.* | xargs grep -H 'Googlebot' /bin > /mydir/Googlebot.txt

Тут поиск идет по всем файлам уже в /var/log/
Результат запишется в папку /mydir/Googlebot.txt что удобнее.
vastmanager вне форума   Ответить с цитированием
Сказали спасибо:
Старый 03.10.2020, 10:08   #30
Sitealert
Слесарь-сайтосборщик
Доцент
 
Регистрация: 22.06.2020
Адрес: Замкадье
Сообщений: 403
Сказал(а) спасибо: 985
Получил(а) "Спасибо": 1,178
Нарушения: 0/0 (0)
Репутация: 180645

По умолчанию Re: Кто чем логи сайта анализирует ?

Слегка усовершенствовал код, сократил число операций (на больших файлах лишние операции тянут время):
Код:
<?php
$file = '/home/users/1/1hozteh97/logs/mysql-slow.log'; //путь к файлу лога
$i = 0;
$n = 1;
$c = 0;
$q = 4096; //строка, читаемая за 1 заход
$f = 10000000;//размер в байтах файлов, получаемых на выходе
$s = 10000; //Через сколько строк проверять размер файла
$handle = fopen($file, 'r');
if($handle){
  while(($part = fgets($handle, $q)) !== false){
      if($n > $s && file_exists($log)){
        $n = 1;
        clearstatcache();
        $c = filesize($log);
        if($c > $f){
          $c = 0;
          $i++;
        }
      }
      $log = './log_'.$i; //Очередной файл, получаемый на выходе
      file_put_contents($log, $part, FILE_APPEND);
      $n++;
  }
  fclose($handle);
  echo 'Done';
}
else echo 'Error';
Sitealert вне форума   Ответить с цитированием
3 пользователя(ей) сказали cпасибо:
Ответ

Опции темы

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.

Быстрый переход

Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
Реклама развлекательного сайта в ВК и FB ziliboba0213 Соцсети 5 04.09.2020 18:20
Поиск для сайта medexpert Веб-строительство 11 03.08.2020 02:24


Текущее время: 08:38. Часовой пояс GMT +3.


Powered by vBulletin® Version 3.8.11
Copyright ©2000 - 2024, vBulletin Solutions Inc. Перевод: zCarot