Next Generation CMS :: Форум поддержки

legenda

Участник

Откуда ua

Зарегистрирован: 2009-12-22

Сообщений: 2,160

Рейтинг :   39 

Слишком быстро растет лог access.log

Помогите решить проблему. Слишком быстро растет лог access.log , за пару дней уже пару Gb, включена ротация но она почемуто его не чистить.
1. как можно сделать так чтоб рост уменьшить?
2. как сделать чтоб время от времени он сам удалялся?

вот вариант содержания лог файла

82.145.208.95 - - [24/Feb/2012:06:11:16 +0200] "GET /uploads/images/default/676sexy-wsop-4.jpg HTTP/1.1" 200 8300 "http://sportanalytic.com/football-novyny-football_tab_kubok/liga-evropi-116-finalu_-matchi-vidpovidi_-man-siti-gromit-portu327.html" "Opera/9.80 (J2ME/MIDP; Opera Mini/4.1.15082/27.1245; U; ru) Presto/2.8.119 Version/11.10"
82.145.208.95 - - [24/Feb/2012:06:11:16 +0200] "GET /uploads/images/default/114808-max-gal.jpg HTTP/1.1" 200 4745 "http://sportanalytic.com/football-novyny-football_tab_kubok/liga-evropi-116-finalu_-matchi-vidpovidi_-man-siti-gromit-portu327.html" "Opera/9.80 (J2ME/MIDP; Opera Mini/4.1.15082/27.1245; U; ru) Presto/2.8.119 Version/11.10"
82.145.208.95 - - [24/Feb/2012:06:11:16 +0200] "GET /templates/cs-city2/js/bskyb.functions.js HTTP/1.1" 200 5142 "http://sportanalytic.com/football-novyny-football_tab_kubok/liga-evropi-116-finalu_-matchi-vidpovidi_-man-siti-gromit-portu327.html" "Opera/9.80 (J2ME/MIDP; Opera Mini/4.1.15082/27.1245; U; ru) Presto/2.8.119 Version/11.10"
194.50.167.101 - - [24/Feb/2012:06:11:16 +0200] "GET /uploads/dsn/08/c4/001/metalist-zalcburgdcfds.jpg HTTP/1.1" 200 167858 "http://sportanalytic.com/" "Mozilla/5.0 (Windows NT 6.1; rv:9.0.1) Gecko/20100101 Firefox/9.0.1"
194.50.167.101 - - [24/Feb/2012:06:11:16 +0200] "GET /uploads/images/default/3677_image.gif HTTP/1.1" 304 0 "http://sportanalytic.com/" "Mozilla/5.0 (Windows NT 6.1; rv:9.0.1) Gecko/20100101 Firefox/9.0.1"
194.50.167.101 - - [24/Feb/2012:06:11:16 +0200] "GET /engine/plugins/football_stats/channel_logo/ntv_online.gif HTTP/1.1" 200 1902 "http://sportanalytic.com/" "Mozilla/5.0 (Windows NT 6.1; rv:9.0.1) Gecko/20100101 Firefox/9.0.1"
194.50.167.101 - - [24/Feb/2012:06:11:16 +0200] "GET /engine/plugins/football_stats/channel_logo/ntv_football.gif HTTP/1.1" 200 1838 "http://sportanalytic.com/" "Mozilla/5.0 (Windows NT 6.1; rv:9.0.1) Gecko/20100101 Firefox/9.0.1"
194.50.167.101 - - [24/Feb/2012:06:11:16 +0200] "GET /engine/plugins/football_stats/channel_logo/sportplus.gif HTTP/1.1" 304 0 "http://sportanalytic.com/" "Mozilla/5.0 (Windows NT 6.1; rv:9.0.1) Gecko/20100101 Firefox/9.0.1"
194.50.167.101 - - [24/Feb/2012:06:11:16 +0200] "GET /uploads/images/default/5363_2.jpg HTTP/1.1" 304 0 "http://sportanalytic.com/" "Mozilla/5.0 (Windows NT 6.1; rv:9.0.1) Gecko/20100101 Firefox/9.0.1"
194.50.167.101 - - [24/Feb/2012:06:11:16 +0200] "GET /uploads/images/default/1330009468-page-news.jpg HTTP/1.1" 200 5223 "http://sportanalytic.com/" "Mozilla/5.0 (Windows NT 6.1; rv:9.0.1) Gecko/20100101 Firefox/9.0.1"
194.50.167.101 - - [24/Feb/2012:06:11:16 +0200] "GET /uploads/dsn/4f/ac/001/metalist-zalcburg.jpg HTTP/1.1" 304 0 "http://sportanalytic.com/" "Mozilla/5.0 (Windows NT 6.1; rv:9.0.1) Gecko/20100101 Firefox/9.0.1"
194.50.167.101 - - [24/Feb/2012:06:11:16 +0200] "GET /uploads/dsn/89/d3/001/champions-league600-rg.jpg HTTP/1.1" 304 0 "http://sportanalytic.com/" "Mozilla/5.0 (Windows NT 6.1; rv:9.0.1) Gecko/20100101 Firefox/9.0.1"
194.50.167.101 - - [24/Feb/2012:06:11:16 +0200] "GET /uploads/dsn/79/d8/001/3911c07d1a64d3cc85ffb0b651c0bdf8.jpg HTTP/1.1" 304 0 "http://sportanalytic.com/" "Mozilla/5.0 (Windows NT 6.1; rv:9.0.1) Gecko/20100101 Firefox/9.0.1"
194.50.167.101 - - [24/Feb/2012:06:11:16 +0200] "GET /uploads/dsn/f3/cc/115/1.jpg HTTP/1.1" 304 0 "http://sportanalytic.com/" "Mozilla/5.0 (Windows NT 6.1; rv:9.0.1) Gecko/20100101 Firefox/9.0.1"
194.50.167.101 - - [24/Feb/2012:06:11:16 +0200] "GET /uploads/dsn/d6/23/075/untitled.jpg HTTP/1.1" 200 127278 "http://sportanalytic.com/" "Mozilla/5.0 (Windows NT 6.1; rv:9.0.1) Gecko/20100101 Firefox/9.0.1"
194.50.167.101 - - [24/Feb/2012:06:11:16 +0200] "GET /uploads/dsn/f3/cc/114/1.jpg HTTP/1.1" 304 0 "http://sportanalytic.com/" "Mozilla/5.0 (Windows NT 6.1; rv:9.0.1) Gecko/20100101 Firefox/9.0.1"
194.50.167.101 - - [24/Feb/2012:06:11:16 +0200] "GET /uploads/dsn/7c/05/001/img-6618.jpg HTTP/1.1" 304 0 "http://sportanalytic.com/" "Mozilla/5.0 (Windows NT 6.1; rv:9.0.1) Gecko/20100101 Firefox/9.0.1"
194.50.167.101 - - [24/Feb/2012:06:11:16 +0200] "GET /uploads/dsn/0f/a3/002/astan7.jpg HTTP/1.1" 304 0 "http://sportanalytic.com/" "Mozilla/5.0 (Windows NT 6.1; rv:9.0.1) Gecko/20100101 Firefox/9.0.1"
194.50.167.101 - - [24/Feb/2012:06:11:16 +0200] "GET /uploads/dsn/d6/23/073/untitled.jpg HTTP/1.1" 304 0 "http://sportanalytic.com/" "Mozilla/5.0 (Windows NT 6.1; rv:9.0.1) Gecko/20100101 Firefox/9.0.1"
194.50.167.101 - - [24/Feb/2012:06:11:16 +0200] "GET /uploads/dsn/f3/cc/112/1.jpg HTTP/1.1" 304 0 "http://sportanalytic.com/" "Mozilla/5.0 (Windows NT 6.1; rv:9.0.1) Gecko/20100101 Firefox/9.0.1"
194.50.167.101 - - [24/Feb/2012:06:11:16 +0200] "GET /uploads/dsn/b5/23/001/108c1801c888fa22a608070e7516abee.jpg HTTP/1.1" 304 0 "http://sportanalytic.com/" "Mozilla/5.0 (Windows NT 6.1; rv:9.0.1) Gecko/20100101 Firefox/9.0.1"
194.50.167.101 - - [24/Feb/2012:06:11:16 +0200] "GET /uploads/dsn/b5/67/001/f416410876c0dc2fc3bcc8f6638df366.jpg HTTP/1.1" 304 0 "http://sportanalytic.com/" "Mozilla/5.0 (Windows NT 6.1; rv:9.0.1) Gecko/20100101 Firefox/9.0.1"
194.50.167.101 - - [24/Feb/2012:06:11:16 +0200] "GET /uploads/dsn/f3/cc/118/1.jpg HTTP/1.1" 304 0 "http://sportanalytic.com/" "Mozilla/5.0 (Windows NT 6.1; rv:9.0.1) Gecko/20100101 Firefox/9.0.1"
194.50.167.101 - - [24/Feb/2012:06:11:16 +0200] "GET /uploads/dsn/96/3f/001/big-891105.jpeg HTTP/1.1" 304 0 "http://sportanalytic.com/" "Mozilla/5.0 (Windows NT 6.1; rv:9.0.1) Gecko/20100101 Firefox/9.0.1"
194.50.167.101 - - [24/Feb/2012:06:11:16 +0200] "GET /uploads/dsn/40/43/001/344343432143.jpg HTTP/1.1" 304 0 "http://sportanalytic.com/" "Mozilla/5.0 (Windows NT 6.1; rv:9.0.1) Gecko/20100101 Firefox/9.0.1"
194.50.167.101 - - [24/Feb/2012:06:11:16 +0200] "GET /uploads/dsn/c3/5f/001/419540-314929401888866-162648210450320-826866-606654335-n.jpg HTTP/1.1" 200 37019 "http://sportanalytic.com/" "Mozilla/5.0 (Windows NT 6.1; rv:9.0.1) Gecko/20100101 Firefox/9.0.1"
194.50.167.101 - - [24/Feb/2012:06:11:16 +0200] "GET /uploads/dsn/d0/09/005/4.jpg HTTP/1.1" 304 0 "http://sportanalytic.com/" "Mozilla/5.0 (Windows NT 6.1; rv:9.0.1) Gecko/20100101 Firefox/9.0.1"
194.50.167.101 - - [24/Feb/2012:06:11:16 +0200] "GET /uploads/images/default/ap-201202161244458622034.jpg HTTP/1.1" 200 5801 "http://sportanalytic.com/" "Mozilla/5.0 (Windows NT 6.1; rv:9.0.1) Gecko/20100101 Firefox/9.0.1"
194.50.167.101 - - [24/Feb/2012:06:11:16 +0200] "GET /uploads/images/default/100-gwetdd.jpg HTTP/1.1" 200 7857 "http://sportanalytic.com/" "Mozilla/5.0 (Windows NT 6.1; rv:9.0.1) Gecko/20100101 Firefox/9.0.1"
194.50.167.101 - - [24/Feb/2012:06:11:16 +0200] "GET /uploads/dsn/f3/cc/120/1.jpg HTTP/1.1" 200 23658 "http://sportanalytic.com/" "Mozilla/5.0 (Windows NT 6.1; rv:9.0.1) Gecko/20100101 Firefox/9.0.1"
194.50.167.101 - - [24/Feb/2012:06:11:16 +0200] "GET /uploads/dsn/f3/cc/121/1.jpg HTTP/1.1" 200 40007 "http://sportanalytic.com/" "Mozilla/5.0 (Windows NT 6.1; rv:9.0.1) Gecko/20100101 Firefox/9.0.1"
194.50.167.101 - - [24/Feb/2012:06:11:16 +0200] "GET /uploads/dsn/79/9b/014/3.jpg HTTP/1.1" 304 0 "http://sportanalytic.com/" "Mozilla/5.0 (Windows NT 6.1; rv:9.0.1) Gecko/20100101 Firefox/9.0.1"
194.50.167.101 - - [24/Feb/2012:06:11:17 +0200] "GET /uploads/images/default/ap-201202231324482420279.jpg HTTP/1.1" 200 4398 "http://sportanalytic.com/" "Mozilla/5.0 (Windows NT 6.1; rv:9.0.1) Gecko/20100101 Firefox/9.0.1"
194.50.167.101 - - [24/Feb/2012:06:11:17 +0200] "GET /uploads/images/default/x-e5b5f80a.jpg HTTP/1.1" 200 4471 "http://sportanalytic.com/" "Mozilla/5.0 (Windows NT 6.1; rv:9.0.1) Gecko/20100101 Firefox/9.0.1"
194.50.167.101 - - [24/Feb/2012:06:11:17 +0200] "GET /uploads/images/default/dscn1907.jpg HTTP/1.1" 304 0 "http://sportanalytic.com/" "Mozilla/5.0 (Windows NT 6.1; rv:9.0.1) Gecko/20100101 Firefox/9.0.1"
194.50.167.101 - - [24/Feb/2012:06:11:17 +0200] "GET /uploads/images/default/100-hgff.jpg HTTP/1.1" 304 0 "http://sportanalytic.com/" "Mozilla/5.0 (Windows NT 6.1; rv:9.0.1) Gecko/20100101 Firefox/9.0.1"
194.50.167.101 - - [24/Feb/2012:06:11:17 +0200] "GET /uploads/images/default/100-gfbf.jpg HTTP/1.1" 200 9452 "http://sportanalytic.com/" "Mozilla/5.0 (Windows NT 6.1; rv:9.0.1) Gecko/20100101 Firefox/9.0.1"
194.50.167.101 - - [24/Feb/2012:06:11:17 +0200] "GET /uploads/images/default/9d2f61c324c4f5de708fd183b99da03d-getty-139515005.jpg HTTP/1.1" 304 0 "http://sportanalytic.com/" "Mozilla/5.0 (Windows NT 6.1; rv:9.0.1) Gecko/20100101 Firefox/9.0.1"
66.249.66.60 - - [24/Feb/2012:06:11:16 +0200] "GET /others-novyny-biathlon/olena-pidgrushna-naikrasza-sportsmenka-sichnya.html HTTP/1.0" 200 164518 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
194.50.167.101 - - [24/Feb/2012:06:11:17 +0200] "GET /uploads/images/default/10g-fdsg.jpg HTTP/1.1" 304 0 "http://sportanalytic.com/" "Mozilla/5.0 (Windows NT 6.1; rv:9.0.1) Gecko/20100101 Firefox/9.0.1"
194.50.167.101 - - [24/Feb/2012:06:11:17 +0200] "GET /uploads/images/default/kalendar-013.jpg HTTP/1.1" 304 0 "http://sportanalytic.com/" "Mozilla/5.0 (Windows NT 6.1; rv:9.0.1) Gecko/20100101 Firefox/9.0.1"
194.50.167.101 - - [24/Feb/2012:06:11:17 +0200] "GET /uploads/images/default/114808-max-gal.jpg HTTP/1.1" 304 0 "http://sportanalytic.com/" "Mozilla/5.0 (Windows NT 6.1; rv:9.0.1) Gecko/20100101 Firefox/9.0.1"
194.50.167.101 - - [24/Feb/2012:06:11:17 +0200] "GET /uploads/images/default/ap-201202211315477114202.jpg HTTP/1.1" 304 0 "http://sportanalytic.com/" "Mozilla/5.0 (Windows NT 6.1; rv:9.0.1) Gecko/20100101 Firefox/9.0.1"
194.50.167.101 - - [24/Feb/2012:06:11:17 +0200] "GET /uploads/images/default/100-htre.jpg HTTP/1.1" 304 0 "http://sportanalytic.com/" "Mozilla/5.0 (Windows NT 6.1; rv:9.0.1) Gecko/20100101 Firefox/9.0.1"
194.50.167.101 - - [24/Feb/2012:06:11:17 +0200] "GET /uploads/images/default/1208_spo2.jpg HTTP/1.1" 304 0 "http://sportanalytic.com/" "Mozilla/5.0 (Windows NT 6.1; rv:9.0.1) Gecko/20100101 Firefox/9.0.1"
194.50.167.101 - - [24/Feb/2012:06:11:17 +0200] "GET /uploads/images/default/676sexy-wsop-4.jpg HTTP/1.1" 304 0 "http://sportanalytic.com/" "Mozilla/5.0 (Windows NT 6.1; rv:9.0.1) Gecko/20100101 Firefox/9.0.1"
194.50.167.101 - - [24/Feb/2012:06:11:17 +0200] "GET /uploads/images/default/139325774-slide.jpg HTTP/1.1" 304 0 "http://sportanalytic.com/" "Mozilla/5.0 (Windows NT 6.1; rv:9.0.1) Gecko/20100101 Firefox/9.0.1"
66.249.66.60 - - [24/Feb/2012:06:11:16 +0200] "GET /gallery/trenuvannya_zbirnoi_ukraini_pered_matchem_z_grekami_foto.html HTTP/1.0" 200 141221 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
82.145.208.95 - - [24/Feb/2012:06:11:17 +0200] "GET /templates/cs-city2/js/index-merged.js HTTP/1.1" 200 86628 "http://sportanalytic.com/football-novyny-football_tab_kubok/liga-evropi-116-finalu_-matchi-vidpovidi_-man-siti-gromit-portu327.html" "Opera/9.80 (J2ME/MIDP; Opera Mini/4.1.15082/27.1245; U; ru) Presto/2.8.119 Version/11.10"
66.249.66.60 - - [24/Feb/2012:06:11:18 +0200] "GET /gallery/metalist_-_shahtar_boiova_nichiya.html HTTP/1.0" 200 136322 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

vitaly

Администратор

Откуда Россия

Зарегистрирован: 2008-10-08

Сообщений: 2,823

Рейтинг :   118 

Re: Слишком быстро растет лог access.log

Помогите решить проблему. Слишком быстро растет лог access.log , за пару дней уже пару Gb, включена ротация но она почемуто его не чистить.
1. как можно сделать так чтоб рост уменьшить?
2. как сделать чтоб время от времени он сам удалялся?

1. Уменьшить либо кол-во объектов на странице, либо кол-во посетителей
2. Настроить ротацию логов, штатный линуксовый демон logrotate позволяет это делать очень гибко (ротацию по времени, по размеру, сжатие ротированных логов и т.д.).

legenda

Участник

Откуда ua

Зарегистрирован: 2009-12-22

Сообщений: 2,160

Рейтинг :   39 

Re: Слишком быстро растет лог access.log

1. Уменьшить кол-во посетителей
, прикольное решение)

2. Настроить ротацию логов, штатный линуксовый демон logrotate позволяет это делать очень гибко (ротацию по времени, по размеру, сжатие ротированных логов и т.д.).

да вот пробовал строит и по времери и по размеру,
ставлю размер например 50 мБт но вижу что логи дальше есть и по 100 и по 500 и по гигу
по времени вапше чтото ничего не помогает

вот что мне служба отписала

Ротация логов настроена правильно. Но т.к. программа ротации
запускается только один раз в сутки, результат ее работы виден только на
следующий день. Поэтому в вашем случае, если логи растут очень быстро,
нужно настроить ротацию логов по времени и уменьшить период запуска
программы ротации логов, например до 1 раза в час.

Если логи растут очень быстро и периода в 1 час не хватает тогда можно либо уменьшить период ротации логов
вручную или воспользоваться системным софтом для управления ротацией
логов - newsyslog

Но чето это не помогает ни через сутки ничерез неделю. Может есть какойто вариант чтоб через день этот лог тупо убивать?

vitaly

Администратор

Откуда Россия

Зарегистрирован: 2008-10-08

Сообщений: 2,823

Рейтинг :   118 

Re: Слишком быстро растет лог access.log

legenda, поддержка всё правильно сказала.
Запускай logrotate чаще чем раз в сутки, уменьшай кол-во сохранённых копий и будет тебе счастье.

А можешь вообще отключить логи и не париться.

legenda

Участник

Откуда ua

Зарегистрирован: 2009-12-22

Сообщений: 2,160

Рейтинг :   39 

Re: Слишком быстро растет лог access.log

legenda, поддержка всё правильно сказала.
Запускай logrotate чаще чем раз в сутки, уменьшай кол-во сохранённых копий и будет тебе счастье.

вопшем ничего не помогло

А можешь вообще отключить логи и не париться.

вопшето пробовал, но они растут, в поддержке сказали что отключать нельзя.

...без логов apache работать отказывается. И отключение логов в данном случае будет
выглядеть как перенаправление вывода логов не в файл а в /dev/null. В
любом случае их лучше включить и ограничить их ротацию по размеру.

хрен его знает, таке впечатление что просто все что я делаю не вступает в силу, независимо как я ставлю ротацию или даже ее отключаю логи растут и растут(

Wolverine

Модератор

Откуда Домодедово

Зарегистрирован: 2008-10-13

Сообщений: 3,538

Рейтинг :   160 

Сайт

Re: Слишком быстро растет лог access.log

legenda, что это за поддержка такая? Ты им платишь, они обязаны решить этот технический вопрос.

---

Twitter

legenda

Участник

Откуда ua

Зарегистрирован: 2009-12-22

Сообщений: 2,160

Рейтинг :   39 

Re: Слишком быстро растет лог access.log

походу сегодня проблема вроде найдена

вот что отписала поддержка

Еще раз проверили, что может быть не так на вашем сервере. Настройки
ротации логов в норме. Сама программа ротации отрабатывает без
претензий. И все же проблема была найдена. Заключается она в следующем:
логи веб-сервера ведутся в папке /home/httpd-logs, но их ротация
выполняется в /home/<username>/data/logs, где содержатся жесткие ссылки
на файлы в /home/httpd-logs. По каким-то причинам жесткие ссылки в
домашнем каталоге были разорваны (например если вы удаляли файлы в
/home/<username>/data/logs). Поэтому логи нормально велись, но не
ротейтились. В качестве эксперимента я восстановил жесткую ссылку на
логи для ??.com и запустил программу ротации - все отработало идеально.

Для решения вопроса с растущими логами следует проверить все ли жесткие
ссылки целы и восстановить их в случае необходимости. Для этого сравните
файлы в /home/httpd-logs и /home/<username>/data/logs. Они должны быть
идентичны по размеру и по дате последнего изменения. Если это не так -
удалите файлы в /home/<username>/data/logs и восстановите жесткую ссылку
на логи:
cd /home/<username>/data/logs
ln /home/httpd-logs/<logfilename>

Дальше ротация должна выполняться в стандартном режиме.