Не создает sitemap для большого сайта.
« on: December 26, 2010, 11:48:38 PM »
Здравствуйте, Олег!

Не давно приобрел Ваш скрипт.
С небольшими сайтами справляется легко.
Но с большим так и ничего не получилось :(
Ни ошибки не выдает, ничего, просто останавливается.
При этом файлы не генерируются, только лог на пару десятков мб.
Re: Не создает sitemap для большого сайта.
« Reply #1 on: December 27, 2010, 12:17:06 PM »
Пожалуйста, сообщите ссылку на ваш генератор и логин/пароль для него: https://www.xml-sitemaps.com/contact.html
Re: Не создает sitemap для большого сайта.
« Reply #2 on: December 27, 2010, 06:21:27 PM »
Может все же есть какой-то FAQ, как работать с многостраничными сайтами? Ну кроме того, что разбивать на несколько файлов xml для уменьшения объёма каждого.
Неподумавши послал письмо, но потом прикрыл вход, так как всё же файлы у Вас зазендованы...

Настройкой robots.txt я сделал всё что мог для облегчения жизни Вашему скрипту.
Вы можете сами взглянуть.
Но он создавал crawl_dump.log 25 мб, затем удалял другой лог-файл и останавливался...
« Last Edit: December 27, 2010, 06:25:06 PM by TXT »
Re: Не создает sitemap для большого сайта.
« Reply #3 on: December 27, 2010, 07:57:30 PM »
Ничего специального в конфигурации генератора обычно не надо, разбивает на несколько файлов он автоматически.
Может потребоваться увеличить memory_limit и max_execution_time в настройках PHP (php.ini)
Re: Не создает sitemap для большого сайта.
« Reply #4 on: December 27, 2010, 08:18:01 PM »
Попробую в Ваш индексный файл дописать
Code: [Select]
ini_set( 'memory_limit', '256M' );
Re: Не создает sitemap для большого сайта.
« Reply #5 on: December 27, 2010, 09:32:31 PM »
Ничего не дало: все так же останавливается на 25,7 мб crawl_dump.log.
Честно говоря, прочитав о поддержке больших сайтов, повелся на это...
Re: Не создает sitemap для большого сайта.
« Reply #7 on: December 30, 2010, 06:01:25 AM »
В robots.txt у меня Disallow: /*all
Сейчас посмотрел этот незавершенный crawl_dump.log, так он всё равно собирает адреса типа index.php?topic=72352.0;all  :(

И Disallow: /*sort у меня там есть.
Но он в в кучу все варианты одной и той же страницы раздела в этот файл кидает:
sort=subject
sort=starter
sort=replies
sort=views
sort=last_post

Естественно отсюда и такой размер..
« Last Edit: December 30, 2010, 06:12:37 AM by TXT »
Re: Не создает sitemap для большого сайта.
« Reply #8 on: December 30, 2010, 09:08:23 AM »
Попробуйте добавить "all" и "sort" в "Exclude URLs" и начать создание карты заново.
Re: Не создает sitemap для большого сайта.
« Reply #9 on: January 19, 2011, 11:10:11 PM »
С WordPress скрипт не работает?
Выдает ошибки:
Quote
Warning: file(/var/www/путь/generator/data/sitemap.xml) [function.file]: failed to open stream: No such file or directory in /var/www/путь/generator/pages/class.utils.inc.php(2) : eval()'d code on line 62

Warning: implode() [function.implode]: Invalid arguments passed in /var/www/путь/generator/pages/class.utils.inc.php(2) : eval()'d code on line 62

И можно ли его приучить составлять один sitemap для сайта с его поддоменами?
Re: Не создает sitemap для большого сайта.
« Reply #10 on: January 20, 2011, 09:18:46 AM »
Убедитесь, что права доступа установлены в 0777 для папки data/.
Согласно протоколу xml sitemap (sitemaps.org), отдельный сайтмап нужен для поддоменов.
Re: Не создает sitemap для большого сайта.
« Reply #11 on: January 20, 2011, 09:30:47 AM »
Убедитесь, что права доступа установлены в 0777 для папки data/.
Согласно протоколу xml sitemap (sitemaps.org), отдельный сайтмап нужен для поддоменов.
В том-то и дело, что установлен..
Про поддомены понятно.