NCPSync скорость. И вопрос.

Добро пожаловать всем, кто интересуется утилитами и их развитием.
English posts, of course, are welcome too.
Lenik
Site Admin
Сообщения: 184
Зарегистрирован: Пт окт 06, 2006 6:51 pm
Откуда: Moscow / Moscow Region
Контактная информация:

Re: Докладываю

Сообщение Lenik » Ср дек 23, 2009 11:58 am

Tolik Mironov писал(а):
Провел еще один тест. два сервера nw65 sp8,

Ради чистоты эксперимента - попробую между 6 и 6.5, но боевая задача все одно остается - копирование с 4ки.

Собрал стенд с 4.11, запустил ncpsync. Синхронизирует шестой час. Наблюдаю ужасающую дисковую активность при отсутствии загрузки процессора. Предварительный диагноз - недостатки файловой системы TurboFAT в 4ке. Надеюсь в скором времени докопаться до истины.
Буду править параметры, отвечающие за кеширование каталогов.

Lenik
Site Admin
Сообщения: 184
Зарегистрирован: Пт окт 06, 2006 6:51 pm
Откуда: Moscow / Moscow Region
Контактная информация:

Re: Докладываю

Сообщение Lenik » Ср дек 23, 2009 2:16 pm

Tolik Mironov писал(а):
Провел еще один тест. два сервера nw65 sp8,

Ради чистоты эксперимента - попробую между 6 и 6.5, но боевая задача все одно остается - копирование с 4ки.


При Minimum Directory Cache Buffers = 100000
полтора миллиона файлов с 6.5 на 4.11 засинхронизировалось за час.
Средняя загрузка на 6.5 = 20%, на 4.11 = 40%
На 4ке сьел почти 512 мегабайт памяти под кеш этих самых 1500000 файлов.
Лог прилагаю.

23.12.2009 13:08:33 Note: 64-Bit file I/O detected.
23.12.2009 13:08:33 Version: 1.04.04 (Dec 17 2009 17:40:37). Reloading config..
23.12.2009 13:08:33 cid=1,cp=866. ASCII NCP. Secured Password. Delete obsolette files.
23.12.2009 13:08:33 Processing Sync .QCOMPFS.SVR\sys:\temp\ncpsync\in To .TEST411.SVR\data:\temp
23.12.2009 13:08:36 init: 0 Min. 3 Sec. Continue with Sync (64 KB block)..
23.12.2009 14:08:22 Completed. 0 Hrs. 59 Min. 46 Sec.

Вывод: Кешируйте, и будет счастье на 4.2 :))

Tolik Mironov
Сообщения: 60
Зарегистрирован: Чт дек 03, 2009 6:12 am
Контактная информация:

Re: Докладываю

Сообщение Tolik Mironov » Ср дек 23, 2009 5:48 pm

При Minimum Directory Cache Buffers = 100000
Вывод: Кешируйте, и будет счастье на 4.2 :))


Провел тест на 6.5. В рамках одного сервака первое копирование 530к файлов (~1Гб) заняло 2 часа 11 минут.

23.12.2009 02:56:01 Note: 64-Bit file I/O detected.
23.12.2009 02:56:01 Waiting for 02:56 (Whole Week) (Whole Month)
23.12.2009 02:56:01 Version: 1.04.04 (Dec 17 2009 17:40:37). Reloading config..
23.12.2009 02:56:01 cid=7,cp=866. ASCII NCP. Secured Password. Keep obsolette files.
23.12.2009 02:56:01 Processing Sync ......\work:\gar To ....\work:\backup
23.12.2009 02:56:01 init: 0 Min. 0 Sec. Continue with Sync (64 KB block)..
23.12.2009 05:07:14 Completed. 2 Hrs. 11 Min. 12 Sec.
23.12.2009 05:07:14 Waiting for 02:56 (Whole Week) (Whole Month)

Далее провел вторую синхронизацию. Заняло 10 минут.

23.12.2009 17:07:09 Note: 64-Bit file I/O detected.
23.12.2009 17:07:09 Waiting for 17:07 (Whole Week) (Whole Month)
23.12.2009 17:07:09 Version: 1.04.04 (Dec 17 2009 17:40:37). Reloading config..
23.12.2009 17:07:09 cid=7,cp=866. ASCII NCP. Secured Password. Keep obsolette files.
23.12.2009 17:07:09 Processing Sync ......\work:\gar To ....\work:\backup
23.12.2009 17:07:09 init: 0 Min. 0 Sec. Continue with Sync (2048 KB block)..
23.12.2009 17:17:14 Completed. 0 Hrs. 10 Min. 4 Sec.
23.12.2009 17:17:14 Waiting for 17:07 (Whole Week) (Whole Month)

Нагрузка на проц в обоих случаях = 0%

Количество буферов на 4-ке поменял. Посмотрим, как пойдет.

Lenik
Site Admin
Сообщения: 184
Зарегистрирован: Пт окт 06, 2006 6:51 pm
Откуда: Moscow / Moscow Region
Контактная информация:

Re: Докладываю

Сообщение Lenik » Ср дек 23, 2009 7:26 pm

Tolik Mironov писал(а): Нагрузка на проц в обоих случаях = 0%
Количество буферов на 4-ке поменял. Посмотрим, как пойдет.

Поменять мало. Надо чтобы памяти хватило.))

Tolik Mironov
Сообщения: 60
Зарегистрирован: Чт дек 03, 2009 6:12 am
Контактная информация:

Re: Докладываю

Сообщение Tolik Mironov » Ср дек 23, 2009 10:43 pm

Поменять мало. Надо чтобы памяти хватило.))


Мозгов 2 гига - за глаза должно хватать.

Lenik
Site Admin
Сообщения: 184
Зарегистрирован: Пт окт 06, 2006 6:51 pm
Откуда: Moscow / Moscow Region
Контактная информация:

Re: Докладываю

Сообщение Lenik » Чт дек 24, 2009 12:33 am

Tolik Mironov писал(а):
Поменять мало. Надо чтобы памяти хватило.))

Мозгов 2 гига - за глаза должно хватать.

Дай Бог. У 4ки с управлением памятью не всё хорошо.

Tolik Mironov
Сообщения: 60
Зарегистрирован: Чт дек 03, 2009 6:12 am
Контактная информация:

Re: Докладываю

Сообщение Tolik Mironov » Чт дек 24, 2009 2:33 am

Дай Бог. У 4ки с управлением памятью не всё хорошо.


Ну не то чтобы все уж плохо :)

Сейчас посмотрел на результат ежедневной синхронизации, после
изменения параметров на серваке.
Вместо 14 минут - стало 12. Ну это все не показатель. Интересно
будет посмотреть в воскресенье, когда большие каталоги будут синхронизироваться.

Да, кстати, у меня на серваке стоит версия от 10го числа, сейчас на раздаче версия от 17-го - что изменилось? Надо ставить?

Lenik
Site Admin
Сообщения: 184
Зарегистрирован: Пт окт 06, 2006 6:51 pm
Откуда: Moscow / Moscow Region
Контактная информация:

Re: Докладываю

Сообщение Lenik » Чт дек 24, 2009 1:17 pm

Tolik Mironov писал(а): Сейчас посмотрел на результат ежедневной синхронизации, после
изменения параметров на серваке.
Вместо 14 минут - стало 12. Ну это все не показатель. Интересно
будет посмотреть в воскресенье, когда большие каталоги будут синхронизироваться.

Да, кстати, у меня на серваке стоит версия от 10го числа, сейчас на раздаче версия от 17-го - что изменилось? Надо ставить?


Важным показателем кеширования будет реальное значение Directory Cache Buffers в monitor.nlm а также загрузка сервера во время синхронизации.

Обновленная версия отпускает логи во время бездействия. Никакого дополнительного функционала.

Tolik Mironov
Сообщения: 60
Зарегистрирован: Чт дек 03, 2009 6:12 am
Контактная информация:

Re: Чудо случилось! :)

Сообщение Tolik Mironov » Вс дек 27, 2009 1:17 am

С установленным минимум директори буфферс = 100000, синхронизация прошла за 31мин 42сек. Это 1.7М файлов.
Утилизация 0. Буфера 100000. Дисковая активность минимальна.

Я просто тааааак счастлив :)

Объединяю синхронизацию.

Lenik
Site Admin
Сообщения: 184
Зарегистрирован: Пт окт 06, 2006 6:51 pm
Откуда: Moscow / Moscow Region
Контактная информация:

Re: Чудо случилось! :)

Сообщение Lenik » Вс дек 27, 2009 2:30 am

Tolik Mironov писал(а):С установленным минимум директори буфферс = 100000, синхронизация прошла за 31мин 42сек. Это 1.7М файлов.
Утилизация 0. Буфера 100000. Дисковая активность минимальна.
Я просто тааааак счастлив :)
Объединяю синхронизацию.

awesome :)
Вобщем отлично :)

Tolik Mironov
Сообщения: 60
Зарегистрирован: Чт дек 03, 2009 6:12 am
Контактная информация:

Re: Чудо случилось! :)

Сообщение Tolik Mironov » Вс дек 27, 2009 3:06 am

awesome :)
Вобщем отлично :)


Сейчас прогнал синхр базы целиком с включенным дебагом - 1час 25мин.

Леонид, мега респект, уважуха и гранд спасибо!!!!

Lenik
Site Admin
Сообщения: 184
Зарегистрирован: Пт окт 06, 2006 6:51 pm
Откуда: Moscow / Moscow Region
Контактная информация:

Re: Чудо случилось! :)

Сообщение Lenik » Вс дек 27, 2009 3:09 am

Tolik Mironov писал(а):
awesome :)
Вобщем отлично :)

Сейчас прогнал синхр базы целиком с включенным дебагом - 1час 25мин.
Леонид, мега респект, уважуха и гранд спасибо!!!!

Совершенно не за что. Приятно пообщаться :)


Вернуться в «Утилиты/Utils»

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 1 гость

cron