Страница 1 из 1
					
				hugepage
				Добавлено: Вс сен 26, 2021 3:51 pm
				 XsoWie
				прошу включить в ядре hugepage
			 
			
					
				Re: hugepage
				Добавлено: Пн сен 27, 2021 11:10 am
				 Barvinok
				Прикольно.
Я включал для PGSQL, но разницы, признаюсь, не заметил.
А чем это может быть полезно для WTW?
			 
			
					
				Re: hugepage
				Добавлено: Пн сен 27, 2021 11:56 am
				 aka
				Во-во, зачем это терминалу? Чтоб Chromium на гигабайте не работал?
			 
			
					
				Re: hugepage
				Добавлено: Пн сен 27, 2021 12:49 pm
				 XsoWie
				Barvinok писал(а): Пн сен 27, 2021 11:10 am
А чем это может быть полезно для WTW?
 
для WTW не знаю чем.
для пакетов extra надо.
оно походу и так включено. так что по хугам вопрос снят.
а вот регистры MSR править не получается ((
wrmsr в сегфаулт падает с руганью на libc, при попытке изменить, из пакета extra
надо какойто особый wrmsr?
aka писал(а): Пн сен 27, 2021 11:56 am
Во-во, зачем это терминалу? Чтоб Chromium на гигабайте не работал?
 
гигабайт, тут что имеется в виду? и почему оно перестанет работать?
 
			
					
				Re: hugepage
				Добавлено: Пн сен 27, 2021 12:54 pm
				 aka
				Гигабайт оперативной памяти. Когда-то Хром запускался на полгигабайте. Сейчас магии стало больше, но хром толстеет быстрее и на гиге взлетает всё неувереннее.
Ты бы сначала архитектуру указывал (x86,x64,arm), про которую пишешь, а потом все эти умные слова.
			 
			
					
				Re: hugepage
				Добавлено: Пн сен 27, 2021 1:08 pm
				 XsoWie
				aka писал(а): Пн сен 27, 2021 12:54 pm
Ты бы сначала архитектуру указывал (x86,x64,arm)
 
x64
собрал extra с wrmsr из пакета msr-tools
говорю ему исполни:
			wrmsr -a 0xc0011020 0
			wrmsr -a 0xc0011021 0x40
			wrmsr -a 0xc0011022 0x1510000
			wrmsr -a 0xc001102b 0x2000cc16
и получаю сегфаулт с руганью на libc
 
			
					
				Re: hugepage
				Добавлено: Пн сен 27, 2021 3:26 pm
				 aka
				X86_MSR при сборке ядра для x64 втвари не выбран. Т.е. файла /dev/cpu/*/msr нет, прикладная программа рулить MSR не может.
Зачем это терминалу?
			 
			
					
				Re: hugepage
				Добавлено: Ср сен 29, 2021 9:11 am
				 XsoWie
				прикладной софт из экстра отрабатывает в два раза шустрее, если ему эти параметры скормить.
было бы хорошо, если включить.
			 
			
					
				Re: hugepage
				Добавлено: Ср сен 29, 2021 10:53 am
				 aka
				Прикладной, неграфический софт в два раза быстрее из-за настройки процессора? Вот бы про это почитать...
			 
			
					
				Re: hugepage
				Добавлено: Ср сен 29, 2021 3:14 pm
				 XsoWie
				ну вот люди мнением деляться
https://linustechtips.com/topic/1201012 ... ujcnBszQil
вот оракл к своим сервакам рекомендации дает
https://docs.oracle.com/cd/E19962-01/ht ... gljyu.html
тут хаявей рекомендует включить
https://support.huawei.com/enterprise/e ... on-of-bios
мне как раз отключить надо. на матери нет настройки на отключение в bios (((
 
			
					
				Re: hugepage
				Добавлено: Вс окт 10, 2021 11:06 am
				 XsoWie
				а можно хоть намек, будет включен или нет. а то как то неопределенность подвисла ((
ждать или не ждать, вот в чем вопрос.
			 
			
					
				Re: hugepage
				Добавлено: Вс окт 10, 2021 6:05 pm
				 aka
				Да. Сейчас только соберу всё в кучу и выложу попробовтаь.
			 
			
					
				Re: hugepage
				Добавлено: Вс окт 10, 2021 7:22 pm
				 XsoWie
				спасибо
			 
			
					
				Re: hugepage
				Добавлено: Пн окт 11, 2021 11:45 pm
				 aka
				Собрал. Попробуй 6.0.58.
			 
			
					
				Re: hugepage
				Добавлено: Вт окт 12, 2021 6:06 pm
				 XsoWie
				aka писал(а): Пн окт 11, 2021 11:45 pm
Собрал. Попробуй 6.0.58.
 
хм. чот не подгружается модуль ((
modprobe msr выдает
EXTRA] [    8.417476] modprobe: can't open 'modules.dep': No such file or directory
lsmod выдает 
21-59-26-133| [         EXTRA] [    8.417765] Module                  Size  Used by    Not tainted
21-59-26-133| [         EXTRA] [    8.417767] nouveau              2150400  - 
21-59-26-137| [         EXTRA] [    8.417767] i2c_algo_bit           16384  - 
21-59-26-137| [         EXTRA] [    8.417775] drm_kms_helper        204800  - 
21-59-26-137| [         EXTRA] [    8.417776] syscopyarea            16384  - 
21-59-26-137| [         EXTRA] [    8.417776] sysfillrect            16384  - 
21-59-26-137| [         EXTRA] [    8.417777] sysimgblt              16384  - 
21-59-26-137| [         EXTRA] [    8.417777] fb_sys_fops            16384  - 
21-59-26-137| [         EXTRA] [    8.417777] ttm                    81920  - 
21-59-26-137| [         EXTRA] [    8.417778] drm                   393216  - 
21-59-26-137| [         EXTRA] [    8.417778] r8169                  98304  -
 
			
					
				Re: hugepage
				Добавлено: Вт окт 12, 2021 6:38 pm
				 aka
				Оно в ядро должно быть вкомпилировано.
			 
			
					
				Re: hugepage
				Добавлено: Вт окт 12, 2021 7:11 pm
				 XsoWie
				aka писал(а): Вт окт 12, 2021 6:38 pm
Оно в ядро должно быть вкомпилировано.
 
ну чот нифига ((
а можно скомпилиный msr.ko выложить? я его руками прогружу да и все.
 
			
					
				Re: hugepage
				Добавлено: Вт окт 12, 2021 8:13 pm
				 aka
				Модуль msr в ядре. Запущен. Работает. Запусти командную строку из меню Setup и сделай:
ls -l /dev/cpu/0/
Будет файл msr. У каждого ядра свой. Если только ты запускаешь 6.0.58 втварь для x64.
Давай ближе к проблеме. Как именно пишется "сегфаулт с руганью на libc" ?
			 
			
					
				Re: hugepage
				Добавлено: Вт окт 12, 2021 8:26 pm
				 XsoWie
				сегфаулта больше нет.
правки в регистры внес, все норм.
я не пойму почему бинарник ругается на отсутствие модуля (((
соберу щас сам, подкину, погляжу
			 
			
					
				Re: hugepage
				Добавлено: Вт окт 12, 2021 8:27 pm
				 XsoWie
				плохо без консоли. так бы в реалтайме проверял. телнет бы вернуть. или ssh какой собрать подкинуть попробовать
			 
			
					
				Re: hugepage
				Добавлено: Вт окт 12, 2021 9:29 pm
				 aka
				На x86 консоль есть. На малине консоль есть. Включается волшебным словом telnetd в командной строке ядра.
На x64 консоли нет потому что нет загрузчика, некому передать командную строку ядра. Теоретически можно настроить UEFI, UEFI это же мегасложная штука и настроек у неё куча, только их не умеет никто.
Как ещё сказать терминалу запускать telnetd, чтобы ничего лишщнего не усложнять? Пункт меню Setup выносить не хочу, не стоит оно того. Можно сделать например "extra=telnetd", ключевое слово, по которому качаться ничего не будет, а запустится telnetd.
			 
			
					
				Re: hugepage
				Добавлено: Вт окт 12, 2021 9:43 pm
				 XsoWie
				а пакеты extra какие привилегии имеют? wtware вообще там разделятеся как то запуск по привилегиям? может бинарнику просто прав не хватает? я уже готов сдаться (((
			 
			
					
				Re: hugepage
				Добавлено: Вт окт 12, 2021 9:46 pm
				 aka
				extra= под рутом запускается. Всё может.
			 
			
					
				Re: hugepage
				Добавлено: Вт окт 12, 2021 10:03 pm
				 XsoWie
				Ну, в этой ситуации мы просто, наша, это самое, мы уже здесь, наши полномочия всё ((
модуль собрал, получаю 
KERNEL] [    8.354465] msr: version magic '5.10.70 SMP mod_unload modversions ' should be '5.10.70 SMP '
vermagic ругается.
все. я сдался. последняя надежда на родной (при сборке) msr.ko
и если и с ним откажется работать. значит не судьба.
			 
			
					
				Re: hugepage
				Добавлено: Вт окт 12, 2021 10:58 pm
				 aka
				Какой-то ты ерундой занимаешься. Нельзя всунуть в ядро модуль, который собирался без ядра. Проблема в чем?
			 
			
					
				Re: hugepage
				Добавлено: Вт окт 12, 2021 11:08 pm
				 XsoWie
				все таже проблема.
бинарник из extra говорит что msr kernel module is not available
хотел ему подсунуть kernel module чтоб был available
а msr.ko отсутствует в наличии.
			 
			
					
				Re: hugepage
				Добавлено: Вт окт 12, 2021 11:10 pm
				 aka
				А на свежем дебиане на этой же железке это работает?
А если на свежем дебиане модуль запустить ДО запуска бинарника, чтобы бинарник никак не мог запустить модуль заново - работает?
Доступа к авторам бинарника нет?
			 
			
					
				Re: hugepage
				Добавлено: Вт окт 12, 2021 11:18 pm
				 XsoWie
				на дебиане работает, msr.ko лежит в /lib/modules/5.10.0-9-amd64/kernel/arch/x86/kernel
не понял как запустить модуль ДО запуска бинарника?
modprobe msr говорит что нету такого модуля (modprobe: can't open 'modules.dep': No such file or directory)
insmod требует чтобы msr.ko присутствовал в системе ))
доступ к авторам есть. и исходники на гитхабе лежат.
			 
			
					
				Re: hugepage
				Добавлено: Ср окт 13, 2021 8:31 pm
				 aka
				XsoWie писал(а): Вт окт 12, 2021 11:18 pm
на дебиане работает, msr.ko лежит в /lib/modules/5.10.0-9-amd64/kernel/arch/x86/kernel
не понял как запустить модуль ДО запуска бинарника?
modprobe msr говорит что нету такого модуля (modprobe: can't open 'modules.dep': No such file or directory)
insmod требует чтобы msr.ko присутствовал в системе ))
 
На дебиане запусти модуль руками. Тот, который лежит в...
И потом, на дебиане, когда модуль уже будет запущен (и софтина никак не сможет запустить его второй раз), запусти софтину. На дебиане.
Будет работать?
XsoWie писал(а): Вт окт 12, 2021 11:18 pm
доступ к авторам есть. и исходники на гитхабе лежат.
 
Дык ссылку покажи.
И я правильно понимаю, что wrmsr в extra= под втварью сейчас корректно отрабатывает, не ругается?
 
			
					
				Re: hugepage
				Добавлено: Чт окт 14, 2021 7:30 am
				 XsoWie
				aka писал(а): Ср окт 13, 2021 8:31 pm
Будет работать?
 
тут все работает
aka писал(а):
Дык ссылку покажи.
https://github.com/docker-library/postgres
aka писал(а):
И я правильно понимаю, что wrmsr в extra= под втварью сейчас корректно отрабатывает, не ругается?
да. wrmsr отрабатывает правильно. я протупил. бинарник пытался сам эти значения прописать, и у него не получалось. отключил это в бинарнике. и скрипт из extra пишет их. тут все норм.
вопрос осталcя по hugepage всетаки. вернулись к началу.
походу в ядре оно не включено всетаки
ls /sys/kernel/mm
консль wtware показывает тут только наличие swap
transparent_hugepage отсутствует
можно его всетки включить в ядре? пожалста ))))
 
			
					
				Re: hugepage
				Добавлено: Чт окт 14, 2021 10:17 am
				 aka
				Насколько я понимаю, hugepages - это про много памяти и своп. Если у нас 100500 гигов, то целесообразно кидать в своп куски по два мегабайта вместо дефолтных 4K, чтобы таблицы, описывающие, какой кусок в памяти а какой в свопе, были покороче.
У тебя такая могучая экстра, что ложится в своп? А своп вообще есть?
			 
			
					
				Re: hugepage
				Добавлено: Чт окт 14, 2021 10:34 am
				 XsoWie
				а как позырить без консоли есть чего в свопе или нет?
екстра планируется экстраординарная ))
вебинтерфейс же. посмотрел. есть маленько. 32gb оперативы. маленько в свопе лежит.
			 
			
					
				Re: hugepage
				Добавлено: Чт окт 14, 2021 6:13 pm
				 aka
				А своп куда?
Если втварь грузится по сети или с флешки, у неё будет своп. Сжатый. Магия 78 уровня - свопить память в память. Реально помогает запустить хром на гигабайте. Но оно помогает пока туда склдывается ненужное. Как только с памятью становится совсем плохоо и в этот своп начинает ложиться нужное - начинается жуткое торможение, работать больше невозможно. С твоей экстраординарной экстрой то же самое будет.
Если втварь грузится с жесткого диска большого объема,  своп будет обычный на диск.
			 
			
					
				Re: hugepage
				Добавлено: Чт окт 14, 2021 7:05 pm
				 XsoWie
				по сетке грузиться втварь.
постргю же можно ограничить по памяти.
просто смысл такой.
обновили парк)))
и теперь в сети есть 25 тонких клиентов на втвари с пятыми райзенами и 32гигами озу на борту.
не спрашивай зачем и почему. привет и спасибо снабженцам и планировщикам с закупанами)))
скупые мужские слезы капают на 99% простаивающего потенциала
пусть таблички пересчитывают, пока персонал честно работает в терминалке
на чистом дистрибутиве показатели в два раза выше чем в втвари. начал копать вопрос. вот докопал до сегодняшнего момента.
городить свой велосипед для тонкого клиента вообще не хочется, ибо втварь работает давно и красиво.
			 
			
					
				Re: hugepage
				Добавлено: Чт окт 14, 2021 10:57 pm
				 aka
				Попробуй: 
http://wtware.com/testing/202110142350.zip
1. Собрано с hugepage. Но оно выключено по умолчанию.
2. В конфиг: 
Запустится сервер телнет.
Но в два раза выше это серьёзно. А данные табличек приходят по сети и у дистрибутивов, и у втвари?
 
			
					
				Re: hugepage
				Добавлено: Пт окт 15, 2021 10:41 am
				 XsoWie
				aka писал(а): Чт окт 14, 2021 10:57 pm
 
за телнет респект. очень помог.
покопал я недостаточно глубоко.
читая по 
мануалу выясняется что надо еще и поддержку HUGETLBFS в ядре
First the Linux kernel needs to be built with the CONFIG_HUGETLBFS
(present under "File systems") and CONFIG_HUGETLB_PAGE (selected
automatically when CONFIG_HUGETLBFS is selected) configuration
options.
то есть 
должен нам показать наличие hugetlbfs
а при наличии поддержки этой фс в sysctl появляется возможность редактировать параметр vm.nr_hugepages 
а далее вроде все просто должно быть. монитруем эту фс в куданибудь. и софтина должна в это куданибудь складывать свои большие страницы
на всякий случай почитал дальше. должно быть достаточно, чтобы вопрос закрыть.
 
			
					
				Re: hugepage
				Добавлено: Сб ноя 13, 2021 10:57 pm
				 aka
				Я того, выходил... Попробуй это: 
http://wtware.com/testing/202111132339.zip 
Код: Выделить всё
# cat /proc/filesystems
...
nodev   hugetlbfs
...
 
			
					
				Re: hugepage
				Добавлено: Сб янв 08, 2022 4:42 pm
				 XsoWie
				
чото я тоже вышел... хорошо так вышел...
можно повторить? архив уже тютю ((
 
			
					
				Re: hugepage
				Добавлено: Ср янв 12, 2022 2:37 am
				 aka