Duży problem z 100% CPU on ksoftirqd/1

[Kasia Stêpieñ]

Witam serdecznie



Mam od jakiegoś czasu dość dziwny problem, moja siec to około 1000 userów
oraz łącze na poziomie 32 mbity, serwer posiada dwa procesory XEON 3,0 i 4
GB ramu. Dwie sieciówki oraz kernel w wersji 2.6.22.7-57 i system FEDORE
CORE 6.



Problem jest o tyle dziwny że w różnych godzinach system czasem dostaje
strasznie duży uptime rosnący do poziomu powyżej 3,0

Przy tym zjawisku wykorzystanie dysków procesorów jest na niskim poziomie
ale na top widzę na samej górze proces:

ksoftirqd/1, który obciąża jeden procek na 100% i wtedy sieć zaczyna chodzić
fatalnie ludzie się strasznie skarżą, po reboocie maszyny czasem to pomaga,
a czasem po kilku minutach wraca ten sam problem by przejść później po
następnej godzinie i wszystko wraca do normy ?



Co to może być i jak ten problem rozwiązać, będę wdzięczny za wszelką pomoc


Wszelkie dodatkowe informacje poniżej w razie jakichś jeszcze pytań prześlę
emailem osobie która spróboje mi pomóć, dodam że stosuję regółki HTB z
systemu LMS jeśli wyłącze wogólę limitowanie HTB wtedy wszystko od razu
wraca do normy, ale to nie rozwiązanie bo wtedy userzy mi łącze zapychają na
full.

[***@xxx]# uname -a
Linux xxx 2.6.22.7-57.fc6 #1 SMP Fri Sep 21 20:23:24 EDT 2007 i686 i686 i386
GNU/Linux

[***@xxx]# cat /proc/interrupts
CPU0 CPU1
0: 354 0 IO-APIC-edge timer
1: 0 8 IO-APIC-edge i8042
2: 0 0 XT-PIC-XT cascade
6: 0 5 IO-APIC-edge floppy
12: 0 4 IO-APIC-edge i8042
14: 0 448241 IO-APIC-edge ide0
24: 20613004 85302771 IO-APIC-fasteoi eth0
48: 78512763 21700497 IO-APIC-fasteoi eth1
72: 1560 132799 IO-APIC-fasteoi ioc0
73: 0 48 IO-APIC-fasteoi ioc1
NMI: 0 0
LOC: 50183997 50183898
ERR: 0
MIS: 0

[***@xxx]# cat /proc/cpuinfo
processor : 0
vendor_id : GenuineIntel
cpu family : 15
model : 3
model name : Intel(R) Xeon(TM) CPU 3.00GHz
stepping : 4
cpu MHz : 2992.874
cache size : 1024 KB
fdiv_bug : no
hlt_bug : no
f00f_bug : no
coma_bug : no
fpu : yes
fpu_exception : yes
cpuid level : 5
wp : yes
flags : fpu vme de pse tsc msr pae mce cx8 apic mtrr pge mca cmov
pat pse36 clflush dts acpi mmx
fxsr sse sse2 ss ht tm pbe lm constant_tsc pni monito
r ds_cpl cid xtpr
bogomips : 5987.68
clflush size : 64

processor : 1
vendor_id : GenuineIntel
cpu family : 15
model : 3
model name : Intel(R) Xeon(TM) CPU 3.00GHz
stepping : 4
cpu MHz : 2992.874
cache size : 1024 KB
fdiv_bug : no
hlt_bug : no
f00f_bug : no
coma_bug : no
fpu : yes
fpu_exception : yes
cpuid level : 5
wp : yes
flags : fpu vme de pse tsc msr pae mce cx8 apic mtrr pge mca cmov
pat pse36 clflush dts acpi mmx
fxsr sse sse2 ss ht tm pbe lm constant_tsc pni monito
r ds_cpl cid xtpr
bogomips : 5984.22
clflush size : 64

Pozdrawiam

G.J.

[Grzegorz Jakóbik]

Sorry ze głupi adres zwrotny wysłałem tego news-a z cafejki bez ustawienia
swoich danych ech :(

Pozdrawiam

G.J.

Post by Kasia Stêpieñ
Witam serdecznie
Mam od jakiegoś czasu dość dziwny problem, moja siec to około 1000 userów
oraz łącze na poziomie 32 mbity, serwer posiada dwa procesory XEON 3,0 i 4
GB ramu. Dwie sieciówki oraz kernel w wersji 2.6.22.7-57 i system FEDORE
CORE 6.
Problem jest o tyle dziwny że w różnych godzinach system czasem dostaje
strasznie duży uptime rosnący do poziomu powyżej 3,0
Przy tym zjawisku wykorzystanie dysków procesorów jest na niskim poziomie
ksoftirqd/1, który obciąża jeden procek na 100% i wtedy sieć zaczyna chodzić
fatalnie ludzie się strasznie skarżą, po reboocie maszyny czasem to pomaga,
a czasem po kilku minutach wraca ten sam problem by przejść później po
następnej godzinie i wszystko wraca do normy ?
Co to może być i jak ten problem rozwiązać, będę wdzięczny za wszelką pomoc
Wszelkie dodatkowe informacje poniżej w razie jakichś jeszcze pytań prześlę
emailem osobie która spróboje mi pomóć, dodam że stosuję regółki HTB z
systemu LMS jeśli wyłącze wogólę limitowanie HTB wtedy wszystko od razu
wraca do normy, ale to nie rozwiązanie bo wtedy userzy mi łącze zapychają na
full.
Linux xxx 2.6.22.7-57.fc6 #1 SMP Fri Sep 21 20:23:24 EDT 2007 i686 i686 i386
GNU/Linux
CPU0 CPU1
0: 354 0 IO-APIC-edge timer
1: 0 8 IO-APIC-edge i8042
2: 0 0 XT-PIC-XT cascade
6: 0 5 IO-APIC-edge floppy
12: 0 4 IO-APIC-edge i8042
14: 0 448241 IO-APIC-edge ide0
24: 20613004 85302771 IO-APIC-fasteoi eth0
48: 78512763 21700497 IO-APIC-fasteoi eth1
72: 1560 132799 IO-APIC-fasteoi ioc0
73: 0 48 IO-APIC-fasteoi ioc1
NMI: 0 0
LOC: 50183997 50183898
ERR: 0
MIS: 0
processor : 0
vendor_id : GenuineIntel
cpu family : 15
model : 3
model name : Intel(R) Xeon(TM) CPU 3.00GHz
stepping : 4
cpu MHz : 2992.874
cache size : 1024 KB
fdiv_bug : no
hlt_bug : no
f00f_bug : no
coma_bug : no
fpu : yes
fpu_exception : yes
cpuid level : 5
wp : yes
flags : fpu vme de pse tsc msr pae mce cx8 apic mtrr pge mca cmov
pat pse36 clflush dts acpi mmx
fxsr sse sse2 ss ht tm pbe lm constant_tsc pni monito
r ds_cpl cid xtpr
bogomips : 5987.68
clflush size : 64
processor : 1
vendor_id : GenuineIntel
cpu family : 15
model : 3
model name : Intel(R) Xeon(TM) CPU 3.00GHz
stepping : 4
cpu MHz : 2992.874
cache size : 1024 KB
fdiv_bug : no
hlt_bug : no
f00f_bug : no
coma_bug : no
fpu : yes
fpu_exception : yes
cpuid level : 5
wp : yes
flags : fpu vme de pse tsc msr pae mce cx8 apic mtrr pge mca cmov
pat pse36 clflush dts acpi mmx
fxsr sse sse2 ss ht tm pbe lm constant_tsc pni monito
r ds_cpl cid xtpr
bogomips : 5984.22
clflush size : 64
Pozdrawiam
G.J.

...

[Lemat]

Mam od jakiego¶ czasu do¶æ dziwny problem, moja siec to oko³o 1000 userów
oraz ³±cze na poziomie 32 mbity, serwer posiada dwa procesory XEON 3,0 i 4
GB ramu. Dwie sieciówki

jakie? jakieś nędzne czy np. Intele?

[Grzegorz Jakóbik]

Mam takie karty:

[***@xxx etc]# lspci
0003:01.0 Ethernet controller: 3Com Corporation 3c980-C 10/100baseTX NIC
[Python-T] (rev 78)
08:01.0 Ethernet controller: Broadcom Corporation NetXtreme BCM5701 Gigabit
Ethernet (rev 15)
09:01.0 Ethernet controller: Broadcom Corporation NetXtreme BCM5701 Gigabit
Ethernet (rev 15)

System pracuje na dwóch pozostałch 3com jest dla backupu ale próbowałem z
innymi kartami i to samo się działo

[***@xxx etc]# cat modprobe.conf
alias eth0 tg3
alias eth1 tg3

Pozdrawiam

G.J.

[kanold]

Post by Grzegorz Jakóbik
0003:01.0 Ethernet controller: 3Com Corporation 3c980-C 10/100baseTX NIC
[Python-T] (rev 78)
08:01.0 Ethernet controller: Broadcom Corporation NetXtreme BCM5701 Gigabit
Ethernet (rev 15)
09:01.0 Ethernet controller: Broadcom Corporation NetXtreme BCM5701 Gigabit
Ethernet (rev 15)
System pracuje na dwóch pozostałch 3com jest dla backupu ale próbowałem z
innymi kartami i to samo się działo
alias eth0 tg3
alias eth1 tg3

to nie jest przypadkiem jakis dell?

Mam problem z jednym dellem, po dolozeniu mu dodatkowych 3 kart robi
dziwne rzeczy, chociaz nigdzie nie ma zadnych bledow.
Karty to 3comy i intele.

[zlyZwierz]

Mam od jakiegoœ czasu doœÌ dziwny problem, moja siec to oko³o 1000
userĂłw
oraz ³¹cze na poziomie 32 mbity, serwer posiada dwa procesory XEON
3,0 i 4
GB ramu. Dwie sieciĂłwki

jakie? jakie� n�dzne czy np. Intele?

To _raczej_ nie jest wina kiepskich sieciówek ,tylko nie optymalnie
zrobiony firewall (pewnie markowanie) i brak filtrów mieszających.

[Radosław HORODNICZY]

Widze ze uzywasz APIC, z doswiadczenia wiem ze na niektorych
maszynach, wylaczenie APIC w BIOSie oraz wylaczenie oblusgi
APIC w jadrze, znaczenie porpawia dzialanie calego systemu.

Przerwan powinno ci starczyc jesli uzywasz tylko 3 sieciowek.

[Grzegorz Jakóbik]

Poniekąd masz racje ale w przypadku opisu funkcji APIC:

APIC Mode
- opcja aktywująca i dezaktywująca zaawansowany kontroler przerwań (Advanced
Programmable Interrupt Controller). Opcję tę można regulować tylko wtedy,
gdy mamy komputer z jednym procesorem bez HyperThreadingu. W systemach
wieloprocesorowych lub dla procesora z HyperThreadingiem kontroler APIC jest
zawsze włączony (Enabled). Dzięki APIC możliwe jest rozwiązywanie konfliktów
pomiędzy urządzeniami nawet w bardzo rozbudowanych komputerach
(posiadających np. kilka kart graficznych, dźwiękowych, itp.), nowy
kontroler oferuje znacznie większą liczbę przerwań i szybszą ich obsługę.
Jeśli nawet nie mamy komputera z wieloma procesorami czy procesora z HT,
zalecane jest włączenie tego kontrolera. Niestety jeżeli korzystamy z DOS
lub Windows 9x/Me, należy wyłączyć APIC - te systemy nie obsługują nowego
typu kontrolera.

Więc wynika z tego że przy dwóch procesorach nie zabardzo można to wyłączyć
??? (A ja mam właśnie dwa procesory a nie jeden i stąd te problemy)

Post by Radosław HORODNICZY
Widze ze uzywasz APIC, z doswiadczenia wiem ze na niektorych
maszynach, wylaczenie APIC w BIOSie oraz wylaczenie oblusgi
APIC w jadrze, znaczenie porpawia dzialanie calego systemu.
Przerwan powinno ci starczyc jesli uzywasz tylko 3 sieciowek.

Pozdrawiam

G.J.

[Przemek Celej]

Post by Kasia Stêpieñ
Witam serdecznie
[ciach]

Upewnij się że Twojego routera nie atakuje jakiś złośliwy robak który
generuje dużo małych pakietów.

[ŁON]

Post by Przemek Celej

Post by Kasia Stêpieñ
Witam serdecznie
[ciach]

Upewnij się że Twojego routera nie atakuje jakiś złośliwy robak który
generuje dużo małych pakietów.

Czy nie działa cos czasem na tym samym przerwaniu??