제온 SMP 문제에 대한 해결책은..??

gbkwon의 이미지

안녕하세요.. ;

질문하고자 하는것은 현재 제온 2CPU 를 SMP로 사용하고 있는데

제온은 처음 사용하는거라서 어떻게 제대로 되었는지도 모르겠네요.. ;

펜3 2CPU 보다 느린것 같이 생각되기도 하구요.. ; (너무 큰 기대를 했나요..?? ^^;)

눈에 보이는 스펙은 펜3 2CPU 보다 훨씬 좋으나 그리 빠르다는 느낌을 받지는 못하고

있는것 같습니다.. ;

문제는.. 여기 게시판에서도 몇번 볼수 있었는 문제인데

http://bbs.kldp.org/viewtopic.php?t=26357&highlight=%C6%F3%BC%E2

1. 제온의 하이퍼 쓰레딩 문제
2. 제온의 SMP 에서 인터럽트 문제

기타 등의 문제인데..

위의 문제가 현재는 해결되었는지.. 아직 해결되지 않았다면 어떻게 확인 하고

해결하는지 알고 싶습니다.. ;

현재 나름데로 레드햇의 커널 패치를 SRPM에서 구해 패치를 해서 적용해 보기도 하고

http://www.hardrock.org 에 있는 패치를 해서 vmlinuz-2.4.23-uv1를 올려보기도 하고..

2.6대 버전의 커널을 올려 보기도 하였으나 적확히 해결된것 처럼 보이지 않습니다..

물론 확인 하는 방법도 정확히는 잘 모릅니다.. 아래와 같은 방법으로 확인했는데

정상은 아닌것 같은데요...

[13:44:50 root 9:~]$ cat /proc/interrupts
           CPU0       CPU1
  0:    2689491    2689071    IO-APIC-edge  timer
  1:          4          6    IO-APIC-edge  keyboard
  2:          0          0          XT-PIC  cascade
  5:      66882      67265   IO-APIC-level  aic7xxx, aic7xxx
  8:          0          1    IO-APIC-edge  rtc
 10:     321735     321708   IO-APIC-level  eth0
 11:      55421      55755   IO-APIC-level  ide2, ide3
 14:         10          7    IO-APIC-edge  ide0
NMI:          0          0
LOC:    5378946    5378945
ERR:          0
MIS:          0

[13:05:30 root 78:/etc]$ cat /proc/interrupts
           CPU0       CPU1       CPU2       CPU3
  0:   53284812          0          0          0    IO-APIC-edge  timer
  1:          9          0          0          0    IO-APIC-edge  i8042
  2:          0          0          0          0          XT-PIC  cascade
  8:          3          0          0          0    IO-APIC-edge  rtc
 12:         85          0          0          0    IO-APIC-edge  i8042
 15:         11          0          0          0    IO-APIC-edge  ide1
 28:     437201          0          0          0   IO-APIC-level  eth0
 76:      53940          0          0          0   IO-APIC-level  aic79xx
 77:         30          0          0          0   IO-APIC-level  aic79xx
NMI:          0          0          0          0
LOC:   53282498   53282746   53282745   53282744
ERR:          0
MIS:          0

처음에 것은 펜3 1.2G 2CPU SMP 이고 두번째 것은 펜4 제온 2.4G 2CPU SMP 입니다..

마지막으로 제온 SMP를 사용하면서 생길수 있는 문제나 정확한 성능을 내기 위해

확인해봐야 될것에 대해서 먼저 사용해 보신 분들의 조언좀 부탁 드립니다..

참고로 제 사양은 아래와 같습니다..

CPU 제온 2.4G 533MHz *2
RAM DDR PC2100 1G *2
HDD SEAGATE 15K 68P 36G *2
MB SuperMicro X5DP8-G2(U320 SCSI, E7501)

사용배포본 GENTOO 1.4

/

davinci의 이미지

질문에 질문을 드려도 되나요?

저도 학교에서 제온 두얼 씨피유룰 사용하고 있는데.... 궁금한 게 있어서 질문에 염치 불구 하고 질문 드립니다.

top 코멘드로 보면, CPU가 4개 인 것처럼 나오는데, (위의 cat /proc/interrupts 코멘드도 마찬가지네요) 왜 그런가요?

그리고 위의 코멘드의 결과와 비슷하게 top으로 보면, 주로 CPU 한대는 열심히 일하고 나머지 CPU는 탱자탱자 놀기만 하던데... 원래 그러는 건가요?

참고로 레드햇 9이 설치되어 있고요.

jj의 이미지

저도 관심이 많습니다... ㅡㅡa

[jjkim@cse /usr/local] cat /proc/interrupts
           CPU0       CPU1       CPU2       CPU3
  0:  114245187          0          0          0    IO-APIC-edge  timer
  1:        245          0          0          0    IO-APIC-edge  keyboard
  2:          0          0          0          0          XT-PIC  cascade
 14:          4          0          0          1    IO-APIC-edge  ide0
 24:    8557226          0          0          0   IO-APIC-level  cciss0
 28:   33131993          0          0          0   IO-APIC-level  eth0
NMI:          0          0          0          0
LOC:  114239199  114239206  114239206  114239205
ERR:          0
MIS:          0
[jjkim@cse /usr/local] uname -a
Linux cse 2.4.23 #1 SMP Wed Dec 3 11:31:39 KST 2003 i686 unknown

저도 xeon dual 입니다.

--
Life is short. damn short...

이광우의 이미지

앞에 링크된 글에도 적었지만, 데비안 커널을 받아서 설치해 보세요.
http://www.hardrock.org 에서 제공한 패치를 kernel.org에서 받은 소스에 직접했을 경우에도 시스템이 죽는 문제가 있었지만, 데비안 커널은 쓰는 데에는 큰 지장은 없었습니다.

Be Creative For Fun!!

pyrasis의 이미지

전 펜티엄 4 2.4C 를 사용하고 있습니다.

하이퍼 쓰레딩이 되는 CPU인데

kernel.org의 2.4.23을 설치하니

역시 인터럽트가 한쪽밖에 안걸리네요

펜티엄4 하이퍼쓰레딩 CPU 쓰시는분들중에

이 문제 해결하신분 계신가요?

           CPU0       CPU1
  0:    4060901          0    IO-APIC-edge  timer
  1:       4065          0    IO-APIC-edge  keyboard
  2:          0          0          XT-PIC  cascade
  8:          3          0    IO-APIC-edge  rtc
 14:     120730          1    IO-APIC-edge  ide0
 15:          4          1    IO-APIC-edge  ide1
 16:          0          0   IO-APIC-level  usb-uhci, usb-uhci
 18:    5722975          0   IO-APIC-level  usb-uhci, eth0
 19:          0          0   IO-APIC-level  es1371, usb-uhci
NMI:          0          0
LOC:    4060956    4060955
ERR:          0
MIS:          0
jj의 이미지

이광우 wrote:
앞에 링크된 글에도 적었지만, 데비안 커널을 받아서 설치해 보세요.
http://www.hardrock.org 에서 제공한 패치를 kernel.org에서 받은 소스에 직접했을 경우에도 시스템이 죽는 문제가 있었지만, 데비안 커널은 쓰는 데에는 큰 지장은 없었습니다.

데비안 커널을 받아 쓰라는 말은, 소스를 말씀 하시는건가요? 저같은 경우엔 디바이스 드라이버때문에 제가 컴파일해서 쓸 수 밖에 없거든요...

--
Life is short. damn short...

gbkwon의 이미지

이광우 wrote:
앞에 링크된 글에도 적었지만, 데비안 커널을 받아서 설치해 보세요.
http://www.hardrock.org 에서 제공한 패치를 kernel.org에서 받은 소스에 직접했을 경우에도 시스템이 죽는 문제가 있었지만, 데비안 커널은 쓰는 데에는 큰 지장은 없었습니다.

데비안은 패치된 커널 소스를 받을려면 어디서 받아야 하고 뭘 받아야 하죠..??

debian.org 에가서 커널쪽으로 찾아 들어 갔는데... 커널 소스랑 패치랑..

모두 분리 되어 있는것 같던데.. 패치 된 커널소스는 어떻게 받아야 하는거죠..

수고 스럽지만 좀 알려 주세요.. 데비안은 아직 시디도 구경 못한 상태라서요..

chunsj의 이미지

RedHat의 커널 패치에 이 문제에 대한 것이 있었던 것으로 기억합니다.
한번 시도해 보시죠?

pyrasis wrote:
전 펜티엄 4 2.4C 를 사용하고 있습니다.

하이퍼 쓰레딩이 되는 CPU인데

kernel.org의 2.4.23을 설치하니

역시 인터럽트가 한쪽밖에 안걸리네요

펜티엄4 하이퍼쓰레딩 CPU 쓰시는분들중에

이 문제 해결하신분 계신가요?

           CPU0       CPU1
  0:    4060901          0    IO-APIC-edge  timer
  1:       4065          0    IO-APIC-edge  keyboard
  2:          0          0          XT-PIC  cascade
  8:          3          0    IO-APIC-edge  rtc
 14:     120730          1    IO-APIC-edge  ide0
 15:          4          1    IO-APIC-edge  ide1
 16:          0          0   IO-APIC-level  usb-uhci, usb-uhci
 18:    5722975          0   IO-APIC-level  usb-uhci, eth0
 19:          0          0   IO-APIC-level  es1371, usb-uhci
NMI:          0          0
LOC:    4060956    4060955
ERR:          0
MIS:          0
gbkwon의 이미지

chunsj wrote:
RedHat의 커널 패치에 이 문제에 대한 것이 있었던 것으로 기억합니다.
한번 시도해 보시죠?

레드햇에 있는 커널로 빌드 해 보았는데요.. 빌드시 에러가 나서

아직 해보지 못했습니다.. AS 버전의 2.4.21으로 빌드 했는데

devfs 쪽에 에러가 나더군요.. ;;

/usr/src/linux/fs/devfs/base.c 1417라인의 p구조체에서 p_opptr 멤버가 없다는 군요..

#if LINUX_VERSION_CODE < KERNEL_VERSION(2,5,1)
    for (p = current->p_opptr; p != &init_task; p = p->p_opptr)
    {
        if (p == fs_info->devfsd_task) return (TRUE);
    }
#endif

여담이지만.. 구조체에 가니.. 그 멤버가 실제 없더군요.. ;; 어떻게 된건지.. ;;

하위버전엔 있는 구조체 멤버인데.. 다음 버전으로 올라가면서 없어 진 멤버인것 같은데..

조금 허술하게 관리되었다는 생각이 들기도 하구요.. ;; 아무튼 커널은 잘 모르는관계로.. 어떻게 못해보고 있습니다..

윗부분의 코드를 삭제하고 컴팔하면 빌드는 되는데.. ;; 불안해서.. 아직 테스트는 해보지 않은 상태 입니다..

하위버전의 레드햇 커널을 구해서 빌드 해볼 생각 입니다.. 빌드 해보고 다시 결과 올려 드리죠.

.

jerry의 이미지

hardrock의 irqbalance patch 후 interrupt부분은 일단정상적으로 올라옵니다.
http://www.hardrock.org/kernel/2.4.23/

           CPU0       CPU1       
  0:    1959857    1957284    IO-APIC-edge  timer
  1:          2          0    IO-APIC-edge  keyboard
  2:          0          0          XT-PIC  cascade
  8:          1          0    IO-APIC-edge  rtc
 14:          2          4    IO-APIC-edge  ide0
 48:       9824       9814   IO-APIC-level  eth1
 50:      14699      14485   IO-APIC-level  aic79xx
 51:         16         14   IO-APIC-level  aic79xx
 53:      20147      20946   IO-APIC-level  eth0
NMI:          0          0 
LOC:    3917043    3917042 
ERR:          0
MIS:          0

이 patch가 안정적인지는 아직 잘 모르겠네요..
그리고, 커널을 재 컴파일하는 이 방법 외에도.. irqbalance라는 daemon을 뛰워 cpu interrupt를 분산해 주는 방법이 있었습니다.
http://people.redhat.com/arjanv/irqbalance/

전 debian을 사용하는데..
debian의 kernel source(2.4.22)를 다운 받아서 build했을때에는 여전히 interrupt가 한쪽에만 걸렸습니다.
binary-kernel은 설치를 해 보질 않아서 잘 모르겠네요.

jj의 이미지

음...

전 일단 그냥 두려고합니다. 성능을 크게 요구하는것도 아니고, 엄한 서버라서 -교수님들 메일서버 -_- - 기본 커널에서 안전하게 해결될때까지 두고 사는게 맘편할것 같네요. 기다리다 아예 2.6안정되면 그냥 2.6으로 넘어가야겠네요.

--
Life is short. damn short...

zzori의 이미지

# cat /proc/interrupts 
           CPU0       CPU1       
  0:  615680975  632628993    IO-APIC-edge  timer
  1:       5188          0    IO-APIC-edge  i8042
  2:          0          0          XT-PIC  cascade
  8:          6          0    IO-APIC-edge  rtc
 14:   26205777          1    IO-APIC-edge  ide0
 15:         20          0    IO-APIC-edge  ide1
 18: 1774261918 1779465655   IO-APIC-level  libata, eth0
NMI:          0          0 
LOC: 1248359635 1248359715 
ERR:          0
MIS:          0

쪼리

이광우의 이미지

jerry wrote:
전 debian을 사용하는데..
debian의 kernel source(2.4.22)를 다운 받아서 build했을때에는 여전히 interrupt가 한쪽에만 걸렸습니다.
binary-kernel은 설치를 해 보질 않아서 잘 모르겠네요.

맞습니다. 그냥 데비안 커널만 사용해도 인터럽트가 한쪽으로 쏠리죠. 제가 빼먹고 적었군요. 데비안 커널에 irqbalance 패치를 해주어야 인터럽트가 제대로 배분되지요.

gbkwon wrote:

debian.org 에가서 커널쪽으로 찾아 들어 갔는데... 커널 소스랑 패치랑..
모두 분리 되어 있는것 같던데.. 패치 된 커널소스는 어떻게 받아야 하는거죠..
수고 스럽지만 좀 알려 주세요.. 데비안은 아직 시디도 구경 못한 상태라서요..

데비안 커널을 받아서 사용하는 방법은 데비안에서는 dselect나 apt를 사용하면 되는데... 레드햇에서는 어떻게 해야 하는 지 자세히는 모르겠군요. apt를 먼저 설치하셔야 되지 않을 까 생각되는 군요. 도움이 안되서 죄송합니다.

아래는 제꺼의 결과입니다.

root@sonamu /># cat /proc/interrupts
           CPU0       CPU1       CPU2       CPU3
  0:      16633      20602      16038      20373    IO-APIC-edge  timer
  1:          2          1          1          2    IO-APIC-edge  keyboard
  2:          0          0          0          0          XT-PIC  cascade
  8:          1          0          0          0    IO-APIC-edge  rtc
  9:          0          0          0          0   IO-APIC-level  acpi
 12:          4          7          0          4    IO-APIC-edge  PS/2 Mouse
 14:      11799      12549      11244      12656    IO-APIC-edge  ide0
 15:          3          2          0          1    IO-APIC-edge  ide1
 16:          0          0          0          0   IO-APIC-level  usb-uhci
 17:          0          0          0          0   IO-APIC-level  Crystal CS4281
 19:          0          0          0          0   IO-APIC-level  usb-uhci
 20:       1933       2903       2152       3060   IO-APIC-level  eth0
 23:          1          0          1          1   IO-APIC-level  eth1
NMI:          0          0          0          0
LOC:      73503      73503      73502      73503
ERR:          0
MIS:          0
root@sonamu />#

Be Creative For Fun!!

gbkwon의 이미지

다음 스레드를 참고 하세요.. ;

http://bbs.kldp.org/viewtopic.php?t=30502

/

Prentice의 이미지

gbkwon wrote:
데비안은 패치된 커널 소스를 받을려면 어디서 받아야 하고 뭘 받아야 하죠..??

debian.org 에가서 커널쪽으로 찾아 들어 갔는데... 커널 소스랑 패치랑..

모두 분리 되어 있는것 같던데.. 패치 된 커널소스는 어떻게 받아야 하는거죠..

수고 스럽지만 좀 알려 주세요.. 데비안은 아직 시디도 구경 못한 상태라서요..

http://www.debian.org/ 여기서 패키지 검색을 해 보시면 원 소스와 패치를 하나의 압축 파일로 묶은 것을 받으실 수 있는 링크가 나옵니다.

http://packages.debian.org/unstable/base/kernel-image-2.4.24-1-686-smp 이렇게요.

아키텍쳐 고르시고 미러 선택하시면 패키지 바이너리를, 아래에서 Source Code: [dsc] [kernel-image-2.4.24-i386_2.4.24-1.tar.gz] 이 부분에서 tar.gz 링크를 골라주시면 소스+패치 압축파일을 받으실 수 있습니다.

(데비안에서 apt-get으로 받으신다면 자동으로 압축 해제, 패치가 이뤄지지만) 커널 소스를 수동으로 받으신다면 압축 풀어주시고 수동으로 패치해주시면 됩니다.

temper의 이미지

davinci wrote:
질문에 질문을 드려도 되나요?

저도 학교에서 제온 두얼 씨피유룰 사용하고 있는데.... 궁금한 게 있어서 질문에 염치 불구 하고 질문 드립니다.

top 코멘드로 보면, CPU가 4개 인 것처럼 나오는데, (위의 cat /proc/interrupts 코멘드도 마찬가지네요) 왜 그런가요?

하이퍼쓰레딩 지원되는 CPU 는 원래 4개로 인식합니다.

다콘의 이미지

여태까지 나온 방법을 종합해 보자면

1. 커널 2.4대 에서는 http://www.hardrock.org/kernel/에서 커널 버전에 맞는 irq balance 패치를 적용하면 된다.

2. 커널 버전에 상관 없이 http://people.redhat.com/arjanv/irqbalance/ 에서 irqbalace를 받아서 user space에서 데몬으로 동작하게 한다.

근데 문제는 커널 2.6이더군요. 그래서 좀 찾아봤는데 다음 쓰레드를 보면 부하가 적을경우에는 CPU 하나에만 몰리는게 정상인듯 싶습니다. -.-a

http://groups.google.co.kr/groups?hl=ko&lr=&ie=UTF-8&oe=UTF-8&newwindow=1&threadm=1cAyM-3BF-13%40gated-at.bofh.it&rnum=1&prev=/groups%3Fhl%3Dko%26lr%3D%26ie%3DUTF-8%26oe%3DUTF-8%26newwindow%3D1%26selm%3D1cAyM-3BF-13%2540gated-at.bofh.it

2.4대에서는 round robin 방식으로 분배하는데 2.6에서는 부하에 따라서 분배하는듯 합니다. 테스트 좀 해봐야 할듯...

다콘의 이미지

커널 2.6.1인 제 회사 데스크탑으로 테스트 해봤습니다.
로컬 네트워크에서 거의 100Mbps 로 파일을 받으면서 복작한 계산으로 CPU부하도 주면서 테스트 해봤는데 분배가 되는군요. 2.4대처럼 무조건적으로 분배하지 않아서 착각할 수 있겠습니다.
제온 2G 듀얼 시스템에서 같은 테스트를 해봤는데... 제 데스크탑보다 한참 후에나 분배가 되는군요.

shyxu의 이미지

실행하니 서서히 옮겨가는 것 같네요.

# cat /proc/interrupts
           CPU0       CPU1       CPU2       CPU3
  0:      37516       1001       1001       1001    IO-APIC-edge  timer
  1:          3          0          0          0    IO-APIC-edge  keyboard
  2:          0          0          0          0          XT-PIC  cascade
  8:          1          0          0          0    IO-APIC-edge  rtc
 14:          2          0          0          0    IO-APIC-edge  ide0
 16:          0          0          0          0   IO-APIC-level  usb-uhci
 19:          0          0          0          0   IO-APIC-level  usb-uhci
 26:       3702          8          0          8   IO-APIC-level  aic79xx
 27:         15          0          0          0   IO-APIC-level  aic79xx
 48:       5450          0          0          0   IO-APIC-level  eth0
NMI:          0          0          0          0
LOC:      40384      40391      40391      40391
ERR:          0
MIS:          0

# cat /proc/interrupts
           CPU0       CPU1       CPU2       CPU3
  0:      38522       3003       3003       2008    IO-APIC-edge  timer
  1:          3          0          0          0    IO-APIC-edge  keyboard
  2:          0          0          0          0          XT-PIC  cascade
  8:          1          0          0          0    IO-APIC-edge  rtc
 14:          2          0          0          0    IO-APIC-edge  ide0
 16:          0          0          0          0   IO-APIC-level  usb-uhci
 19:          0          0          0          0   IO-APIC-level  usb-uhci
 26:       3702         25          0         46   IO-APIC-level  aic79xx
 27:         15          0          0          0   IO-APIC-level  aic79xx
 48:       6509          0          0          0   IO-APIC-level  eth0
NMI:          0          0          0          0
LOC:      46401      46408      46408      46407
ERR:          0
MIS:          0

제대루 되고 있는건지 모르겠네요;;;
레드햇9에 커널 2.4.20-30.9smp 입니다.

Since 2003.
지금은 맥유저...
---
http://jtjoo.com

댓글 달기

Filtered HTML

  • 텍스트에 BBCode 태그를 사용할 수 있습니다. URL은 자동으로 링크 됩니다.
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param><hr>
  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.

BBCode

  • 텍스트에 BBCode 태그를 사용할 수 있습니다. URL은 자동으로 링크 됩니다.
  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param>
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.

Textile

  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • You can use Textile markup to format text.
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param><hr>

Markdown

  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • Quick Tips:
    • Two or more spaces at a line's end = Line break
    • Double returns = Paragraph
    • *Single asterisks* or _single underscores_ = Emphasis
    • **Double** or __double__ = Strong
    • This is [a link](http://the.link.example.com "The optional title text")
    For complete details on the Markdown syntax, see the Markdown documentation and Markdown Extra documentation for tables, footnotes, and more.
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param><hr>

Plain text

  • HTML 태그를 사용할 수 없습니다.
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.
  • 줄과 단락은 자동으로 분리됩니다.
댓글 첨부 파일
이 댓글에 이미지나 파일을 업로드 합니다.
파일 크기는 8 MB보다 작아야 합니다.
허용할 파일 형식: txt pdf doc xls gif jpg jpeg mp3 png rar zip.
CAPTCHA
이것은 자동으로 스팸을 올리는 것을 막기 위해서 제공됩니다.