GFS 를 사용해 보신분 계십니까?

line123의 이미지

GFS - Global File System (Google File System 이 아닙니다.)

라고 몇 년전에 Sistina 의 오픈 프로젝트 였던것 같은데 이젠 아닌것 같군요.

GFS가 아니더라도 GFS 비슷한 거 어디 없을까요?

mycluster의 이미지

1. IBM의 GPFS(Global Parallel File System)
2. HP(구 컴팩)의 TruCluster에서 돌아가는 CFS(Cluster File System) : 이건 Tru64 Unix용
3. HP(구 컴팩)의 Non-Stop Cluster : 이건 SCO의 Open Unix용
4. 매크로임팩트의 Sanique File System : 이건 국산 상용
5. Non-Stop Cluster Open Source Project

등이 있읍니다. 1번이 그나마 좀 신뢰가 가지만 비싸고, 4번은 국산품으로 나름대로 이제는 좀 쓸만합니다만 가끔... Sync가 안맞는 경우도 있고...

리눅스에서 사용할 가장 현실적인 대안은
1. Open GFS : Sistina의 상용버전과 거의 동일한 Open Source 버전
2. IBM의 GPFS : IBM에서 사면 됨. 주로 하드웨어와 같이 공급됨
3. 매크로임팩트의 Sanique
중에서 하나를 사용하시면 될듯...

더 좋은 권장사항은 듬직한 파일서버를 하나사서 Cluster File System을 사용하지 않는것으로 보입니다.
데이타가 날라갈 각오로 재미로 사용하고 싶으시다면 NBD와 결합된 DRBD도 해볼만함

--------------------------------
윈도위의 리눅스 윈도위의 윈도우 리눅스위의 익스플로러

익명 사용자의 이미지

IBM의 GPFS약자는 General Parallel File System입니다.

line123의 이미지

답변 감사합니다.

그런데...

Quote:
더 좋은 권장사항은 듬직한 파일서버를 하나사서 Cluster File System을 사용하지 않는것으로 보입니다.

조금만 더 여쭤보겠습니다.

GFS 를 권하시지 않는 것으로 이해해도 될까요?

GFS 와 같은 Cluster File System 과 SAN 와 많이 다른가요?

무한포옹의 이미지

san 은 cluster file system 은 관계가 있지만..좀 다르죠..

san 환경에서 HBA가 달린 host 들은 san 의 스토리지를 로컬 디스크처럼 사용할

수는 있습니다 (아실테지만). 그러나 각 host 가 사용하는 디스크 영역을 공유할 수 없고(볼 수는 있습니다. lun mask를 해제하거나 해서 마운트 등은 가능하지만 FS가 깨질 겁니다) 그걸 극복하고자 하는 것이 GFS와 같은 fs입니다.

윗분이 말씀하신 파일서버는 cifs 나 nfs 류를 말씀하시는 게 아닌가 합니다.

일단 GFS를 설치하는(팔고 설치해주는) 분의 말씀을 들어보면 쓸만하다고 하더군요(sistina -> redhat 제품)

OpenGFS는 잘 모르겠습니다. 커널에 컴파일해 넣은 적도 있고, 쓰려고 시도는 해보았지만 hba 드라이버가 그다지 안정적이지 않았던지 실패했습니다. 권장사양은 아닌 듯합니다.

GFS는 상용이니 제대로 된 지원도 가능하리라 생각합니다.

-------------------------------
인생 뭐 있음!

atie의 이미지

OSNews에 관련된 글들이 있길래 링크합니다.

http://www.osnews.com/comment.php?news_id=6889

----
I paint objects as I think them, not as I see them.
atie's minipage

mycluster의 이미지

Quote:
GFS 를 권하시지 않는 것으로 이해해도 될까요?

권하지 않는다고 생각하시면 되겠읍니다. ^^ 쉽게 말씀드리면 시피유 2개짜리 기계를 4대 두고 거기 HBA를 꽅은 다음에 SAN으로 스토리지를 연결하고 GFS혹은 여러가지 Cluster File System 중의 하나를 설치하는 것보다는 차라리 시피유 8개짜리 기계 한대에다가 스토리지를 하나 연결해서 파일서버로 사용하시는 것을 권장해드립니다.
통상 GFS가 깔린 파일서버만 사용하시지는 않을것이고, 이걸 바탕으로 또 NFS나 뭐 다른 서비스를 그 위에 올리시고 싶어하신다면, 더더욱 한대짜리 기계를 권해드립니다. 그 이유는... 하도 고생이 심해서...

Quote:

GFS 와 같은 Cluster File System 과 SAN 와 많이 다른가요?

SAN(Storage Area Network)에 연결된 스토리지와 파일서버에 통상 올리는 파일시스템이 Cluster File System이고 그것들중에 하나가 GFS라고 생각하시면 되겠읍니다.

Quote:
일단 GFS를 설치하는(팔고 설치해주는) 분의 말씀을 들어보면 쓸만하다고 하더군요(sistina -> redhat 제품)

식당가서 메뉴보고서 시킬때 주인보고 '이거 맛있어요? 먹을 만해요?'라고 물어보면 어느 식당아줌마가 '맛없어요. 먹지 마세요.'라고 대답하겠읍니까?

Quote:
GFS는 상용이니 제대로 된 지원도 가능하리라 생각합니다.

제대로된 지원을 해줄 사람이 별로 한국내에는 없다는 것이 문제죠. 정확히는 이렇게 말하는게 맞을런지 모르겠읍니다.
Quote:
GFS는 상용이니 제대로 된 지원을 받을 권리는 생길거 같읍니다. 제대로 된 지원이 가능할지는 모르지만...

파일시스템을 GFS로 구축하실 생각이라면 이렇게 말씀드리고 싶군요.
"생각보다는 쓸만하다" 혹은 "예상외로 잘 도는군"이라고...

--------------------------------
윈도위의 리눅스 윈도위의 윈도우 리눅스위의 익스플로러

preisner의 이미지

Quote:
GFS 를 권하시지 않는 것으로 이해해도 될까요?

저 역시도 GFS를 권장하지 않겠습니다.

GFS 같은 SAN 공유파일 시스템을 사용 하지 않고
NAS와 SAN 방식을 혼용하여 구성하는 방법도 있습니다.
앞단에는 NAS를 두대(HA) 세우고 NAS의 스토리지 접근 방식을 SAN 으로 구성하는 방법 입니다.
용량이 얼마나 되는지, 예산이 얼마나 책정되었는지 모르겠지만,
아예 애플리케이션 단에서 공유를 이용 하지 않는 방식으로 구성하는 방법,
SAN 으로 구성된 서버간에 NFS나 AFS로 공유하여 서비스 하는 방식.
(이건 관리자가 신경써야 할 부분이 많이 있고, 위험한 부분도 있습니다만,
예산은 절감 됩니다.)

공유를 반드시 해야 한다면 믿음직한 파일 서버를 두대 놓고
NAS방식으로 HA로 구성 하는 방법 입니다.
이런 식으로 구성하면 예상외로 성능도 상당히 잘 나옵니다.

제가 보기에는 SAN 공유 파일 시스템에 대한 기술지원과 솔루션 도입비용이
위의 방식보다 저렴하리라고 생각 되지는 않네요.

NAS 솔루션을 도입하신다면 저가의 솔루션은 피하시는게 좋겠습니다.
저는 저희 회사에 싼맛에 들여논 모 국산의 NAS 서버 들어 내려고 하고 있습니다.

mycluster의 이미지

Quote:
공유를 반드시 해야 한다면 믿음직한 파일 서버를 두대 놓고
NAS방식으로 HA로 구성 하는 방법 입니다.
이런 식으로 구성하면 예상외로 성능도 상당히 잘 나옵니다.

제가 말한게 이겁니다. 듬직한 파일서버 하나두고 쓰고, 정 한대가 미심쩍으면 두대를 HA로 하라... 이말이 하고 싶었던 것이지요.

Quote:
NAS 솔루션을 도입하신다면 저가의 솔루션은 피하시는게 좋겠습니다.
저는 저희 회사에 싼맛에 들여논 모 국산의 NAS 서버 들어 내려고 하고 있습니다.

저는 이말씀중에 NAS자를 빼고 싶습니다. 저가 국산 솔루션을 도입하느니, 그냥 MS제품을 사용하시라고 권해드리고 싶습니다.

--------------------------------
윈도위의 리눅스 윈도위의 윈도우 리눅스위의 익스플로러

preisner의 이미지

Quote:
저는 이말씀중에 NAS자를 빼고 싶습니다. 저가 국산 솔루션을 도입하느니, 그냥 MS제품을 사용하시라고 권해드리고 싶습니다

원추~~
line123의 이미지

진심어린 조언 정말 감사합니다.

조언을 좇아 GFS는 전면 재검토에 들어갔습니다.

GFS는 차치의 대상이 될 것 같군요.

답변해 주신 MyCluster, preisner, atie, 무한포옹 님 감사합니다.

크리드의 이미지

죄송합니다. 삭제했습니다~

mycomman의 이미지

질문 하신 분께서 GFS를 무엇때문에 사용하려고 하시는지,
먼저 요구 분석이 되어야 할 듯 합니다.
위의 많은 분들이 말씀하신 것처럼,
현실적인 대안은 여러가지로 찾아볼 수 가 있겠네요..

단지, 말씀드리고 싶은 것은,
Cluster File System과, File Server와는 다르다는 것입니다.

구태의연한 얘기가 될지는 몰라도,
NAS 등을 이용한 File Server는 원칙적으로 Server/Client 모델입니다.
데이터 통합 관리 및 가격 경쟁력 면에서 장점은 무시할 수 없죠..
반면, Client가 늘어남에 따라서, Server로 트래픽이 집중되는 문제는
피할 수 없는 사실이고, 결정적으로 Server 단에 crash 가 발생한 경우
전체적인 서비스 정지는 피할 수 없습니다.
이건 전적으로 Server라는 시스템 패러다임의 한계가 되겠네요..

반면, Cluster 모델에서는 link가 형성된 집단(server farm) 내의
모든 유닛에서 서비스가 가능합니다. 모든 유닛이 서버인 동시에
클라이언트가 되는 거지요.. 뭐,, 논란의 소지는 다분히 있지만,
궁극적으로 Cluster Computing 환경에서 추구하는 것은
무정지 서비스라는 것을 생각해 보면, Cluster File System이란
단지 File Server와는 다르다고 생각하셔야 합니다.

말이 두서가 없었는데,, 결론(?)을 이야기 한다면,
지금 사용하시려고 하는 분야에 맞는 솔루션을 찾으셨으면 하는 겁니다.
구체적인 사용 목적에 따라서, 최적의 해가 나올 수 있겠네요..
그게 SI의 묘미 아닌가요? ^^

mycluster의 이미지

오해의 소지가 있어서 수정한다고 했는데, 좀더 오해의 소지가 많이 생기는 듯하여 삭제하는 점을 용서부탁드립니다.

--------------------------------
윈도위의 리눅스 윈도위의 윈도우 리눅스위의 익스플로러

크리드의 이미지

오해의 소지가 있어 삭제했습니다~ 죄송합니다.

mycluster의 이미지

이 글을 삭제할 수 밖에 없는 점 양해해주시기를 부탁드립니다....

--------------------------------
윈도위의 리눅스 윈도위의 윈도우 리눅스위의 익스플로러

권순선의 이미지

GFS는 최근에 redhat에서 GPL로 릴리즈 했습니다. 혹시 모르시는 분들을 위해서 참고... lwn.net에 잘 나와 있습니다.

Quote:
In 2003, Red Hat announced that it was acquiring Sistina, and that it would work to release Sistina's current technologies as open source in 2004. Red Hat made good on that promise on June 24 by re-releasing the Global File System under the GPL. The Global File System (GFS) has a fairly long and interesting history. According to the OpenGFS website, the GFS project started at the University of Minnesota and was sponsored from 1995-2000 by the University. Then Matthew O'Keefe, a professor at the university, founded Sistina around GFS.

Sistina stopped making new versions of GFS available under the GPL in 2001. It's important to note that it's inaccurate to say (as many have) that GFS has been "re-released" under the GPL -- the original code that was available under the GPL remained available under the GPL. Sistina simply quit putting out new releases under the GPL, but users still had the option of using and working with releases prior to Sistina's license change, as did the OpenGFS project.

The release put out by Red Hat last week actually consists of more than just GFS the file system; it totals nine components in all. In addition to GFS itself, Red Hat has released the clustering extensions to the Logical Volume Manager 2 (LVM2). Also, Red Hat has released clustering infrastructure tools and cluster block devices that work with GFS; The Cluster Configuration System (CCS), Cluster Manager (CMAN), Distributed Lock Manager (DLM), GFS Unified Lock Manager (GULM), the Fence I/O fencing system, the Global Network Block Device (GNBD) and the Cluster Snapshot Block Device (CSBD).

Linux has no shortage of filesystems to choose from, but GFS is quite a bit different from Ext3, ReiserFS and other popular file systems being used with Linux today. The GFS release probably isn't that interesting for users with a single Linux workstation or for small installations of Linux systems that don't require a great deal of filesystem sharing or redundancy. For Linux shops that have deployed or plan to deploy Linux in a clustering capacity or using a Storage Area Network (SAN) to share filesystems among servers, instead, GFS is a very interesting technology.

GFS allows Linux servers to share a single file system on a block device via fiber channel, iSCSI, NDB or other technology, and allows those servers to simultaneously read from that file system and coordinates writes to the filesystem to avoid data being overwritten. Changes to the filesystem made by one server are immediately available to other servers. GFS is different from the Network File System (NFS) in that it removes the requirement for clients to access storage devices through an NFS server. It removes some of the overhead from working with data, making GFS more robust. One can use the two technologies in conjunction with one another, using GFS to give a set of servers access to a filesystem stored on a set of fiber channel drives (for example) and then exporting the filesystem to clients via NFS.

GFS is highly scalable, which means that hundreds of systems can share a filesystem on a SAN. In addition, as one might expect, file system and volume resizes can be performed while the system is running -- which means that enterprise systems don't need to be brought down for filesystem maintenance when a deployment starts to require more space. The file servers themselves can be clustered to provide high availability, redundancy and increased performance. Just what the doctor ordered for a database cluster, enterprise file servers, large e-mail installations and many other applications.

For those interested in trying out GFS, source RPMs are available for Red Hat Enterprise Linux 3, CVS snapshots are available, and enterprising Fedora user Lennert Buytenhek has already whipped up FC2 RPMs of GFS and the necessary tools. Packages are no doubt being prepared for other popular Linux distributions as well. Instructions on using GFS can be found here.

Of course, RHEL users still have the option of buying GFS for a mere $2200.

The GFS team is now working to put GFS into the mainline Linux kernel. It shouldn't be terribly difficult for a project this useful to find a healthy community of users to apply whatever elbow grease is necessary to make that happen.

wkpark의 이미지

비교적 최근에 올라온 소식이였군요.
http://slashdot.org/article.pl?sid=04/06/27/1317219

NBD ENBD ANBD 등등에 관심이 있어서 찾아보았는데, GFS에서는 GNBD라는
네트웍 블럭 디바이스(NBD)를 지원하더군요.

http://sources.redhat.com/cluster/

Performance, Scalability, and Economy
http://www.redhat.com/docs/manuals/csgfs/admin-guide/s1-ov-perform.html

GFS는 여러 컴포넌트로 구성되는데, "커널 모듈 + 기타 툴"로 구성되어 있습니다.

아래에는 소스 rpm이 있는데, 살펴보니 커널 2.4.21용입니다. 커널 패치와 함께 있습니다.
ftp://ftp.redhat.com/pub/redhat/linux/enterprise/3/en/RHGFS/i386/SRPMS/

온갖 참된 삶은 만남이다 --Martin Buber

mycluster의 이미지

NBD를 이용해 보는 것에 대해서 요즘 관심이 많은데... 기가비트 네트웍등이 보편화되었고 커널도 안정화되었으니, 이제는 좀 쓸만할거 같기도 하네요...
몇년전에 NBD로 한번 테스트했는데, 그때는 잘될때는 문제 없다가 한번 문제가 생기면 왕창 데이타가 날라가버리는 사태가 있었는데, Open Source GFS+GNBD로 Mirror시스템이나 네트웍 레이드를 한번 만들어보면 재미가 있을 거 같읍니다... (기계를 어디서 구하나...)

--------------------------------
윈도위의 리눅스 윈도위의 윈도우 리눅스위의 익스플로러

mycluster의 이미지

앞에서 여러가지 글에 대해서는 직접 이야기를 나누기로 하고 삭제하였읍니다만 오해의 소지를 없애고, 여러분들에게 죄송스러운 말씀을 드리기 위해서 사족일지라도 말씀을 드리겠읍니다.

쓰레드를 보시는 분들은 아시겠지만, Cluster File System이라는 것이 상당히 만들기도 힘들뿐만 아니라, 실제로 리눅스기반에서 상용화되어 사용되고 있는 것도 몇가지가 없읍니다. 제일 대표적인 것이 Redhat이 GPL로 공개했다는 GFS나 혹은 IBM이 유닉스용을 포팅한 GPFS정도가 외국에서 그나마 사용되는 솔루션이라고 보입니다. (이것도 실제 SITE에서 100% 만족일지는 모르겠읍니다)
국내에서는 M사의 S제품이 몇년간의 개발로 상당히 안정적이고 외산에 비해서 손색이 없다고 봐도 무방합니다. 단지, 삭제했던 글에 대해서는 어떠한 문제(IT솔루션에서 100% 문제가 없는 제품은 없겠지요)를 보는 관점이 조금 다르게 될 경우 글을 읽는 분들에게 오해의 소지가 생길 수 있음을 무시하고 글을 올린 점에 대해서 죄송스럽게 생각합니다.. 특히 이러한 점으로 인해 열심히 개발을 하는 사람들을 힘빠지게 한다면 그점에 대해서는 제가 잘 못했다고 말씀드리고 싶군요.

어떠한 솔루션이던 앞에 어떤분이 말씀하셨듯이 전체 시스템이 원할하게 돌아가도록 만들어야하는 것이 당연하고, 이것이 SI의 묘미라고 할 수 있겠지요. 하나하나는 문제가 없더라도 그것이 어떠한 전체 시스템의 구성요소가 될때는 각각의 연결고리에서 문제의 발생소지가 있다면 그것을 해결하는 방법을 강구해보는것이 향후의 경쟁력 확보에서도 필요하다고 생각이 듭니다.

특히, 파일시스템이라는 것은 파일시스템 자체로만 존재하는 솔루션이라기 보다는 그 파일시스템이 전체의 시스템에 유기적으로 어떻게 동작하느냐가 중요한 문제라고 판단이 되고, 더구나 CFS를 NFS랑 연동해서 사용해야하는 사이트(이런 경우가 실제로 상당히 많다고 보입니다.) 특히, 처음에 이 쓰레드를 여신분이 고민하는 것이 NAS냐 SAN이냐를 선택해볼려는 사이트와 같은 경우는 현실적으로 상당수가 두개를 혼용해서 사용할 수 밖에 없는 현실이라고 보입니다.
따라서, 각각의 NAS나 SAN은 많이 보편화되었지만, 제가 보는 관점에서는 두개의 솔루션이 복합적으로 결합되어 동작하게 되는 경우도 많고, 이에 따라서 SAN으로 안정화된 솔루션이라도 두가지의 복합적인 환경에서도 원할하게 돌아가도록 해보고자 하는 고민을 할 수 밖에 없다고 생각합니다.

어쨌던, 오해의 소지가 있었던 점은... 앞에서 sync가 안맞고 하던 문제는 NFS+CFS라는 복합적인 환경에서 발생하는 문제이고, 이에 대한 해결을 통해서 더 나은 방법으로 해결할 수 있는 방안을 찾고 있다고 말씀을 드리고 싶습니다. 이 외에도 CFS를 IP기반으로 구축하는 IP-SAN이라던지, i-SCSI들도 많이 개발되고 있으므로, 더 나은 형태의 솔루션이 많이 나오기를 기대합니다...

지울 글을 좀더 고민하지 않고서 올린 점에 대해서 여러분들께 사과드립니다...

--------------------------------
윈도위의 리눅스 윈도위의 윈도우 리눅스위의 익스플로러

익명 사용자의 이미지

제가 모 대규모 리눅스 클러스터에서 사용해본 클러스터링(병렬) 파일시스템 입니다.
우선 최신 2.6/2.4 바닐라 커널과 찰떡이구요.
첨에 고려했던 lustre처럼 오픈버전(GPL)에서 상용버전으로 변경되지도 않았습니다.
도입하기도 손쉽구요..
아직 나온지 얼마 되지않아, 안정성에 문제가 있을것으로 예상은 되지만 사용하는데 큰 문제는 없는것 같습니다.
pvfs와 pvfs2가 있으며, 저는 커널 버전과 여러가지 상황에 맞게
pvfs2를 적용했습니다.
앞으로 더 나은 버전업 기대되구요..
홈피 -> http://www.pvfs.org/pvfs2/

댓글 달기

Filtered HTML

  • 텍스트에 BBCode 태그를 사용할 수 있습니다. URL은 자동으로 링크 됩니다.
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param><hr>
  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.

BBCode

  • 텍스트에 BBCode 태그를 사용할 수 있습니다. URL은 자동으로 링크 됩니다.
  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param>
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.

Textile

  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • You can use Textile markup to format text.
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param><hr>

Markdown

  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • Quick Tips:
    • Two or more spaces at a line's end = Line break
    • Double returns = Paragraph
    • *Single asterisks* or _single underscores_ = Emphasis
    • **Double** or __double__ = Strong
    • This is [a link](http://the.link.example.com "The optional title text")
    For complete details on the Markdown syntax, see the Markdown documentation and Markdown Extra documentation for tables, footnotes, and more.
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param><hr>

Plain text

  • HTML 태그를 사용할 수 없습니다.
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.
  • 줄과 단락은 자동으로 분리됩니다.
댓글 첨부 파일
이 댓글에 이미지나 파일을 업로드 합니다.
파일 크기는 8 MB보다 작아야 합니다.
허용할 파일 형식: txt pdf doc xls gif jpg jpeg mp3 png rar zip.
CAPTCHA
이것은 자동으로 스팸을 올리는 것을 막기 위해서 제공됩니다.