커널 프로그래밍 - page 구조체 변수 추가후 접근 문제

ychoijy의 이미지

현재 CPU에서 돌아가는 테스크 정보를 받아와서 가상 메모리 영역을 전부 스캔하면서 페이지 테이블 접근을 하여서 각 page별로 history를 저장하는 프로그램을 짜고 있습니다.

page구조체에 int 변수를 3개 넣고 주기적으로 dirty 상태인지 체크 후 count를 증가시키는 프로그램입니다.

그런데 문제는 임의로 추가한 int변수에 접근시에 vm_page가 계속 1154 or 특정 적은 수의 page를 가지고 있다가

몇 만개의 vm_page 가 나타나더니

Sep 1 23:15:50 ychoijy-Unknow kernel: [ 317.018469] BUG: unable to handle kernel paging request at ffffea387194b8d0
Sep 1 23:15:50 ychoijy-Unknow kernel: [ 317.018503] IP: [] pte_scan+0x139/0x150 [pte_scan]
Sep 1 23:15:50 ychoijy-Unknow kernel: [ 317.018525] PGD 22f7f5067 PUD 0
Sep 1 23:15:50 ychoijy-Unknow kernel: [ 317.018538] Oops: 0002 [#1] SMP
Sep 1 23:15:50 ychoijy-Unknow kernel: [ 317.018550] Modules linked in: pte_scan(OF+) ipt_MASQUERADE iptable_nat nf_nat_ipv4 nf_nat nf_conntrack_ipv4 nf_defrag_ipv4 xt_conntrack nf_conntrack ipt_REJECT xt_CHECKSUM iptable_mangle xt_tcpudp bridge stp llc ip6table_filter ip6_tables iptable_filter ip_tables ebtable_nat ebtables x_tables nouveau kvm_amd bnep kvm rfcomm bluetooth mxm_wmi video ttm drm_kms_helper drm dm_multipath sp5100_tco scsi_dh edac_core i2c_piix4 i2c_algo_bit serio_raw k10temp edac_mce_amd wmi mac_hid parport_pc ppdev lp parport hid_generic usbhid hid e1000e psmouse pata_acpi ptp ahci pata_atiixp libahci pps_core [last unloaded: pte_scan]
Sep 1 23:15:50 ychoijy-Unknow kernel: [ 317.018756] CPU: 2 PID: 2822 Comm: insmod Tainted: GF O 3.12.24 #26
Sep 1 23:15:50 ychoijy-Unknow kernel: [ 317.018769] Hardware name: Unknow Unknow/RS780-SB700, BIOS F3 03/03/2008
p 1 23:15:50 ychoijy-Unknow kernel: [ 317.018781] task: ffff88005b4fc6e0 ti: ffff8800601b8000 task.ti: ffff8800601b8000
Sep 1 23:15:50 ychoijy-Unknow kernel: [ 317.018793] RIP: 0010:[] [] pte_scan+0x139/0x150 [pte_scan]
Sep 1 23:15:50 ychoijy-Unknow kernel: [ 317.018813] RSP: 0018:ffff8800601b9cc0 EFLAGS: 00010216
Sep 1 23:15:50 ychoijy-Unknow kernel: [ 317.018823] RAX: 000000387194b890 RBX: ffff880205a00000 RCX: 00003ffffffff000
Sep 1 23:15:50 ychoijy-Unknow kernel: [ 317.018834] RDX: ffffea0000000000 RSI: ffff880000000000 RDI: 33d98b49ea8b5553
Sep 1 23:15:50 ychoijy-Unknow kernel: [ 317.018846] RBP: ffff8800601b9cd0 R08: 0000000000000086 R09: 0000000000000d67
Sep 1 23:15:50 ychoijy-Unknow kernel: [ 317.018857] R10: 0000000000000000 R11: ffff8800601b9a0e R12: ffffea000a1c2030
Sep 1 23:15:50 ychoijy-Unknow kernel: [ 317.018869] R13: 00007f7f7c400000 R14: 0000000000000082 R15: ffffffffa043f000
Sep 1 23:15:50 ychoijy-Unknow kernel: [ 317.018881] FS: 00007fb0c38c7740(0000) GS:ffff88022fd00000(0000) knlGS:0000000000000000
Sep 1 23:15:50 ychoijy-Unknow kernel: [ 317.018894] CS: 0010 DS: 0000 ES: 0000 CR0: 000000008005003b
Sep 1 23:15:50 ychoijy-Unknow kernel: [ 317.018904] CR2: ffffea387194b8d0 CR3: 000000006011c000 CR4: 00000000000007e0
Sep 1 23:15:50 ychoijy-Unknow kernel: [ 317.018915] Stack:
Sep 1 23:15:50 ychoijy-Unknow kernel: [ 317.018921] ffff88007bcce580 ffff8800600298a0 ffff8800601b9d00 ffffffffa043d1aa
Sep 1 23:15:50 ychoijy-Unknow kernel: [ 317.018941] 0000000000000010 ffff88002d61c6e0 ffffffff81d0d580 0000000000000001
Sep 1 23:15:50 ychoijy-Unknow kernel: [ 317.018960] ffff8800601b9d30 ffffffffa0006088 0000000000000000 ffffffffa0006000
Sep 1 23:15:50 ychoijy-Unknow kernel: [ 317.018979] Call Trace:
Sep 1 23:15:50 ychoijy-Unknow kernel: [ 317.018992] [] vm_scan+0x5a/0xb1 [pte_scan]
Sep 1 23:15:50 ychoijy-Unknow kernel: [ 317.019007] [] init_pte_scan+0x88/0x1000 [pte_scan]
Sep 1 23:15:50 ychoijy-Unknow kernel: [ 317.019021] [] ? 0xffffffffa0005fff
Sep 1 23:15:50 ychoijy-Unknow kernel: [ 317.019036] [] do_one_initcall+0xf2/0x1a0
Sep 1 23:15:50 ychoijy-Unknow kernel: [ 317.019050] [] ? set_memory_nx+0x43/0x50
Sep 1 23:15:50 ychoijy-Unknow kernel: [ 317.019066] [] load_module+0x1cbb/0x2770
Sep 1 23:15:50 ychoijy-Unknow kernel: [ 317.019077] [] ? store_uevent+0x40/0x40
Sep 1 23:15:50 ychoijy-Unknow kernel: [ 317.019092] [] SyS_finit_module+0x86/0xb0
Sep 1 23:15:50 ychoijy-Unknow kernel: [ 317.019105] [] tracesys+0xe1/0xe6
이하 생략....

이런식으로 paging request 버그가 발생하면서 죽어버립니다. 항상 이런 버그가 생기는건 아닙니다.

혹시나 해서 page구조체 내부의 spin_lock_t 변수를 통해 락&언락을 수행하며 해보아도 vm_page 숫자가 몇만으로 튀면서 죽어버립니다.

그리고 task구조체를 가져오면서 mm, mmap 구조체 Null처리를 하였으며 pgd, pmd, pud 등 각각 none 체크 다 해서 예외처리는 해놓았습니다.

몇일 헤딩하다가 이렇게 도움을 구합니다.

ychoijy의 이미지

해결하였습니다.

중간에 huge_page 때문에 잘못된 접근이 발생하는 거였습니다.

댓글 달기

Filtered HTML

  • 텍스트에 BBCode 태그를 사용할 수 있습니다. URL은 자동으로 링크 됩니다.
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param><hr>
  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.

BBCode

  • 텍스트에 BBCode 태그를 사용할 수 있습니다. URL은 자동으로 링크 됩니다.
  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param>
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.

Textile

  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • You can use Textile markup to format text.
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param><hr>

Markdown

  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • Quick Tips:
    • Two or more spaces at a line's end = Line break
    • Double returns = Paragraph
    • *Single asterisks* or _single underscores_ = Emphasis
    • **Double** or __double__ = Strong
    • This is [a link](http://the.link.example.com "The optional title text")
    For complete details on the Markdown syntax, see the Markdown documentation and Markdown Extra documentation for tables, footnotes, and more.
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param><hr>

Plain text

  • HTML 태그를 사용할 수 없습니다.
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.
  • 줄과 단락은 자동으로 분리됩니다.
댓글 첨부 파일
이 댓글에 이미지나 파일을 업로드 합니다.
파일 크기는 8 MB보다 작아야 합니다.
허용할 파일 형식: txt pdf doc xls gif jpg jpeg mp3 png rar zip.
CAPTCHA
이것은 자동으로 스팸을 올리는 것을 막기 위해서 제공됩니다.