현재 위치

홈 ›› Forums ›› 공부 ›› 프로그래밍 QnA

makefile 병렬빌드 할 때 의존성 문제 때문에 문의 드립니다

chocokeki의 이미지
글쓴이: chocokeki / 작성시간: 금, 2021/07/23 - 2:43오후

제목이 뭔가 복잡한데요 아래와 같은 문제를 겪고 있습니다

p1: job1 job2 job3 ...
p2: job4 job5 ....
all : p1 p2 .....

싱글코어로 make를 하면 이상없이 잘 되는데요 병렬빌드 옵션인 -j를 넣으면 빌드가 정상적으로 이뤄지지 않습니다.

원인을 분석해보니 all: 에 있는 p1 작업과 p2 작업이 순서를 반드시 지켜야 해서 그러는 것 같습니다

다시말해서 p1이 완벽히 끝나야 p2 컴파일 진행이 되야 하는데 병렬 빌드를 시키면 p1, p2를 같이 컴파일 작업을 수행해서 문제가 발생합니다
(p1의 job1 작업에 파일 삭제 같은 구문이 있습니다)

이 문제를 어떻게 해결해야하는지 아시는분 계신지요?
job1의 삭제 구문은 반드시 있어야 합니다

makefile sequential dependency 키워드로 검색해보니 pipe 쓰라는 얘기가 있어서
all: p1 | p2로 시도해보았으나...안되네요

Forums: 
프로그래밍 QnA
jick의 이미지

글쓴이: jick / 작성시간: 금, 2021/07/23 - 4:25오후

그냥 p2: p1 job4 job5 ... 하면 안되는 건가요?

chocokeki의 이미지

글쓴이: chocokeki / 작성시간: 금, 2021/07/23 - 10:25오후

p2: p1 job4 job5 를 하게 되면 아래 구문과 같습니다
p2: job1 job2 job3 job4 job5
즉 기존과 동일하게 병렬빌드 옵션을 주면 4 thread기준으로 job1, 2, 3, 4가 동시에 작업 시작하게 되고 race condition이 생기는거죠
목적은 p1의 작업 job1, job2, job3 은 일단 다 완료하고 그 다음 p2의 작업을 하는건데 말입니다
p1 내부의 job1, 2, 3은 뭐가 먼저 시작되든 상관이 없구요

익명 사용자의 이미지

글쓴이: 익명 사용자 / 작성시간: 금, 2021/07/23 - 11:24오후

p1: job1 job2 job3 ...
p2: p1 job4 job5 ....

이렇게 하면 안되냐는 말씀인 듯 합니다만.

Quote:
p1 작업과 p2 작업이 순서를 반드시 지켜야 해서 그러는 것 같습니다

다시말해서 p1이 완벽히 끝나야 p2 컴파일 진행이 되야 하는데

그러면 p1과 p2 사이에 dependency가 있는 것이죠. Makefile의 rule은 그런 관계를 서술하기 위해 있는 겁니다.

애초에 그런 관계가 있는데 왜 p2의 prerequisites에 p1을 걸어두지 않았는지 제가 더 궁금하네요.

익명 사용자의 이미지

글쓴이: 익명 사용자 / 작성시간: 금, 2021/07/23 - 11:31오후

그러니까, p2 target을 만드는 recipe에서 문제가 생기는 게 아니라 job4, job5를 만드는 과정에서 문제가 생긴다는 겁니까?

그럼 얘기가 다르죠. 이렇게 하세요.

p1: job1 job2 job3 ...
p2: job4 job5 ....
 
# 이렇게 하면 p1 끝나기 전까지 job4, job5 recipes 실행 안 됨.
job4 job5 ....: p1
 
all : p1 p2 .....
ㅇㅇ의 이미지

글쓴이: ㅇㅇ / 작성시간: 일, 2021/07/25 - 11:21오후

개인적인 취향일수도 있지만 job1 job2처럼 개념적인 이름 대신

file1 file2 file3:
# ..

file4 file5: file1 file2 file3
# ..

이런 식으로 실제 생성되는 파일 이름으로 target 이름을 짓게 되면 보기도 좋고 parallel build 지원도 쉬울겁니다

댓글 달기

텍스트 포맷에 대한 자세한 정보

Filtered HTML

  • 텍스트에 BBCode 태그를 사용할 수 있습니다. URL은 자동으로 링크 됩니다.
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param><hr>
  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.

BBCode

  • 텍스트에 BBCode 태그를 사용할 수 있습니다. URL은 자동으로 링크 됩니다.
  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param>
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.

Textile

  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • You can use Textile markup to format text.
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param><hr>

Markdown

  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • Quick Tips:
    • Two or more spaces at a line's end = Line break
    • Double returns = Paragraph
    • *Single asterisks* or _single underscores_ = Emphasis
    • **Double** or __double__ = Strong
    • This is [a link](http://the.link.example.com "The optional title text")
    For complete details on the Markdown syntax, see the Markdown documentation and Markdown Extra documentation for tables, footnotes, and more.
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param><hr>

Plain text

  • HTML 태그를 사용할 수 없습니다.
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.
  • 줄과 단락은 자동으로 분리됩니다.
댓글 첨부 파일
이 댓글에 이미지나 파일을 업로드 합니다.
파일 크기는 8 MB보다 작아야 합니다.
허용할 파일 형식: txt pdf doc xls gif jpg jpeg mp3 png rar zip.
CAPTCHA
이것은 자동으로 스팸을 올리는 것을 막기 위해서 제공됩니다.