[프로보노프로젝트] 2021 프로보노 공모전 3차 종합 평가 코엑스 대면 발표 후기

0. 서론

4월 말부터 쉬지않고 끊임없이 달려온 프로보노 프로젝트가 드디어 끝이 났다. 나의 첫 번째 장기 프로젝트이다. 7개월 동안 많은 일들이 있었고 넘어질 때도 많았으며 개발 오류를 붙잡고 삼일 꼬박 밤을 샌 적도 있었다. 공모전 마감일이 다가올 수록 불안해서 잠을 설치는 일도 많았다. 결과적으론 나와 팀원들 모두 매우 성장하는 계기가 되었다.

이 글에서는 2021 프로보노 공모전에 대한 전반적인 준비 과정과 3차 종합평가에 대한 것들을 남겨놓으려고 한다. 대략적인 공모전 흐름부터 발표 후 면접관으로 부터 받았던 질문들까지 기억나는 대로 적어두겠다.

---

1. 공모전 포스터

8월 말이 되면 프로보노 사무국에서 공모전 신청을 받는다. 대부분의 프로젝트들이 중도포기, 산출물 부실 등을 이유로 참여를 꺼리는데 솔직히 7개월간 프로젝트를 진행하면서 공모전에 참여하지 않는 것은 정말 의미가 없다고 본다.

따라서 우리팀은 기한에 맞게 준비하여 공모전에 참여하였다.

각 차시 별 수상 종류는 다음과 같다.
1차 통과(예선 통과, 60팀)->2차 통과(탈락20팀, 입선20팀(3차 발표x), 본상 수상 대상 20팀)->3차(본상 순위 결정)

---

2. 합격 통지

1차 합격 공지이다. 프로보노 프로젝트에서는 팀당 하나씩 팀블로그가 개설되는데 모든 공지를 이 블로그의 타임라인에 올려준다. 따라서 다른 팀의 합격 여부는 공개되지 않고 본인 팀의 합격 여부만 알 수있다.

1차에서는 개발 완성도 보다 개발 가능성을 중점적으로 평가한다. 8월 말까지 제출이기 때문에 당연히 프로젝트의 절반밖에 완성되지 않았을 거다. 완성되지 않았다고 포기하지 말고 완성 된 부분까지 잘 포장해서 보고서를 작성하면 된다.

우리 팀 역시 6월까지는 사전조사에 매달렸고 본격적으로 머신러닝 개발을 시작한게 7월 중반 부터이기 때문에 스니핑이나 STT는 손도 대지 못했다. 하지만 할 수 있는 것 까지는 최선을 다해 하자는 생각으로 노력했고 1차는 무난히 통과할 수 있었다.

각 차시별로 평가 기준이 다르니 참고하여 보고서와 설계서 작성하면 될 것 같다.

2차 합격 공지이다. 솔직히 말하면 우리 팀의 목표는 입선이었기 때문에 2차 합격을 기대하지 않았다. 1차 합격 60팀 중 본상을 받는 대상인 20팀 안에 들었다는게 믿기지 않았고 여기까지 온 이상 이 악물고 열심히 준비해야겠다는 생각을 했다. 팀원들도 모두 같은 생각이었다.

거의 매일 회의를 했고 팀원들 모두 개인 일정이 빠듯했기 때문에 오프라인으로 만나기 보단 Git과 구글미트 화면 공유로 개발을 진행하였다. 이 과정에서 대부분의 Git 명령어를 익힐 수 있었다.

2차는 1차 평가보다 기준이 높다. 1차에서는 가능성만 평가했다면 2차는 완성도를 본다. 또한 1분 이내의 시연 영상도 제출해야한다. 우리 팀은 1차 평가에 합격한 후 더욱 스퍼트를 내 딥러닝을 완성했고, 그 다음 SW인 STT까지 완성하였다. 동시에 역할 분담을 하여 라즈베리 파이에 포팅하는 부분까지 완성하였다. 아직 스니핑은 구현하지 못한 상태였지만 나머지 부분들을 완성한 걸 높히 평가해주신 것 같다.

아래는 우리팀의 시연영상이다.

https://www.youtube.com/watch?v=FbQgqhCdOeo

 

3차 발표 대상자에게는 프로보노 사무국에서 이렇게 매일로 도착 시간과 발표 시간 등을 안내해준다. 아마 매년 코엑스에서 종합평가를 진행한 듯 하다.

우리 팀은 11월 6-7일 양일 중 6일에 배정받았고, 10시 15분 도착, 11시 30분 발표였다. 전체 팀 중에서는 여섯 번째 발표 팀이다. 20분 작품 설치와 10분 발표, 10분 질의응답으로 이루어지며 심사위원은 여섯 분이 계신다. (여성 두 분 남성 네 분이시며 과기정통부, 정보통신기획평가원과 관련된 분들로 구성 된 것 같았다.)

---

3. 발표 당일

배정된 시간에 맞춰 코엑스 컨퍼런스 홀에 도착하면 저 멀리부터 한이음, 프로보노, 이브와 배너가 보인다. 배너를 따라 들어오면 이렇게 방명록을 적을 수 있다.

한이음과는 컨퍼런스 홀 자체가 다르고 프로보는 이브와와 같은 곳을 사용한다.

방명록을 작성하면 대기실에 들어갈 수 있다.

대기실 맞은편 바로 평가장이 있다. 바로 전 팀이 질의응답이 끝날 무렵 스텝 분이 대기하라고 지시해주신다.

우리 팀의 사진 ㅎ

대기실 모습이다. 양일 각 열 팀씩 발표인데 오전팀 오후팀 나누어져 있으니 우리가 도착했을 때는 대기실에 한 팀 밖에 없었다. 사람들이 북적였으면 다른 팀과 비교되어 긴장됐을텐데 그러지 않아 좋았다.

분위기는 엄숙했고 앉아서 준비하고 있으면 스텝 분이 과자 드실래요? 물어보신다. 모든 팀에게 물어보시는데 다들 긴장돼서 안먹고싶은지 아무도 안받는게 웃겼다..ㅎ

그리고 와이파이가 안된다. 코엑스 개방형 와이파이가 존재하지만 보안상, 연결상 안전하지 않아 무리였다. 우리 팀의 개발 작품은 무선 랜 라즈베리파이 모델을 사용하기 때문에 네트워크에 연결되어야 했는데 와이파이가 연결이 안 될 거라곤 상상도 하지 못했다. 결국 핫스팟으로 겨우 연결했지만 결론적으론 불안정하여 시연하는데 에로사항이 존재했다. 이 때문에 시연을 맡은 팀원 언니가 매우 속상해했다.

사무국에서 미리 공지를 해주셨으면 랜선을 가져갔을텐데 그러지 못해 100%의 시연을 보여주지 못한 것 같아 아쉽다.

---

4. 발표 & 질의응답

(위의 내용들은 혹시 몰라 참고할 사람들이 있을까봐 적어놓은 것이고 이 부분부터는 순전히 나를 위해 적어놓는 것이다.)

4.1 발표자를 맡은 이유

나는 발표자를 맡았다. 솔직히 말하면 자신있었다. 호흡하며 알맞은 빠르기로 말하는 법과 강조하고 싶은 곳에 강조하는 것, 발표할 때 심사위원과 눈 마주치는 법, 좋은 대본을 쓰는 법, 질의응답에 조리있게 대답하는 방법 모두 자신있었다. 나는 우리 프로젝트에 애정이 있었고 왜인지 내가 하지 않으면 안될 것 같았다. 그래서 내가 먼저 발표하겠다고 지원했다.

사실 발표 당일까지도 긴장되지 않았다. 아니 발표 하는 순간까지도 떨리지 않았다. 나 혼자 준비하였으면 떨렸겠지만 팀원들이 같이 있었고 각자의 역할 분담이 있으니, 그리고 연습도 꽤 했으니 심리적으로 안심이 됐던 것 같다.

4.2 발표

발표장에 들어가 심호흡을 하고 팀원과 맞춰본대로 피피티를 사용하며 발표를 진행했다. 심사위원분들은 이미 사전에 제출한 보고서와 설계서의 내용을 숙지하고 계셨기 때문에 발표 내용 중 이론 내용 보단 우리가 했던 노력, 어려웠던 점 극복 방안에 대해 더 비중을 두고 발표해주셨으면 좋겠다고 하셨다.

우리 팀은 자료 제출 전 발표 자료를 대거 수정하면서 이론 부분을 빼고 제작 노력에 치중하여 수정한 것이 생각나 그 부분은 다행이라고 생각했다. 당연한게 심사위원분들은 이미 이론에 대해 빠삭하시기도 하고 애초에 프로젝트의 평가 목적은 어떤 이론을 사용했느냐가 아니라 어떤 노력을 했느냐 이기 때문이다.

다시 발표 얘기로 넘어와서 발표와 작품 시연을 동시에 해야했기 때문에 발표 중간에 시연할 수 있도록 텀을 두었다. 그런데 앞서 언급했던 것 처럼 와이파이 연결이 말썽이었다. 주어진 시간은 10분이었기 때문에 계획한대로 진행되지 않으면 시간 내에 발표를 마치지 못할 것이 뻔했다.

조금 당황하고 있는 와중에 한 심사위원분께서 그럼 질의응답을 먼저 진행하면 어떻겠냐고 제안해주셨고 그렇게 하겠다고 했다.

우리 팀의 발표 자료는 서론-> 본론->시연->결론 순이었는데 본론까지 말씀드리고 바로 질의응답을 받게 되었다. 원래는 발표자 외에 팀원들도 대답을 할 수있는 것이 원칙이지만 (우리도 역할을 나누어 준비햇지만) 팀원들은 시연 오류를 고쳐야 했기 때문에 모든 질의응답엔 내가 대답할 수 밖에 없었다.

4.3 질의응답

심1
1. 발표에서 설명한 거 말고 프로젝트를 진행하면서 어려웠던 점
->데이터의 개수가 만 개가 넘어가다보니 colab에서 토큰화를 할 때 시간이 오래걸렸다. 토큰화가 오래 걸리니 토큰화 다음에 일어나는 코드의 오류를 해결하는 부분이 매우 비효율적이었다. 따라서 토큰화 된 파일을 따로 만들어 그 파일을 넣었을 때 다음 코드가 실행될 수 있도록 임시 코드를 개발하였다.  그렇게 하였더니 시간과 메모리를 훨씬 절약할 수 있었다. 

2. 이 작품이 다른 작품과 차별점이 있는지 (유선환경에서 없는 건 알고있으니 다른 장점을 말해달라)
->노약자라는 사용 대상을 고려하여 시청각적 효과에 초점을 두었다. 직관적으로 확인할 수 있으니 효과적일 거라고 예상한다. 

심2
3. 트롤리 딜레마에 대해 아는가? 트롤리 딜레마란 트롤리는 선로를 따라 달려오고 있고, 선로에는 다섯 사람이 있다. 당신은 선로 밖에 서 있고 다섯 사람을 구하기 위해서는 선로 전환기를 당기면 되지만 그렇게 되면 다른 선로에 있는 다른 한 사람이 죽게 된다. 선로 전환기를 당기는 행위는 도덕적으로 허용 가능한가에 대한 딜레마이다. 

 

이에 비추어 보았을 때 팀이 개발한 작품은 

3.1 이에 비추어 보았을 때 팀이 개발한 작품이 오판을 했을 때 누구의 잘못인지
->우리가 개발한 작품의 정확도를 측정해보았을 때 90%이상이 나왔기 때문에 오탐 가능성이 매우 적을것이라 생각한다. 

3.2 그건 데이터셋이 만개밖에 안돼서 그렇다 최소 만 개 인거지 십만개 백만개면 오탐 정탐 비율이 달라질 거다
->그 부분까지는 생각해보지 못했다. 다만, 무슨일이든 어느정도 리스크는 감수해야한다는게 발표자의 개인적인 의견이다. 

 

4. 최신 동향과 괴리감이 있는데 어떻게 생각하는지
-> 프로젝트 초반 사전 조사 시 가장 보이스피싱 동향에 맞춰 개발을 구상했는데 연말인 지금 또 동향이 달라졌다. 변화하는 사회이니만큼 최신 동향에 맞게 적용할 수 있도록 항상 업데이트를 최우선시 하겠다. 

5. 사전조사할 때 자료조사 말고 실제 피해자를 인터뷰 한 경험이 있는지
->팀원 중 어머니가 보이스피싱을 당한 적이 있으셔서 인터뷰를 진행하였다. 

(나중에 전시회할 때 다른 팀원분들과 대화하며 알게된 건데 사회시설이나 시민들을 대상으로 실제 설문지를 돌린 팀도 있었다. 우리는 사전 조사가 부족했던 거 같다.)

6. (질문x) 현재 서울대와 경찰청에서도 이 팀의 주제와 동일한 프로젝트를 하고 있다. 정말 멋있는 주제이고 더 발전시키면 멋있는 프로젝트가 될 것 같다. 현재는 프로보노여서 대상이 노약자로 한정되어있지만 후에 전국민을 대상으로 해도 좋을 것 같다.


심3
7. EDA에 대해 설명 부탁, 데이터를 증량해도 유의미 한 값인지
->동의어 교체, 무작위 삽입, 무작위 교체, 무작위 삭제 함수 , 맥락 살리고자 노력 , 동의어를 교체하는 것이기 때문에 유의미한 문장인 건 변하지 않는다.
7.1 확인은 어떻게
->데이터셋을 뽑아 유의미한 값을 가지고 있는지 눈으로 확인해 보았다.

심4 (시연)
8. 피에조 부저 어떻게 넣었는지
-> 라베파와 빵판을 이용해서 연결했다.

9. 전공이 어떻게 되는지
-> 융합보안공학과 2학년, 정보보호학과 3학년 두 명으로 이루어져 있다.

9.1 2,3학년인데 굉장히 잘했다 난이도가 높은데 대단하다.