일리노이 팀, OpenCV AI 대회에서 1등 수상

Aug 15, 2023

2023년 8월 9일

데브라 레비 라슨

레이블이 지정된 이미지의 데이터 세트를 수동으로 생성하려면 비용이 많이 들고 많은 노력이 필요합니다. 이 두 가지 요소를 모두 줄이기 위해 일리노이 대학교 어바나-샴페인 캠퍼스의 학생 4명으로 구성된 팀은 딥 러닝 기반 컴퓨터 비전 모델 훈련을 위한 데이터 생성 및 주석 처리 프로세스를 자동화하는 솔루션을 개발했습니다.

이 팀은 올해 2022 OpenCV AI 공모전 코어 트랙(Core Track)에서 1위를 차지했습니다. COCOpen이라는 소프트웨어는 Microsoft "컨텍스트 내 공통 개체" 데이터 세트에 도입된 이미지 레이블 지정 접근 방식을 따릅니다.

그들이 만든 소프트웨어는 동일한 카테고리의 여러 개체가 포함될 수 있는 장면에서 특정 개체를 식별하고 개요를 설명하기 위해 모델을 교육하는 데 사용되는 이미지 데이터를 생성합니다.

코드 저장소의 예제 사용 사례에서는 유선 및 이더넷 장치 범주의 여러 개체가 포함된 이미지를 생성합니다. 이러한 합성 이미지는 모델이 이전에 본 적이 없는 새로운 이미지에서 이러한 객체 범주를 감지하도록 딥 러닝 모델을 훈련하는 데 사용될 수 있습니다.

이러한 훈련 이미지의 자동 생성 및 라벨링은 이 프로세스와 관련된 시간과 비용을 크게 줄여줍니다. 이 코드는 제조, 물류, 자율주행, 가사 서비스 등 다양한 응용 분야에서 사용될 수 있습니다.

홀리 딘켈 , 박사 학위 UIUC 항공우주공학과 학생은 COCOpen이 검정색 배경에 대해 단일 물체의 단순하고 라벨이 없는 이미지를 촬영하는 방식으로 작동한다고 설명했습니다.

소프트웨어는 OpenCV를 사용하여 색상을 기반으로 개별 개체에 대한 마스크를 만듭니다. 그런 다음 데이터 증대의 복사-붙여넣기 방법을 사용하여 여러 객체 이미지를 단일 이미지로 결합합니다. 또한 OpenCV는 객체의 방향을 무작위로 지정하거나 색상을 변경하는 등 향상된 기능을 적용하는 데 사용됩니다.

COCOpen 라이브러리에서 생성된 데이터는 로봇 조작 애플리케이션을 위한 이더넷 와이어 및 네트워킹 장치를 감지하기 위해 Detectron2 Mask R-CNN 모델을 교육하여 검증됩니다.

야쉬 라토드컴퓨터 과학과 3학년인 는 COCOpen에 대한 자신의 비전이 실험실에서 연구를 수행하고 기계 학습 실무자를 위한 사용자 친화적인 데이터 생성 경험을 구축하는 것이라고 말했습니다.

“클라우드에서 수천 장의 이미지를 가져와 전처리하고 실험실에서 연구한 데이터 생성 기술을 적용하여 컴퓨터 비전 모델 교육에 사용할 수 있는 COCO 형식의 데이터를 생성하는 파이프라인을 구축하는 것이 아이디어였습니다.”라고 그는 말했습니다.

Rathod는 UIUC의 엔지니어링 프로그램 홍보 학부 연구에서 한 학기 동안 경험한 경험을 활용하여 클라우드 데이터 스토리지 리소스(원래는 Microsoft Azure, 그 다음에는 Box)와 인터페이스하기 위한 소프트웨어를 개발하고 테스트했습니다.

“자동화된 데이터 생성은 사용자가 간단히 코드 저장소를 복제하고 최소한의 설치 및 실행 지침을 따를 수 있음을 의미합니다. 우리는 클라우드를 활용하여 사용자의 시간과 귀중한 컴퓨팅 리소스를 절약하고 싶습니다.”라고 Rathod는 말했습니다.

해리 자오 지난 5월 항공우주 공학 학사 학위를 취득한 는 OpenCV를 다양한 분야에 적용하여 실제 컴퓨터 비전 문제를 해결하는 COCOpen의 능력을 강조했습니다. 해당 카테고리의 다른 45개 출품작 중에는 의료, 환경, 건설 문제에 대한 솔루션이 포함되었습니다.

Zhao는 "원래 Microsoft COCO 데이터세트를 만드는 데 총 55,000시간의 작업 시간이 필요했지만 물론 한 사람이 다 작업한 것은 아닙니다"라고 말했습니다. “그러나 불일치가 많이 있을 수 있습니다. 일부 라벨은 부정확할 수 있으며 거부되거나 정제되어야 하므로 더 많은 시간이 낭비됩니다. COCOpen은 사람들이 이미지에 라벨을 자동으로 생성하는 데 사용할 수 있는 형식으로 데이터를 저장합니다.”

Zhao는 COCOpen이 2년 전 일리노이주 우주 보조금 컨소시엄 학부 연구 기회 프로그램 인턴십 기간 동안 자신과 Dinkel이 만든 코드와 데이터에서 영감을 받았다고 말했습니다.

라벨링의 복잡성에 대해 Zhao는 이렇게 말했습니다. “만약 우리가 전선을 감지하거나 분류하는 데만 관심이 있다면 이것은 전선이고 이것은 전선이 아니라고 말할 것입니다. 0 또는 1입니다. 바이너리. 의미론적 분할은 픽셀이 무엇을 나타내는지 아는 경우입니다.