임베디드 시스템에서 회귀 테스트를 수행하는 방법

https://stackoverflow.com/questions/733756

06-09-2019
|

문제

임베디드 환경이나 테스트 자동화 가능성이 매우 제한된 기타 상황에서 회귀 테스트를 실행하기 위한 모범 사례와 전략은 무엇입니까?

내 경험에 따르면 많은 테스트를 수동으로 수행해야 합니다.테스터는 일련의 버튼을 누르고 기계가 올바르게 작동하는지 확인해야 합니다.개발자로서 변경 사항으로 인해 다른 것이 중단되지 않는다고 스스로 확신하는 것은 정말 어렵습니다.

적절한 회귀 테스트가 없으면 대규모 리팩토링 등의 상황이 더욱 악화됩니다.

누구든지 문제를 인식합니까?이런 종류의 문제를 처리할 수 있는 좋은 솔루션이나 프로세스를 찾았습니까?

해결책

개인적으로, 나는 대상 하드웨어와 내 컴퓨터 모두에서 내 임베디드 코드를 컴파일하는 것을 좋아합니다. 예를 들어, 8086을 타겟팅 할 때 8086 하드웨어에서 재설정 할 맵과 DOS 진입 지점이 모두 포함되었습니다. 하드웨어는 모든 IO가 메모리 매핑되어 설계되었습니다. 그런 다음 하드웨어 시뮬레이터에서 조건부로 컴파일하고 하드웨어 메모리 위치를 시뮬레이션 하드웨어 메모리로 조건부로 변경했습니다.

X86이 아닌 플랫폼에서 작업한다면 대신 에뮬레이터를 작성했을 것입니다.

또 다른 방법은 하드웨어의 모든 입력 및 출력이 소프트웨어를 통해 제어되는 테스트 장비를 만드는 것입니다. 우리는 이것을 공장 테스트에서 많이 사용합니다.

한 번은 IO 하드웨어에 시뮬레이터를 구축했습니다. 이렇게하면 나머지 시스템을 몇 가지 명령을 전송하여 하드웨어를 시뮬레이션 모드로 전환하여 테스트 할 수 있습니다. 마찬가지로, 잘 알고있는 소프트웨어는 소프트웨어 명령에 응답하여 IO가 시뮬레이션되는 "시뮬레이션 모드"를 가질 수 있습니다.

다른 팁

임베디드 테스트의 경우 개발 과정 초기 에이 길을 벗어나는 것이 좋습니다. PC 플랫폼에서 실행되도록 임베디드 코드를 샌드 박스에 넣은 다음 많은 도움이됩니다.

이렇게하면 대부분의 통합을 보장하지만 나중에 시스템과 수락 테스트를 수행해야합니다.

누구든지 문제를 알고 있습니까?

가장 확실히.

이런 종류의 문제를 다루는 좋은 해결책이나 프로세스를 찾았습니까?

기술의 조합 :

자동 테스트;
무차별 대기 테스트, 즉 자동 테스트만큼 지능적이지는 않지만 장기간 (몇 시간 또는 며칠)에 걸쳐 기능을 반복적으로 테스트하고 인간의 개입없이 실행할 수있는 테스트;
수동 테스트 (종종 피하기 어렵다);
PC의 소프트웨어 에뮬레이터 (또는 최후의 수단, 하드웨어 에뮬레이터)에서 테스트합니다.

PC 컴파일러에서 컴파일하는 것과 관련하여 : 이는 높은 수준의 모듈과 테스트 적합한 하네스가있는 저수준 모듈의 경우 확실히 의미가 있습니다.

예를 들어 여러 소스의 실시간 신호를 처리 해야하는 코드의 일부와 관련하여 에뮬레이션은 시작하기에 좋은 장소이지만 충분하지 않다고 생각합니다. 가능한 한 현실적인 환경에서 실제 하드웨어에서 코드를 테스트 할 대체물이 종종 있습니다.

지금까지 대부분의 응답자와 달리 저는 데스크탑 시스템과 전혀 유사하지 않은 임베디드 환경에서 작업하므로 데스크탑에서 임베디드 시스템을 에뮬레이션할 수 없습니다.

좋은 테스트 시스템을 작성하려면 피드포워드와 피드백을 갖춘 테스트 시스템이 필요합니다.JTAG는 장치를 제어하는 가장 일반적인 피드포워드 방식입니다.장치의 전체 상태(운이 좋으면 전체 보드일 수도 있음)를 설정한 다음 실행할 테스트 코드를 설정할 수 있습니다.어느 시점에서 피드백을 받게 됩니다.JTAG는 피드백 장치 역할도 할 수 있습니다.그러나 이러한 상황에서는 소프트웨어 API를 갖춘 로직 분석기가 가장 좋습니다.핀의 특정 레벨을 찾고, 펄스를 계산하고, 스트리밍 주변 장치의 데이터 스트림을 구문 분석할 수도 있습니다.

개별 서브 시스템 및 전체 프로젝트에 대상 환경을 모방하는 테스트 하네스 / 샌드 박스 / 모형을 제공하십시오.

이것은 실제 환경에서 테스트의 필요성을 제거하지는 않지만 시뮬레이션이 대부분의 문제를 일으킬 수 있으므로 모두가 통과하고 값 비싼 인간 중심 테스트를 수행 할 때까지 시뮬레이션이 대부분의 문제를 일으키기 때문에 숫자를 크게 줄입니다. 시각.

앱이 일반 PC (Valgrind와 같은 도구를 사용하는 데 유용한)를 구축하고 적어도 부분적으로 테스트 할 수 있는지 확인하는 것에 대한 제안과는 별도로 소프트웨어 설계에 대해 생각할 것입니다.

내가 작업 한 한 프로젝트에는 하드웨어를 주도하는 구성 요소가 있었는데, 하나는 관리 작업을 처리하고 다른 하나는 네트워크 관리를위한 구성 요소가있었습니다. 네트워크 관리는 SNMP에 의해 처리되었으므로 하드웨어를 사용하여 무언가를하기 위해 원격으로 실행하는 스크립트를 쉽게 작성할 수있었습니다.

저수준 하드웨어 테스트를 실행하기 위해 테스트 스크립트를 구문 분석하고 드라이버의 IPC에 명령을 주입하는 간단한 스크립트 리더를 작성했습니다. 출력이 비디오 기반 이었으므로 눈이 아닌 핸들링의 검증을 자동화하기가 어려웠지만 RSI를 확실히 저장했습니다. 또한 버그가 다시 발생하지 않도록 스트레스 테스트 또는 시뮬레이션 된 알려진 고장 조건을 시뮬레이션하는 스크립트를 생성하는 데 매우 유용했습니다.

내가 다시 한 번 작업을 수행하는 경우 테스트 하네스에서 사용하는 공유 라이브러리와 실제 코드를 구현하여 핵심 메시지를 보낼 것입니다. 그런 다음 파이썬 (또는 유사한 것)에 Lib를 마무리하여 테스트가 약간 더 "스크립트 가능"할 수 있습니다.

자동화 된 하드웨어가 필수라고 말하는 모든 사람에게 동의합니다. 우리는 해당 접근 방식을 사용하여 일부 장치를 사용하여 임베디드 소프트웨어를 테스트합니다. 우리는 하드웨어 시뮬레이터로 가득 찬 대형 2 rack 테스트 스테이션을 구축했으며 LabView Vis, C# 코드, 공급 업체 DLL 등을 혼합하여 NI 테스트 스탠드를 사용하여 모든 관리를 관리합니다. 우리는 많은 하드웨어를 테스트해야합니다. 그래서 우리는 그 쓰레기를 모두 가지고 있습니다. 소프트웨어를 테스트하는 경우 소프트웨어를 베어 필수 요소로 다시 확장 할 수 있습니다. 직렬 인터페이스 테스트? 직렬 트래픽을 시뮬레이션하고 소프트웨어가 올바르게 응답 할 수 있도록 모든 메시지 (및 비 균형화되지 않은 메시지)를 연습하는 장치를 작성하십시오. DIO 테스트? DIO를 시뮬레이션하기 위해 많은 USB 주변 장치 또는 임베디드 장치가 쉽습니다. 타이밍이 중요하다면 다른 임베디드 장치를 사용하여 원하는 공차를 얻으려면 PC가 잘 작동합니다.

중요한 부분은 항상 테스트하고있는 것을 알고 그 이외의 다른 것을 테스트하지 않는 것입니다. 소프트웨어 인 경우 테스트가 하드웨어와 가장 큰 정도로 독립적인지 확인하십시오. 파형 생성 또는 D/A로 무언가를 테스트하는 경우 작업을 분리합니다. - 미리 정리 된 장치를 제외하고는 아무것도하지 않는 내장 장치에 특수한 소프트웨어 빌드로 D/A 하드웨어를 테스트하십시오. 전압 레벨. 그런 다음 필터가 잘못된 주파수로 설정되어 있는지 확인하는 경우 참조가 꺼져 있는지 확인할 수 있습니다. 그러면 하드웨어와 독립적 인 소프트웨어를 테스트 할 수 있어야합니다. 개발 보드를 사용하여 소프트웨어를 테스트하고 프로세서에서 동작을 확인하십시오. 핀이 맞습니다.

내가 일하는 곳에서 사용하는 솔루션은 야간 구축 및 테스트 절차를 자동화합니다.

소스 컨트롤에서 트렁크 헤드 코드를 확인하십시오.
프로젝트를 구축하고 대상에로드하십시오.
PC 제어 자동 테스트 스크립트를 실행하십시오.

일종의 통신 프로토콜을 사용하는 경우 테스트 스크립트를 쉽게 실행할 수 있습니다. 그것은 내부 단위 테스트에 좋습니다. 상황을 더욱 흥미롭고 철저하게 만드는 것은 외부 IO를 시뮬레이션하기 위해 보드에 연결하는 배선 하니스를 만드는 것입니다.

에뮬레이션은 개발 및 기본 초기 테스트에 적합하지만 실제 물리적 작동 시간은 시스템 검증을위한 유일한 신뢰할 수있는 방법입니다. 물리적 운영은 전압 처짐, 노이즈, 글리치, 분해 문제, 레이스 조건 등과 같은 비 코드 문제 (코딩 방법으로 인해)를 제거 할 수 있습니다.

장기간의 시스템 테스트도 중요합니다. 며칠/주 동안 지속적으로 시스템을 남용하기 위해 자동 테스트를 설정하는 것은 몇 달 후에 현장에서 자라지 않을 수있는 문제를 강요하는 좋은 방법입니다. 일이 재미있게 행동하기 시작할 때마다 고객에게 전원을 순환하도록 지시하는 것은 모든 산업이 즐겁게 할 수있는 사치가 아닙니다.

내 경험상 자동화 된 하드웨어 테스트가 중요했습니다. - PC와 Target의 듀얼 컴파일에 대한 투자는 "좋은"기능이지만 선택의 여지가 주어지면 자동화 된 하드웨어 테스트에 크게 투자 할 것입니다. 제조 암은 어쨌든 고장 분석 기능을 원하거나 필요로하기 때문에 결국 더 비용 효율적인 솔루션이 될 것입니다.

라이센스 : CC-BY-SA ~와 함께 속성

제휴하지 않습니다 StackOverflow