[C/C++] strtok 함수, 주의사항

• C언어의 strtok 함수 사용법과 사용 시 주의사항에 대한 글입니다.

strtok

• strtok API는 char* 을 tokenize하여 분할할 때 사용하는 함수입니다.

• 처음 함수 호출시, str 매개변수에는 해당 char* 이 들어가게 되어 처음 시작위치를 알게 됩니다.

• 이후 호출하여 분할하는 값을 알기 위해서는 str 매개변수에는 null pointer가 들어가게 되고 마지막 토큰의 다음 위치를 시작위치로 사용하게 됩니다.

• strtok은 null character가 발견될 때까지 실행되며, 토큰화하면 자동적으로 마지막위치에 null character가 추가가 됩니다. 이 부분에서 많은 에러가 발생할 가능성이 있으며, 주의사항을 숙지해야 합니다.

• 자세한 내용은 레퍼런스를 참조하면 좋습니다.

Parameters

• str : 분할하려고 하는 C string

• delimiters : 분할하기 위한 기준 character

Return Value

만약 분할이 되어 토큰이 존재한다면 token의 시작 pointer를 반환하고 아닐 시 null pointer를 반환합니다.
null pointer를 반환했다는 것은 C string의 끝위치라고 생각하면 됩니다.

Example

• 참고(https://reakwon.tistory.com/64, https://dojang.io/mod/page/view.php?id=1804)

#include <stdio.h>
#include <string.h>

int main ()
{
  char str[] ="- This, a sample string.";
  char * pch;
  printf ("Splitting string \"%s\" into tokens:\n",str);
  pch = strtok (str," ,.-");
  while (pch != NULL)
  {
    printf ("%s\n",pch);
    pch = strtok (NULL, " ,.-");
  }
  return 0;
}

• 레퍼런스에 있는 예제를 가져와서 설명을 드리면, str은 char 정적 배열로 선언하였습니다.

• strtok paramter를 확인하면 char* 이기 때문에 정적 배열 이외에도 배열의 포인터를 대입하는 경우가 있습니다. 컴파일 에러도 나타나지 않아 문제 없어 보이지만, 런타임 시 segmentation fault가 발생합니다.

• char *str로 선언하여 매개변수 입력 시 segmentation fault가 발생하는 이유는 str은 읽기 전용 메모리에 저장되기 때문입니다. strtok의 구체적인 원리는 delimiters에 해당되는 문자를 찾게 되면 바로 반환하는 것이 아닌 delimiters 문자의 끝을 알려주는 '\0'를 치환하게 됩니다. 이 때, 읽기 전용 메모리에 있는 str을 가지고 쓸 수가 없기 때문에 segmentation fault가 발생합니다.