WO2011115364A2 - Apparatus for processing image data to track location of light source - Google Patents

Apparatus for processing image data to track location of light source Download PDF

Info

Publication number
WO2011115364A2
WO2011115364A2 PCT/KR2011/000447 KR2011000447W WO2011115364A2 WO 2011115364 A2 WO2011115364 A2 WO 2011115364A2 KR 2011000447 W KR2011000447 W KR 2011000447W WO 2011115364 A2 WO2011115364 A2 WO 2011115364A2
Authority
WO
WIPO (PCT)
Prior art keywords
specific frequency
light
image
data
frequency band
Prior art date
Application number
PCT/KR2011/000447
Other languages
French (fr)
Korean (ko)
Other versions
WO2011115364A3 (en
Inventor
박상형
김승훈
Original Assignee
하이브모션 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 하이브모션 주식회사 filed Critical 하이브모션 주식회사
Publication of WO2011115364A2 publication Critical patent/WO2011115364A2/en
Publication of WO2011115364A3 publication Critical patent/WO2011115364A3/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry

Definitions

  • the present invention relates to the processing of image data, and more particularly to an apparatus for extracting position information for a specific light source from the image data.
  • remote controllers Many electronic devices such as televisions, PC monitors, DVD players, and set-top boxes are driven by remote controllers. These remote controllers move away from the traditional simple control functions, such as selecting a channel or controlling volume by simple keystrokes, freely moving the cursor on the screen, and selecting or deselecting specific points by specifying specific points. Or, remote pointing technologies are being developed that can be used like a regular computer mouse, such as opening additional submenus at the designated points and selecting the required functions. All texts or picture information scattered on the screen become a menu, and the part is being developed to directly perform the corresponding function that is already promised.
  • a method of directly sensing the movement of the remote controller in the main device has been developed to calculate the amount of movement of the light source using the size of the light source image and the distance that the light source image moves. It has to be recognized as more than the size and has a disadvantage in that the amount of data to be processed in calculating the amount of movement of the light source increases the burden on the processor and slows down the calculation speed.
  • An object of the present invention is to provide an image processing apparatus that dramatically reduces the amount of calculation by minimizing the amount of data to be processed in an apparatus for tracking the position of a light source moving in space.
  • an object of the present invention in tracking the position of the light source moving in the space, reflecting the position of the light source, the time interval for acquiring the position information of the light source, etc. to determine the position of the light source of appropriate size It is to provide an image processing apparatus that improves processing speed and efficiency by setting an area.
  • the image sensing module for receiving the light (light) to convert the image data; And a data processing module for repeatedly extracting location information changed according to time with respect to light of a specific frequency or a specific frequency band from the image data received from the image sensing module, wherein the data processing module includes the specific frequency. Or setting an image region so that the position of the light of a specific frequency band is the center, and processing the data for the image region to extract changing position information on the light of the specific frequency or the specific frequency band.
  • the data processing module compares the background data corresponding to the image area with the data corresponding to the image area among the image data received from the image sensing module, and provides position information on light of the specific frequency or a specific frequency band. It is characterized in that the extraction.
  • the data processing module is characterized in that for determining the size of the image area for extracting the position information for the light of the specific frequency or a specific frequency band according to the distance to the light source for emitting the light.
  • the data processing module may calculate a distance from the light source using a size of an area occupied by the light of the specific frequency or the specific frequency band in the image data.
  • the data processing module compares the background image data, which does not include the location information of the light of the specific frequency or the specific frequency band, with the image data transmitted from the image sensing module, and compares the light of each specific frequency or the specific frequency band. And extracting initial positional information about.
  • the data processing module may be configured to periodically acquire the background image data by controlling the image sensing module and to update the background image data previously stored using the acquired background image data.
  • the electronic device may further include a storage module configured to store at least one of the image data, the information on each light, the information on the image area, the background image data, and the background data of the image area.
  • the data processing module may have the same value except for data of light of the specific frequency or a specific frequency band among the image data transmitted from the image sensing module so that data regarding light of the specific frequency or a specific frequency band is identified. Processing to extract information about the light of the specific frequency or a specific frequency band.
  • the data processing module may be configured to set a plurality of image areas to extract position information of light of the specific frequency or a specific frequency band.
  • the image processing apparatus comprises an image sensing module for receiving a light (light) to convert the image data; And a data processing module for repeatedly extracting location information changed according to time with respect to light of a specific frequency or a specific frequency band from the image data received from the image sensing module, wherein the data processing module includes the image data.
  • the image area is set from the position information of the light of the specific frequency or the specific frequency band, and the changed position information of the light of the specific frequency or the specific frequency band is extracted by processing the partial data of the image area,
  • the image area is set to a plurality of areas, and a part of the plurality of areas is set to a reflection light acquisition area so that the information on the light of the specific frequency or the specific frequency band extracted from the reflection light acquisition area is recognized as reflected light. It features.
  • the remote pointing system a light source for emitting light of a specific frequency or a specific frequency band (light); And an image processing apparatus for receiving light of the specific frequency or a specific frequency band, converting the light into image data, and repeatedly extracting location information of light of a specific frequency or a specific frequency band that changes with time from the image data.
  • the image processing apparatus may be configured to set an image area so that the position of the light of the specific frequency or the specific frequency band is centered, and process the data for the image area to change the light of the specific frequency or the specific frequency band. And extracting the location information.
  • the image processing apparatus minimizes the amount of data to be processed in the apparatus for tracking the position of a moving light source in space, thereby dramatically reducing the amount of computation and thus improving the processing speed and complexity of the algorithm. There is.
  • the image processing apparatus in tracking the position of the light source moving in the space, reflects the position with the light source, the time interval for acquiring the position information of the light source, etc. Setting the image area of size has the effect of improving the processing speed and efficiency.
  • FIG. 1 is a block diagram of an image processing apparatus for recognizing a movement of a light source according to an embodiment of the present invention.
  • 2 to 6 are diagrams for explaining a method for tracking the position of light of a specific frequency or a specific frequency band according to an embodiment of the present invention.
  • FIGS. 7 to 9 are diagrams for explaining a method for tracking the position of a plurality of light sources according to another embodiment of the present invention.
  • FIG. 10 is a diagram illustrating a method of obtaining an initial position of a light source according to an embodiment of the present invention.
  • FIG. 11 is a diagram illustrating a method of obtaining an initial position of a light source according to another embodiment of the present invention.
  • FIG. 12 is a diagram illustrating a method of setting a plurality of image areas for extracting position information of a light source according to another embodiment of the present invention.
  • FIG. 13 is a block diagram showing a remote pointing system using the location information of the light source according to the present invention.
  • FIG. 14 is a flowchart illustrating a method of tracking the position of a light source in a remote pointing system according to an embodiment of the present invention.
  • first and second may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another.
  • FIG. 1 is a block diagram of an image processing apparatus for recognizing a movement of a light source according to an embodiment of the present invention.
  • an image processing apparatus includes an image sensing module 110, a data processing module 120, and an interface module 130.
  • the light includes not only a frequency band that can be recognized by human beings, such as ultraviolet rays, visible light, and infrared rays, but also a frequency band which is not recognized by humans, and is generated by a light source that emits light itself or reflected by an object. Includes all of them.
  • the image sensing module 110 generates image data of the space where the image processing apparatus is located by using the input light, and the data processing module 120 receives the image data from the image sensing module 110 and applies it to a predetermined algorithm. Process accordingly.
  • the data processing module 120 extracts position information on light of a specific frequency or a specific frequency band from a plurality of lights incident to the image sensing module 110.
  • the image processing apparatus 120 repeatedly extracts the position information of the light to change the position and position of the light source. Can be tracked continuously.
  • the information generated by the data processing module 120 may be transferred to various devices interoperating with the image processing device through the interface module 130. For example, referring to FIG. 1, location information regarding light of a specific frequency or a specific frequency band generated by the data processing module 120 may be provided through the interface module 130 to the main CPU 140 of the display device 150. ), The main CPU 140 may determine the location of a specific image displayed on the display apparatus 150 using location information about light transmitted from the data processing module 120.
  • the image sensing module 110 and the data processing apparatus 120 may include image data, position information on each light, information on the size and position of the image region, background image data, Various data and information such as partial background data are generated, and the image processing apparatus may further include a storage module (not shown) for storing such various information and data.
  • the storage module (not shown) may be provided separately from the data processing device 120 or embedded in the data processing device 120 to be implemented as a single module.
  • FIGS. 2 to 6 are diagrams for explaining a method of tracking the movement of light of a specific frequency or a specific frequency band according to an embodiment of the present invention.
  • the data processing module 120 extracts each location information for light of a specific frequency or a specific frequency band from the image data transmitted from the image sensing module 110, or a specific frequency or a specific frequency. It processes data corresponding to an image area of a certain size in which light of a frequency band exists. That is, the data processing module 120 presets an image region to be processed according to the position of the moving light, and extracts position information on light of a desired frequency or frequency band by processing only data corresponding to the image region. .
  • the data processing module 120 repeats at regular time intervals, sets the image area from the position information on the light of a specific frequency or a specific frequency band of the image data, and processes the data for the image area to process a specific frequency or By extracting the changing positional information for the light of a specific frequency band, it is possible to track the position of the corresponding light source.
  • the data processing module 120 obtains first location information 200 for light of a specific frequency.
  • the data processing module 120 sets the first image area to be processed by the data processing module 120 to obtain the second location information by using the first location information 200.
  • the data processing module 120 sets the first image area 300 by using the first location information 200.
  • the first image area 300 includes the first location information. It has an area of a predetermined size around the center.
  • the data processing module 120 processes data corresponding to the first image area 300 to obtain second position information 400 of light being tracked.
  • the distance that the light source can move may vary depending on the time interval during which the data processing module 120 processes image data, the distance to the light source, and the size of the image area is appropriately determined according to the distance that the light source can move.
  • the data processing module 120 processes image data by repeating a predetermined time interval at a time interval to track the position of light of a specific frequency or a specific frequency band. Referring to FIG. 5, the data processing module 120 sets the second image area 500 using the second location information 400. Similar to acquiring the second position information 400, the data processing module 120 processes only data corresponding to the second image area 500 to acquire the third position information. Referring to FIG. 6, the data processing module 120 extracts the third location information 600 using data corresponding to the second image area 500, and uses the third location information 600 to display the third location information. Image area 650 has been set.
  • the data processing module 120 does not process all of the image data to obtain each position information, but processes only data corresponding to each preset image region.
  • the data processing module 120 does not process all of the image data, but processes only the data of a limited area, thereby reducing the amount of computation that needs to be processed, thereby greatly improving the processing speed.
  • FIGS. 7 to 9 are diagrams for explaining a method of tracking the positions of a plurality of light sources according to another embodiment of the present invention.
  • the data processing module 120 obtains location information 700 and 750 of the first two lights from the image data.
  • the two lights may be light of the same frequency or light of different frequencies within a specific frequency band.
  • the data processing module 120 sets the image areas 800 and 850 for each light using the location information 700 and 750.
  • the data processing module 120 extracts location information 920 and 940 of new light by processing respective data corresponding to each image area 800 and 850, and based on this, each image area 960. 980).
  • FIG. 10 is a diagram illustrating a method of acquiring an initial position of a light source according to one embodiment of the present invention.
  • the data processing module 120 may use the background image data when acquiring the position information of the light source in the image area which is acquired or repeatedly set the information on the position of the first light source.
  • the image sensing module 110 may include image data that does not include location information on light of a specific frequency or a specific frequency band when a light source of a specific frequency or a specific frequency band is not recognized (hereinafter, referred to as 'background image data'). Is obtained (see Fig. ⁇ a> in Fig. 10).
  • the data processing module 120 compares the background image data with the image data transmitted from the image sensing module 110 (see FIG. 10 in FIG. 10) after the presence of light of a specific frequency or a specific frequency band is recognized. Acquire initial position information for light of a frequency or a specific frequency band.
  • the data processing module 120 may extract initial position information for light of a specific frequency or a specific frequency band by extracting the changed data by comparing the image data transmitted from the image sensing module with the background image data.
  • the background image data is stored in a storage module (not shown), and the data processing module 120 controls the image sensing module 110 to periodically acquire the background image data and store the image data using the obtained background image data. Update the background image data.
  • FIG. 11 is a diagram for explaining a method of acquiring an initial position of a light source according to another exemplary embodiment of the present invention.
  • the data processing module 120 processes image data transmitted from the image sensing module 110 so that data on light of a specific frequency or a specific frequency band is identified, thereby extracting information on light of a specific frequency or a specific frequency band. Can be.
  • the data processing apparatus 120 may process all of the image data transmitted from the image sensing module 110 to the same value except for data of light of a specific frequency or a specific frequency band.
  • the data processing apparatus 120 processes all the dark colors except for data of a light of a specific frequency or a specific frequency band (see FIG. 11B in FIG. 11).
  • the method described with reference to FIGS. 10 and 11 may be used to track not only the initial position of the light source but also the position of the moving light source.
  • the data processing device 120 uses background data corresponding to the image area to extract the position of the light from the image area.
  • the background data corresponding to the image area may be a background image previously stored in correspondence with the image area, or may be extracted data corresponding to each image area from the background image data, and image data most recently acquired corresponding to each image area. .
  • the data processing module 120 compares the background data corresponding to the image area with the data corresponding to the corresponding image area among the image data received from the image sensing module, and extracts location information on light of a specific frequency or a specific frequency band.
  • the data processing apparatus 120 performs separate processing of data corresponding to an image region to identify data for a light having a specific frequency or a specific frequency band, thereby positioning a light source existing in the image region. Can be obtained.
  • FIG. 12 is a diagram illustrating a method of setting a plurality of image regions for extracting location information of a light source according to another embodiment of the present invention.
  • the data processing apparatus 120 may set a plurality of image areas in order to extract position information about light of a specific frequency or a specific frequency band, which may track positions of the plurality of light sources or reflect light generated by one light source. It can be used to process.
  • a method of tracking the positions of the plurality of light sources has been described with reference to FIG. 10.
  • a method of recognizing reflected light generated by one light source as wrong data using a plurality of image areas will be described.
  • the light emitted from one light source may generate a plurality of reflected light, and since the reflected light has the same frequency as the light emitted from the light source, the data processing apparatus 120 may recognize that there are several light sources in the space. have.
  • the data processing apparatus 120 sets a reflection light acquisition area in anticipation of an area in which various reflection light beams generated by one light source may be located, thereby distinguishing the light incident directly from the light source and the light reflected from the surrounding object. Can be.
  • the data processing module 120 sets three reflected light acquisition regions 1220, 1240, and 1260 around one image region 1200.
  • the data processing module 120 recognizes all the information about the light of a specific frequency or a specific frequency band extracted from the reflected light acquisition areas 1220, 1240, and 1260 in addition to the light included in the image area 1200.
  • FIG. 13 is a diagram illustrating a remote pointing system using location information of a light source according to an exemplary embodiment of the present invention.
  • an image processing device 1310 is embedded in the display device 1320, and an application using location information of a light source is mounted on the display device 1320.
  • the remote controller 1340 operated by the user to drive the display device 1320 is equipped with a light source 1330 that emits light of a specific frequency.
  • the position of the light source 1330 moves together according to the position of the remote controller 1340, and the image processing apparatus 1310 tracks the position of the moving light source 1330 in real time.
  • the image processing apparatus 1310 sets an image region from position information about light of a specific frequency or a specific frequency band, and processes data for the image region to repeat changing position information about light of a specific frequency or a specific frequency band. By extracting, it is possible to track the position of the moving light source 1330.
  • the image processing device 1310 may emit light prior to tracking the position of the light source, and the image processing device 1310 or the display device 1320.
  • the image processing apparatus 1310 may calculate a distance from the light source 1330 using the size of an area occupied by light of a specific frequency or a specific frequency band in the image data.
  • the image processing apparatus 1310 may determine the size of the image area for extracting location information of the moving light source 1330 using the calculated distance from the light source 1330.
  • FIG. 14 is a flowchart illustrating a method of tracking the position of a light source in a remote pointing system according to an embodiment of the present invention.
  • operation S1410 when power is supplied to the display apparatus 1320 including the image processing apparatus 1310, the display apparatus 1320 is initialized and the embedded image processing apparatus 1310 is also initialized.
  • the image processing apparatus 1310 obtains background image data, where the background image data does not include information about light of a specific frequency or a specific frequency band that the image processing apparatus 1310 should extract. to be.
  • operation S1430 when the light source 1330 of a specific frequency or a specific frequency band emits light, the image processing apparatus 1310 acquires initial position information of the light source for tracking the position of the light source 1330. At this time, the image processing apparatus 1310 may extract the initial position information by comparing the background image data stored in advance with the image data received after the light source 1330 emits light.
  • the image processing apparatus 1310 may measure the distance between the light source 1330 and the image processing apparatus 1310 together with the initial position information of the light source 1330.
  • the distance between the light source 1330 and the image processing apparatus 1310 is calculated using the size of an area occupied by the light received in the image data, and the image processing apparatus 1310 uses the calculated distance to image the light source 1330 and the image.
  • the relative amount of movement of the light source 1330 according to the distance between the processing apparatuses 1310 is recognized, and the display apparatus 1320 may drive an application mounted thereon.
  • the image processing apparatus 1310 sets an image region corresponding to the location information of the light source 1330, and in operation S1450, the image processing apparatus 1310 generates a light source having a specific frequency or a specific frequency band from the set image region.
  • the location information of 1330 is extracted.
  • the image processing apparatus 1310 determines whether the light source 1330 is detected in the set image area. If the light source 1330 is detected, in operation S1470, the image processing apparatus 1310 performs the light source 1330. Proceed with the process using location information.
  • the process using the position information is a coordinate calculation according to the position of the light source 1330, the transfer of the position information of the light source 1330 to the main process of the display device 1320, the resetting of the image area using the position information of the light source 1330 And the like.
  • the image processing apparatus 1310 ends the tracking of the position of the light source 1330 and reinitializes the image processing apparatus 1310.

Abstract

Disclosed is an image processing device which extracts location information relative to a particular light source from image data. According to the present invention, the image processing device comprises: an image sensing module which receives light and converts the light into image data; and a data processing module which repeatedly extracts location information that changes over time relative to the light of a particular frequency or a particular frequency band from the image data received from the image sensing module. Here, according to the present invention, the image processing device minimizes the amount of data to be processed in a device that tracks the location of a light source moving within a space, and thus the computation amount is reduced remarkably whereby the processing speed and complexity of an algorithm are improved.

Description

광원의 위치를 추적하기 위해 이미지 데이터를 처리하는 장치Device that processes image data to track the position of the light source
본 발명은 이미지 데이터의 처리에 관한 것으로, 보다 구체적으로 이미지 데이터로부터 특정 광원에 대한 위치 정보를 추출하는 장치에 관한 것이다.The present invention relates to the processing of image data, and more particularly to an apparatus for extracting position information for a specific light source from the image data.
텔레비전, PC 모니터, DVD 플레이어, Set-Top box 등 많은 전자장치는 원격 컨트롤러에 의해 구동되고 있다. 이러한 원격 컨트롤러는 단순한 키 입력에 의해 채널을 선택하거나 볼륨을 제어하는 등의 고전적 방식의 단순 제어기능으로부터 벗어나, 화면 상에 자유롭게 커서를 이동하고 또한 특정 지점을 지정하여 그 지정 기준으로 선택 혹은 비선택 또는 그 지정 지점에서의 추가 서브 메뉴를 열어서 필요한 기능을 선택한다거나 하는 등의 마치 일반 컴퓨터의 마우스처럼 사용할 수 있게끔 하는 원격 포인팅 기술이 개발되고 있다. 화면상에 뿌려진 모든 문자나 그림정보가 하나의 메뉴가 되어 그 부분을 찍으면(Pointing) 이미 약속된 해당 기능을 바로 수행하는, 즉, 다이렉트 명령체계로 발전하고 있다.Many electronic devices such as televisions, PC monitors, DVD players, and set-top boxes are driven by remote controllers. These remote controllers move away from the traditional simple control functions, such as selecting a channel or controlling volume by simple keystrokes, freely moving the cursor on the screen, and selecting or deselecting specific points by specifying specific points. Or, remote pointing technologies are being developed that can be used like a regular computer mouse, such as opening additional submenus at the designated points and selecting the required functions. All texts or picture information scattered on the screen become a menu, and the part is being developed to directly perform the corresponding function that is already promised.
최근 원격 컨트롤러의 움직임을 인식하는 방법으로써 고정된 광원에서 발광하는 빛을 센싱하여 원격 컨트롤러의 상대적 위치를 메인 기기에 전달하는 방법이 개발되었으나, 이는 원격 컨트롤러에 상대적 위치를 계산하기 위한 프로세서와 이를 메인 기기에 전송하기 위한 송신 모듈이 구비되어야 하고, 지속적인 계산과 데이터 송신으로 인해 원격 컨트롤러의 전력 소모가 많았다.Recently, as a method of recognizing the movement of a remote controller, a method of sensing the light emitted from a fixed light source and transmitting the relative position of the remote controller to the main device has been developed. A transmission module for transmitting to the device had to be provided and the remote controller consumed a lot of power due to continuous calculations and data transmission.
이를 극복하기 위해, 메인 기기에서 원격 컨트롤러의 움직임을 직접 센싱하는 방법으로 광원 이미지의 크기와 광원 이미지가 이동하는 거리를 이용하여 광원의 이동량을 계산하는 방법이 개발되었으나, 이 또한 광원의 크기가 일정 크기 이상으로 인식되어야 하며 광원의 이동량을 계산함에 있어 처리해야 하는 데이터의 양이 많아 프로세서의 부담을 증가시키고 계산 속도를 저하시키는 단점이 있다.In order to overcome this problem, a method of directly sensing the movement of the remote controller in the main device has been developed to calculate the amount of movement of the light source using the size of the light source image and the distance that the light source image moves. It has to be recognized as more than the size and has a disadvantage in that the amount of data to be processed in calculating the amount of movement of the light source increases the burden on the processor and slows down the calculation speed.
본 발명의 목적은 공간 내에서 이동하는 광원의 위치를 추적하는 장치에 있어 처리해야 하는 데이터의 양을 최소화함으로써, 계산량을 획기적으로 감소시키는 이미지 처리 장치를 제공하기 위한 것이다.An object of the present invention is to provide an image processing apparatus that dramatically reduces the amount of calculation by minimizing the amount of data to be processed in an apparatus for tracking the position of a light source moving in space.
또한, 본 발명의 목적은 공간 내에서 이동하는 광원의 위치를 추적함에 있어, 광원과의 위치, 광원의 위치 정보를 획득하는 시간 간격 등을 반영하여 해당 광원의 위치를 파악하기 위한 적절한 크기의 이미지 영역을 설정함으로써 처리 속도 및 효율성을 향상시키는 이미지 처리 장치를 제공하기 위한 것이다.In addition, an object of the present invention in tracking the position of the light source moving in the space, reflecting the position of the light source, the time interval for acquiring the position information of the light source, etc. to determine the position of the light source of appropriate size It is to provide an image processing apparatus that improves processing speed and efficiency by setting an area.
본 발명의 일 측면에 따르면, 광(light)을 입력받아 이미지 데이터로 변환하는 이미지 센싱 모듈; 및 상기 이미지 센싱 모듈로부터 전달받은 상기 이미지 데이터로부터 특정 주파수 또는 특정 주파수 대역의 광에 대한 시간에 따라 변화되는 위치 정보를 반복하여 추출하는 데이터 처리 모듈을 포함하되, 상기 데이터 처리 모듈은, 상기 특정 주파수 또는 특정 주파수 대역의 광의 위치가 중심이 되도록 이미지 영역을 설정하고, 상기 이미지 영역에 대한 데이터를 처리하여 상기 특정 주파수 또는 특정 주파수 대역의 광에 대한 변화되는 위치 정보를 추출하는 것을 특징으로 하는 이미지 처리 장치가 제공된다.According to an aspect of the invention, the image sensing module for receiving the light (light) to convert the image data; And a data processing module for repeatedly extracting location information changed according to time with respect to light of a specific frequency or a specific frequency band from the image data received from the image sensing module, wherein the data processing module includes the specific frequency. Or setting an image region so that the position of the light of a specific frequency band is the center, and processing the data for the image region to extract changing position information on the light of the specific frequency or the specific frequency band. An apparatus is provided.
여기서, 상기 데이터 처리 모듈은, 상기 이미지 영역에 상응하는 배경 데이터와 상기 이미지 센싱 모듈로부터 전달받은 이미지 데이터 중 상기 이미지 영역에 상응하는 데이터를 비교하여 상기 특정 주파수 또는 특정 주파수 대역의 광에 대한 위치 정보를 추출하는 것을 특징으로 한다.Herein, the data processing module compares the background data corresponding to the image area with the data corresponding to the image area among the image data received from the image sensing module, and provides position information on light of the specific frequency or a specific frequency band. It is characterized in that the extraction.
바람직하게는, 상기 데이터 처리 모듈은, 상기 광을 방출하는 광원과의 거리에 따라 상기 특정 주파수 또는 특정 주파수 대역의 광에 대한 위치 정보를 추출하기 위한 이미지 영역의 크기를 결정하는 것을 특징으로 한다.Preferably, the data processing module is characterized in that for determining the size of the image area for extracting the position information for the light of the specific frequency or a specific frequency band according to the distance to the light source for emitting the light.
또한, 상기 데이터 처리 모듈은, 상기 이미지 데이터에서 상기 특정 주파수 또는 특정 주파수 대역의 광이 차지하는 영역의 크기를 이용하여 상기 광원과의 거리를 산출하는 것을 특징으로 한다.The data processing module may calculate a distance from the light source using a size of an area occupied by the light of the specific frequency or the specific frequency band in the image data.
이때, 상기 데이터 처리 모듈은, 상기 특정 주파수 또는 특정 주파수 대역의 광에 대한 위치 정보가 포함되지 않은 배경 이미지 데이터와 상기 이미지 센싱 모듈로부터 전달받은 이미지 데이터를 비교하여 각 특정 주파수 또는 특정 주파수 대역의 광에 대한 초기 위치 정보를 추출하는 것을 특징으로 한다.In this case, the data processing module compares the background image data, which does not include the location information of the light of the specific frequency or the specific frequency band, with the image data transmitted from the image sensing module, and compares the light of each specific frequency or the specific frequency band. And extracting initial positional information about.
또한, 상기 데이터 처리 모듈은 상기 이미지 센싱 모듈을 제어하여 상기 배경 이미지 데이터를 주기적으로 획득하며, 획득한 배경 이미지 데이터를 이용하여 미리 저장되어 있는 배경 이미지 데이터를 갱신하는 것을 특징으로 한다.The data processing module may be configured to periodically acquire the background image data by controlling the image sensing module and to update the background image data previously stored using the acquired background image data.
또한, 상기 이미지 데이터, 상기 각 광에 대한 정보, 상기 이미지 영역에 대한 정보, 상기 배경 이미지 데이터 및 상기 이미지 영역의 배경 데이터 중 적어도 하나가 저장되는 저장 모듈을 더 포함하는 것을 특징으로 한다.The electronic device may further include a storage module configured to store at least one of the image data, the information on each light, the information on the image area, the background image data, and the background data of the image area.
또한, 상기 데이터 처리 모듈은, 상기 특정 주파수 또는 특정 주파수 대역의 광에 대한 데이터가 식별되도록 상기 이미지 센싱 모듈로부터 전달되는 상기 이미지 데이터 중 상기 특정 주파수 또는 특정 주파수 대역의 광에 대한 데이터 외에는 모두 동일한 값으로 처리하여 상기 특정 주파수 또는 특정 주파수 대역의 광에 대한 정보를 추출하는 것을 특징으로 한다.The data processing module may have the same value except for data of light of the specific frequency or a specific frequency band among the image data transmitted from the image sensing module so that data regarding light of the specific frequency or a specific frequency band is identified. Processing to extract information about the light of the specific frequency or a specific frequency band.
또한, 상기 데이터 처리 모듈은, 상기 특정 주파수 또는 특정 주파수 대역의 광에 대한 위치 정보를 추출하기 위해 복수 개의 이미지 영역을 설정하는 것을 특징으로 한다.The data processing module may be configured to set a plurality of image areas to extract position information of light of the specific frequency or a specific frequency band.
한편, 본 발명에 따른 이미지 처리 장치는 광(light)을 입력받아 이미지 데이터로 변환하는 이미지 센싱 모듈; 및 상기 이미지 센싱 모듈로부터 전달받은 상기 이미지 데이터로부터 특정 주파수 또는 특정 주파수 대역의 광에 대한 시간에 따라 변화되는 위치 정보를 반복하여 추출하는 데이터 처리 모듈을 포함하되, 상기 데이터 처리 모듈은, 상기 이미지 데이터의 상기 특정 주파수 또는 특정 주파수 대역의 광에 대한 위치정보로부터 이미지 영역을 설정하고, 상기 이미지 영역에 대한 부분 데이터를 처리하여 상기 특정 주파수 또는 특정 주파수 대역의 광에 대한 변화되는 위치 정보를 추출하되, 상기 이미지 영역을 복수 개의 영역으로 설정하고, 상기 복수 개의 영역 중 일부를 반사광 획득 영역으로 설정하여, 상기 반사광 획득 영역에서 추출되는 상기 특정 주파수 또는 특정 주파수 대역의 광에 대한 정보는 반사광으로 인식하는 것을 특징으로 한다.On the other hand, the image processing apparatus according to the present invention comprises an image sensing module for receiving a light (light) to convert the image data; And a data processing module for repeatedly extracting location information changed according to time with respect to light of a specific frequency or a specific frequency band from the image data received from the image sensing module, wherein the data processing module includes the image data. The image area is set from the position information of the light of the specific frequency or the specific frequency band, and the changed position information of the light of the specific frequency or the specific frequency band is extracted by processing the partial data of the image area, The image area is set to a plurality of areas, and a part of the plurality of areas is set to a reflection light acquisition area so that the information on the light of the specific frequency or the specific frequency band extracted from the reflection light acquisition area is recognized as reflected light. It features.
한편, 본 발명에 따른 원격 포인팅 시스템은, 특정 주파수 또는 특정 주파수 대역의 광(light)을 발하는 광원; 및 상기 특정 주파수 또는 특정 주파수 대역의 광을 입력받아 이미지 데이터로 변환하고, 상기 이미지 데이터로부터 시간에 따라 변화되는 특정 주파수 또는 특정 주파수 대역의 광에 대한 위치 정보를 반복하여 추출하는 이미지 처리 장치를 포함하되, 상기 이미지 처리 장치는, 상기 특정 주파수 또는 특정 주파수 대역의 광의 위치가 중심이 되도록 이미지 영역을 설정하고, 상기 이미지 영역에 대한 데이터를 처리하여 상기 특정 주파수 또는 특정 주파수 대역의 광에 대한 변화되는 위치 정보를 추출하는 것을 특징으로 한다.On the other hand, the remote pointing system according to the present invention, a light source for emitting light of a specific frequency or a specific frequency band (light); And an image processing apparatus for receiving light of the specific frequency or a specific frequency band, converting the light into image data, and repeatedly extracting location information of light of a specific frequency or a specific frequency band that changes with time from the image data. The image processing apparatus may be configured to set an image area so that the position of the light of the specific frequency or the specific frequency band is centered, and process the data for the image area to change the light of the specific frequency or the specific frequency band. And extracting the location information.
본 발명에 따른 이미지 처리 장치는 공간 내에서 이동하는 광원의 위치를 추적하는 장치에 있어 처리해야 하는 데이터의 양을 최소화함으로써, 계산량을 획기적으로 감소시키고 이에 따라 처리 속도 및 알고리즘의 복잡도를 개선시킨다는 효과가 있다.The image processing apparatus according to the present invention minimizes the amount of data to be processed in the apparatus for tracking the position of a moving light source in space, thereby dramatically reducing the amount of computation and thus improving the processing speed and complexity of the algorithm. There is.
또한, 본 발명에 따른 이미지 처리 장치는 공간 내에서 이동하는 광원의 위치를 추적함에 있어, 광원과의 위치, 광원의 위치 정보를 획득하는 시간 간격 등을 반영하여 해당 광원의 위치를 파악하기 위한 적절한 크기의 이미지 영역을 설정함으로써 처리 속도 및 효율성을 향상시키는 효과가 있다. In addition, the image processing apparatus according to the present invention, in tracking the position of the light source moving in the space, reflects the position with the light source, the time interval for acquiring the position information of the light source, etc. Setting the image area of size has the effect of improving the processing speed and efficiency.
도 1은 본 발명의 일 실시예에 따라 광원의 움직임을 인식하기 위한 이미지 처리 장치의 구성도.1 is a block diagram of an image processing apparatus for recognizing a movement of a light source according to an embodiment of the present invention.
도 2 내지 도 6은 본 발명의 일 실시예에 따라 특정 주파수 또는 특정 주파수 대역의 광의 위치를 추적하는 방법을 설명하기 위한 그림.2 to 6 are diagrams for explaining a method for tracking the position of light of a specific frequency or a specific frequency band according to an embodiment of the present invention.
도 7 내지 도 9은 본 발명의 다른 실시예에 따라 복수 개의 광원의 위치를 추적하는 방법을 설명하기 위한 그림.7 to 9 are diagrams for explaining a method for tracking the position of a plurality of light sources according to another embodiment of the present invention.
도 10는 본 발명의 일 실시예에 따라 광원의 초기 위치를 획득하는 방법을 설명하는 그림.10 is a diagram illustrating a method of obtaining an initial position of a light source according to an embodiment of the present invention.
도 11은 본 발명의 다른 실시예에 따라 광원의 초기 위치를 획득하는 방법을 설명하는 그림.11 is a diagram illustrating a method of obtaining an initial position of a light source according to another embodiment of the present invention.
도 12는 본 발명의 또 다른 실시예에 따라 광원의 위치 정보를 추출하기 위해 복수 개의 이미지 영역을 설정하는 방법을 나타내는 그림.12 is a diagram illustrating a method of setting a plurality of image areas for extracting position information of a light source according to another embodiment of the present invention.
도 13은 본 발명에 따라 광원의 위치 정보를 이용한 원격 포인팅 시스템을 나타내는 구성도.13 is a block diagram showing a remote pointing system using the location information of the light source according to the present invention.
도 14는 본 발명의 일 실시예에 따른 원격 포인팅 시스템에서 광원의 위치를 추적하는 방법을 나타내는 흐름도.14 is a flowchart illustrating a method of tracking the position of a light source in a remote pointing system according to an embodiment of the present invention.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.As the invention allows for various changes and numerous embodiments, particular embodiments will be illustrated in the drawings and described in detail in the written description. However, this is not intended to limit the present invention to specific embodiments, it should be understood to include all transformations, equivalents, and substitutes included in the spirit and scope of the present invention. In the following description of the present invention, if it is determined that the detailed description of the related known technology may obscure the gist of the present invention, the detailed description thereof will be omitted.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. Terms such as first and second may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used herein is for the purpose of describing particular example embodiments only and is not intended to be limiting of the present invention. Singular expressions include plural expressions unless the context clearly indicates otherwise. In this application, the terms "comprise" or "have" are intended to indicate that there is a feature, number, step, operation, component, part, or combination thereof described in the specification, and one or more other features. It is to be understood that the present invention does not exclude the possibility of the presence or the addition of numbers, steps, operations, components, components, or a combination thereof.
이하, 본 발명의 실시예를 첨부한 도면들을 참조하여 상세히 설명하기로 한다. Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 일 실시예에 따라 광원의 움직임을 인식하기 위한 이미지 처리 장치의 구성도이다.1 is a block diagram of an image processing apparatus for recognizing a movement of a light source according to an embodiment of the present invention.
도 1을 참조하면, 이미지 처리 장치는 이미지 센싱 모듈(110), 데이터 처리 모듈(120) 및 인터페이스 모듈(130)을 포함한다.Referring to FIG. 1, an image processing apparatus includes an image sensing module 110, a data processing module 120, and an interface module 130.
이미지 처리 장치가 위치한 공간에는 여러 가지 주파수를 갖는 다양한 광(light)이 존재하며, 이러한 다양한 광이 모두 또는 일부가 이미지 센싱 모듈(110)로 입력된다. 여기서, 광(light)은 자외선, 가시광선, 적외선 등 인간이 인식할 수 있는 주파수 대역뿐만 아니라 인간이 인식하지 못하는 주파수 대역을 모두 포함하며, 자체적으로 발광하는 광원에 의해 생성되거나 물체에 반사되는 광을 모두 포함한다.Various lights having various frequencies exist in a space in which the image processing apparatus is located, and all or some of these various lights are input to the image sensing module 110. Here, the light includes not only a frequency band that can be recognized by human beings, such as ultraviolet rays, visible light, and infrared rays, but also a frequency band which is not recognized by humans, and is generated by a light source that emits light itself or reflected by an object. Includes all of them.
이미지 센싱 모듈(110)은 입력되는 광을 이용하여 이미지 처리 장치가 위치한 공간에 대한 이미지 데이터를 생성하며, 데이터 처리 모듈(120)은 이미지 센싱 모듈(110)로부터 이미지 데이터를 전달받아 미리 정해진 알고리즘에 따라 처리한다. 본 발명에 따르면 데이터 처리 모듈(120)은 이미지 센싱 모듈(110)로 입사되는 복수 개의 광 중에서 특정 주파수 또는 특정 주파수 대역의 광에 대한 위치 정보를 추출한다.The image sensing module 110 generates image data of the space where the image processing apparatus is located by using the input light, and the data processing module 120 receives the image data from the image sensing module 110 and applies it to a predetermined algorithm. Process accordingly. According to the present invention, the data processing module 120 extracts position information on light of a specific frequency or a specific frequency band from a plurality of lights incident to the image sensing module 110.
또한, 특정 주파수 또는 특정 주파수 대역의 광을 생성하는 광원의 위치가 시간이 흐름에 따라 계속 변하는 경우, 이미지 처리 장치(120)는 해당 광의 위치 정보를 반복하여 추출함으로써 해당 광원의 위치와 위치의 변화를 지속적으로 추적할 수 있다.In addition, when the position of a light source that generates light of a specific frequency or a specific frequency band continuously changes over time, the image processing apparatus 120 repeatedly extracts the position information of the light to change the position and position of the light source. Can be tracked continuously.
데이터 처리 모듈(120)에 의해 생성된 정보는 인터페이스 모듈(130)을 통해 이미지 처리 장치와 연동하는 다양한 장치로 전달될 수 있다. 예를 들어, 도 1을 참조하며, 데이터 처리 모듈(120)에 의해 생성된 특정 주파수 또는 특정 주파수 대역의 광에 대한 위치 정보는 인터페이스 모듈(130)을 통해 디스플레이 장치(150)의 메인 CPU(140)로 전달되며, 메인 CPU(140)는 데이터 처리 모듈(120)으로부터 전달되는 광에 대한 위치 정보를 이용하여 디스플레이 장치(150)에 표시되는 특정 이미지의 위치를 결정할 수 있다.The information generated by the data processing module 120 may be transferred to various devices interoperating with the image processing device through the interface module 130. For example, referring to FIG. 1, location information regarding light of a specific frequency or a specific frequency band generated by the data processing module 120 may be provided through the interface module 130 to the main CPU 140 of the display device 150. ), The main CPU 140 may determine the location of a specific image displayed on the display apparatus 150 using location information about light transmitted from the data processing module 120.
이미지 처리 장치가 광원의 위치를 추적함에 있어, 이미지 센싱 모듈(110) 및 데이터 처리 장치(120)은 이미지 데이터, 각 광에 대한 위치 정보, 이미지 영역의 크기 및 위치에 대한 정보, 배경 이미지 데이터, 부분 배경 데이터 등 다양한 데이터와 정보를 생성하게 되며, 이미지 처리 장치는 이러한 각종 정보와 데이터를 저장하기 위한 저장 모듈(미도시)을 더 포함할 수 있다. 저장 모듈(미도시)는 데이터 처리 장치(120)와 별도로 구비되거나 데이터 처리 장치(120)에 내장되어 하나의 모듈로 구현될 수 있음은 당연하다.In the image processing apparatus tracking the position of the light source, the image sensing module 110 and the data processing apparatus 120 may include image data, position information on each light, information on the size and position of the image region, background image data, Various data and information such as partial background data are generated, and the image processing apparatus may further include a storage module (not shown) for storing such various information and data. Of course, the storage module (not shown) may be provided separately from the data processing device 120 or embedded in the data processing device 120 to be implemented as a single module.
도 2 내지 도 6은 본 발명의 일 실시예에 따라 특정 주파수 또는 특정 주파수 대역의 광의 이동을 추적하는 방법을 설명하기 위한 그림이다.2 to 6 are diagrams for explaining a method of tracking the movement of light of a specific frequency or a specific frequency band according to an embodiment of the present invention.
본 발명의 일 실시예에 따르면, 데이터 처리 모듈(120)은 이미지 센싱 모듈(110)로부터 전달되는 이미지 데이터로부터 특정 주파수 또는 특정 주파수 대역의 광에 대한 각 위치 정보를 추출하기 위해, 특정 주파수 또는 특정 주파수 대역의 광이 존재하는 일정 크기의 이미지 영역에 상응하는 데이터를 처리한다. 즉, 데이터 처리 모듈(120)은 이동하는 광의 위치에 따라 처리해야 하는 이미지 영역을 미리 설정하고, 해당 이미지 영역에 상응하는 데이터만을 처리함으로써 원하는 주파수 또는 주파수 대역의 광에 대한 위치 정보를 추출하게 된다. 이 때, 데이터 처리 모듈(120)은 일정한 시간 간격으로 반복하여, 이미지 데이터의 특정 주파수 또는 특정 주파수 대역의 광에 대한 위치 정보로부터 이미지 영역을 설정하고, 이미지 영역에 대한 데이터를 처리하여 특정 주파수 또는 특정 주파수 대역의 광에 대한 변화되는 위치 정보를 추출함으로써, 해당 광원의 위치를 추적하는 것이 가능하다.According to an embodiment of the present invention, the data processing module 120 extracts each location information for light of a specific frequency or a specific frequency band from the image data transmitted from the image sensing module 110, or a specific frequency or a specific frequency. It processes data corresponding to an image area of a certain size in which light of a frequency band exists. That is, the data processing module 120 presets an image region to be processed according to the position of the moving light, and extracts position information on light of a desired frequency or frequency band by processing only data corresponding to the image region. . At this time, the data processing module 120 repeats at regular time intervals, sets the image area from the position information on the light of a specific frequency or a specific frequency band of the image data, and processes the data for the image area to process a specific frequency or By extracting the changing positional information for the light of a specific frequency band, it is possible to track the position of the corresponding light source.
우선, 도 2을 참조하면, 데이터 처리 모듈(120)은 특정 주파수의 광에 대한 제 1 위치 정보(200)를 획득한다. 데이터 처리 모듈(120)은 제 1 위치 정보(200)를 이용하여 데이터 처리 모듈(120)이 제 2 위치 정보를 획득하기 위해 처리해야 하는 제 1 이미지 영역을 설정한다. 도 3를 참조하면, 데이터 처리 모듈(120)은 제 1 위치 정보(200)를 이용하여 제 1 이미지 영역(300)으로 설정하게 되는데, 이 때, 제 1 이미지 영역(300)은 제 1 위치 정보(200)를 중심으로 일정 크기의 영역을 갖는다. 도 4를 참조하면, 데이터 처리 모듈(120)은 제 1 이미지 영역(300)에 상응하는 데이터를 처리하여, 추적하고 있는 광의 제 2 위치 정보(400)을 획득하였다.First, referring to FIG. 2, the data processing module 120 obtains first location information 200 for light of a specific frequency. The data processing module 120 sets the first image area to be processed by the data processing module 120 to obtain the second location information by using the first location information 200. Referring to FIG. 3, the data processing module 120 sets the first image area 300 by using the first location information 200. In this case, the first image area 300 includes the first location information. It has an area of a predetermined size around the center. Referring to FIG. 4, the data processing module 120 processes data corresponding to the first image area 300 to obtain second position information 400 of light being tracked.
여기서, 광원이 이동 가능한 거리는 데이터 처리 모듈(120)이 이미지 데이터를 처리하는 시간 간격이나 광원과의 거리 등에 따라 바뀔 수 있으며, 이미지 영역의 크기는 광원이 움직일 수 있는 거리에 따라 적절히 결정된다.Here, the distance that the light source can move may vary depending on the time interval during which the data processing module 120 processes image data, the distance to the light source, and the size of the image area is appropriately determined according to the distance that the light source can move.
광원이 움직이는 경우 해당 광원에 의해 생성되어 이미지 센싱 모듈(110)로 입사되는 광의 위치도 변경된다. 데이터 처리 모듈(120)은 특정 주파수 또는 특정 주파수 대역의 광의 위치를 추적하기 위해 미리 설정된 시간을 간격으로 반복하여 이미지 데이터를 처리한다. 도 5을 참조하면, 데이터 처리 모듈(120)은 제 2 위치 정보(400)를 이용하여 제 2 이미지 영역(500)을 설정하였다. 제 2 위치 정보(400)를 획득하는 것과 마찬가지로 데이터 처리 모듈(120)은 제 3 위치 정보를 획득하기 위해 제 2 이미지 영역(500)에 상응하는 데이터만을 처리하게 된다. 도 6을 참조하면, 데이터 처리 모듈(120)은 제 2 이미지 영역(500)에 상응하는 데이터를 이용하여 제 3 위치 정보(600)를 추출하였으며, 제 3 위치 정보(600)를 이용하여 제 3 이미지 영역(650)을 설정하였다.When the light source moves, the position of the light generated by the light source and incident on the image sensing module 110 is also changed. The data processing module 120 processes image data by repeating a predetermined time interval at a time interval to track the position of light of a specific frequency or a specific frequency band. Referring to FIG. 5, the data processing module 120 sets the second image area 500 using the second location information 400. Similar to acquiring the second position information 400, the data processing module 120 processes only data corresponding to the second image area 500 to acquire the third position information. Referring to FIG. 6, the data processing module 120 extracts the third location information 600 using data corresponding to the second image area 500, and uses the third location information 600 to display the third location information. Image area 650 has been set.
본 발명에 따르면, 데이터 처리 모듈(120)은 각 위치 정보를 획득하기 위해 이미지 데이터를 모두 처리하는 것이 아니라, 미리 설정된 각 이미지 영역에 상응하는 데이터만을 처리하게 된다. 데이터 처리 모듈(120)이 이미지 데이터를 모두 처리하지 않고 한정된 영역의 데이터만을 처리함으로써 처리해야 하는 계산량은 감소하고, 이에 따라 처리 속도는 크게 향상된다.According to the present invention, the data processing module 120 does not process all of the image data to obtain each position information, but processes only data corresponding to each preset image region. The data processing module 120 does not process all of the image data, but processes only the data of a limited area, thereby reducing the amount of computation that needs to be processed, thereby greatly improving the processing speed.
도 7 내지 도 9은 본 발명의 다른 실시예에 따라 복수 개의 광원의 위치를 추적하는 방법을 설명하기 위한 그림이다.7 to 9 are diagrams for explaining a method of tracking the positions of a plurality of light sources according to another embodiment of the present invention.
도 7을 참조하면, 데이터 처리 모듈(120)은 이미지 데이터로부터 최초 두 개의 광에 대한 위치 정보(700, 750)를 획득한다. 여기서, 두 광은 동일한 주파수의 광이거나 특정 주파수 대역 내의 서로 다른 주파수의 광일 수 있다. 도 8를 참조하면, 데이터 처리 모듈(120)은 각 위치 정보(700, 750)를 이용하여 각 광에 대한 이미지 영역(800, 850)을 설정한다. 도 9에서, 데이터 처리 모듈(120)은 각 이미지 영역(800, 850)에 상응하는 각각의 데이터를 처리함으로써 새로운 광의 위치 정보(920, 940)를 추출하였으며, 이를 중심으로 각각의 이미지 영역(960, 980)을 재설정하였다.Referring to FIG. 7, the data processing module 120 obtains location information 700 and 750 of the first two lights from the image data. Here, the two lights may be light of the same frequency or light of different frequencies within a specific frequency band. Referring to FIG. 8, the data processing module 120 sets the image areas 800 and 850 for each light using the location information 700 and 750. In FIG. 9, the data processing module 120 extracts location information 920 and 940 of new light by processing respective data corresponding to each image area 800 and 850, and based on this, each image area 960. 980).
이와 같은 방법으로 각 광에 대해 각각의 이미지 영역을 설정하고, 각 이미지 영역에 상응하는 데이터를 처리하는 과정을 반복함으로써, 복수 개의 광원의 위치를 추적하는 것도 가능함을 알 수 있다.It can be seen that it is also possible to track the positions of the plurality of light sources by repeating the process of setting each image area for each light and processing data corresponding to each image area in this manner.
도 10는 본 발명의 일 실시예에 따라 광원의 초기 위치를 획득하는 방법을 설명하는 그림이다.10 is a diagram illustrating a method of acquiring an initial position of a light source according to one embodiment of the present invention.
데이터 처리 모듈(120)이 최초 광원의 위치에 대한 정보를 획득하거나 반복하여 설정되는 이미지 영역 내에서 광원의 위치 정보를 획득함에 있어, 배경 이미지 데이터를 이용할 수 있다.The data processing module 120 may use the background image data when acquiring the position information of the light source in the image area which is acquired or repeatedly set the information on the position of the first light source.
이미지 센싱 모듈(110)은 특정 주파수 또는 특정 주파수 대역의 광원이 인식되지 않은 시점에서 특정 주파수 또는 특정 주파수 대역의 광에 대한 위치 정보가 포함되지 않은 이미지 데이터(이하, '배경 이미지 데이터'라 함)을 획득한다(도 10에서 그림 <a> 참조). 데이터 처리 모듈(120)은 이러한 배경 이미지 데이터와 특정 주파수 또는 특정 주파수 대역의 광의 존재가 인식된 후 이미지 센싱 모듈(110)로부터 전달되는 이미지 데이터(도 10에서 그림 <b> 참조)를 비교하여 특정 주파수 또는 특정 주파수 대역의 광에 대한 초기 위치 정보를 획득한다. 예를 들어, 데이터 처리 모듈(120)은 이미지 센싱 모듈로부터 전달되는 이미지 데이터를 배경 이미지 데이터와 비교하여 변경된 데이터를 추출함으로써 특정 주파수 또는 특정 주파수 대역의 광에 대한 초기 위치 정보를 추출할 수 있다.The image sensing module 110 may include image data that does not include location information on light of a specific frequency or a specific frequency band when a light source of a specific frequency or a specific frequency band is not recognized (hereinafter, referred to as 'background image data'). Is obtained (see Fig. <a> in Fig. 10). The data processing module 120 compares the background image data with the image data transmitted from the image sensing module 110 (see FIG. 10 in FIG. 10) after the presence of light of a specific frequency or a specific frequency band is recognized. Acquire initial position information for light of a frequency or a specific frequency band. For example, the data processing module 120 may extract initial position information for light of a specific frequency or a specific frequency band by extracting the changed data by comparing the image data transmitted from the image sensing module with the background image data.
여기서, 배경 이미지 데이터는 저장 모듈(미도시)에 저장되고, 데이터 처리 모듈(120)은 이미지 센싱 모듈(110)을 제어하여 배경 이미지 데이터를 주기적으로 획득하고, 획득한 배경 이미지 데이터를 이용하여 저장되어 있는 배경 이미지 데이터를 갱신한다.In this case, the background image data is stored in a storage module (not shown), and the data processing module 120 controls the image sensing module 110 to periodically acquire the background image data and store the image data using the obtained background image data. Update the background image data.
도 11은 본 발명의 다른 실시예에 따라 광원의 초기 위치를 획득하는 방법을 설명하는 그림이다.11 is a diagram for explaining a method of acquiring an initial position of a light source according to another exemplary embodiment of the present invention.
데이터 처리 모듈(120)은 특정 주파수 또는 특정 주파수 대역의 광에 대한 데이터가 식별되도록 이미지 센싱 모듈(110)로부터 전달되는 이미지 데이터를 처리함으로써, 특정 주파수 또는 특정 주파수 대역의 광에 대한 정보를 추출할 수 있다.The data processing module 120 processes image data transmitted from the image sensing module 110 so that data on light of a specific frequency or a specific frequency band is identified, thereby extracting information on light of a specific frequency or a specific frequency band. Can be.
예를 들어, 데이터 처리 장치(120)는 이미지 센싱 모듈(110)로부터 전달되는 이미지 데이터 중 특정 주파수 또는 특정 주파수 대역의 광에 대한 데이터 외에는 모두 동일한 값으로 처리하는 것이 가능하다.For example, the data processing apparatus 120 may process all of the image data transmitted from the image sensing module 110 to the same value except for data of light of a specific frequency or a specific frequency band.
도 11을 참조하면, 데이터 처리 장치(120)는 특정 주파수 또는 특정 주파수 대역의 광에 대한 데이터 외에는 모두 어두운 색으로 처리하였다(도 11에서 그림 <b> 참조).Referring to FIG. 11, the data processing apparatus 120 processes all the dark colors except for data of a light of a specific frequency or a specific frequency band (see FIG. 11B in FIG. 11).
도 10과 도 11에서 설명한 방법은 광원의 초기 위치뿐만 아니라 이동하는 광원의 위치를 추적하기 위해서 이용될 수 있다. 예를 들어, 데이터 처리 장치(120)는 이미지 영역으로부터 광의 위치를 추출하기 위해, 이미지 영역에 상응하는 배경 데이터를 이용한다. 여기서, 이미지 영역에 상응하는 배경 데이터는 이미지 영역에 상응하여 미리 저장된 배경 이미지 이거나 배경 이미지 데이터로부터 각 이미지 영역에 상응하는 추출되는 데이터, 각 이미지 영역에 상응하여 가장 최근에 획득한 이미지 데이터일 수 있다. The method described with reference to FIGS. 10 and 11 may be used to track not only the initial position of the light source but also the position of the moving light source. For example, the data processing device 120 uses background data corresponding to the image area to extract the position of the light from the image area. Here, the background data corresponding to the image area may be a background image previously stored in correspondence with the image area, or may be extracted data corresponding to each image area from the background image data, and image data most recently acquired corresponding to each image area. .
데이터 처리 모듈(120)은 이미지 영역에 상응하는 배경 데이터와 이미지 센싱 모듈로부터 전달받은 이미지 데이터 중 해당 이미지 영역에 상응하는 데이터를 비교하여 특정 주파수 또는 특정 주파수 대역의 광에 대한 위치 정보를 추출한다.The data processing module 120 compares the background data corresponding to the image area with the data corresponding to the corresponding image area among the image data received from the image sensing module, and extracts location information on light of a specific frequency or a specific frequency band.
또는 데이터 처리 장치(120)는 도 11에서와 같이 이미지 영역에 상응하는 데이터를 특정 주파수 또는 특정 주파수 대역의 광에 대한 데이터가 식별되도록 별도의 처리를 수행함으로써, 해당 이미지 영역 내에 존재하는 광원의 위치를 획득할 수 있다.Alternatively, as illustrated in FIG. 11, the data processing apparatus 120 performs separate processing of data corresponding to an image region to identify data for a light having a specific frequency or a specific frequency band, thereby positioning a light source existing in the image region. Can be obtained.
도 12는 본 발명의 또 다른 실시예에 따라 광원의 위치 정보를 추출하기 위해 복수 개의 이미지 영역을 설정하는 방법을 나타내는 그림이다.12 is a diagram illustrating a method of setting a plurality of image regions for extracting location information of a light source according to another embodiment of the present invention.
데이터 처리 장치(120)은 특정 주파수 또는 특정 주파수 대역의 광에 대한 위치 정보를 추출하기 위해 복수 개의 이미지 영역을 설정하는 것이 가능한데, 이는 복수 개의 광원의 위치를 추적하거나 하나의 광원에 의해 생성되는 반사광을 처리하기 위해 이용될 수 있다.The data processing apparatus 120 may set a plurality of image areas in order to extract position information about light of a specific frequency or a specific frequency band, which may track positions of the plurality of light sources or reflect light generated by one light source. It can be used to process.
복수 개의 광원의 위치를 추적하는 방법에 대해서는 도 10을 이용하여 설명하였다. 여기서는 복수 개의 이미지 영역을 이용하여 하나의 광원에 의해 생성되는 반사광을 잘못된 데이터로 인식시키는 방법에 대해서 설명한다.A method of tracking the positions of the plurality of light sources has been described with reference to FIG. 10. Here, a method of recognizing reflected light generated by one light source as wrong data using a plurality of image areas will be described.
하나의 광원으로부터 방출되는 광은 복수 개의 반사광을 생성시킬 수 있으며, 반사광은 광원으로부터 방출되는 광과 동일한 주파수를 갖고 있기 때문에 데이터 처리 장치(120)은 공간 내에 여러 개의 광원이 존재하는 것으로 인식할 수 있다. 데이터 처리 장치(120)은 하나의 광원에 의해 생성되는 여러 반사광이 위치할 수 있는 영역을 예상하여 반사광 획득 영역을 설정함으로써, 광원으로부터 직접 입사되는 광과 주변의 물체에 반사되어 입사되는 광을 구분할 수 있다.The light emitted from one light source may generate a plurality of reflected light, and since the reflected light has the same frequency as the light emitted from the light source, the data processing apparatus 120 may recognize that there are several light sources in the space. have. The data processing apparatus 120 sets a reflection light acquisition area in anticipation of an area in which various reflection light beams generated by one light source may be located, thereby distinguishing the light incident directly from the light source and the light reflected from the surrounding object. Can be.
도 12를 참조하면, 데이터 처리 모듈(120)은 하나의 이미지 영역(1200)의 주변에 세 개의 반사광 획득 영역(1220, 1240, 1260)을 설정하였다. 데이터 처리 모듈(120)은 이미지 영역(1200)에 포함되는 광 외에 반사광 획득 영역(1220, 1240, 1260)에서 추출되는 특정 주파수 또는 특정 주파수 대역의 광에 대한 정보는 모두 반사광으로 인식하게 된다.Referring to FIG. 12, the data processing module 120 sets three reflected light acquisition regions 1220, 1240, and 1260 around one image region 1200. The data processing module 120 recognizes all the information about the light of a specific frequency or a specific frequency band extracted from the reflected light acquisition areas 1220, 1240, and 1260 in addition to the light included in the image area 1200.
도 13은 본 발명의 일 실시예에 따라 광원의 위치 정보를 이용한 원격 포인팅 시스템을 나타내는 구성도이다.FIG. 13 is a diagram illustrating a remote pointing system using location information of a light source according to an exemplary embodiment of the present invention.
도 13을 참조하면, 이미지 처리 장치(1310)가 디스플레이 장치(1320)에 내장되어 있으며, 디스플레이 장치(1320)에는 광원의 위치 정보를 이용한 애플리케이션이 탑재되어 있다. 또한, 디스플레이 장치(1320)를 구동하기 위해 사용자에 의해 조작되는 원격 컨트롤러(1340)는 특정 주파수의 광을 방출하는 광원(1330)이 장착되어 있다. 여기서, 광원(1330)의 위치는 원격 컨트롤러(1340)의 위치에 따라 함께 이동하게 되며, 이미지 처리 장치(1310)는 이동하는 광원(1330)의 위치를 실시간으로 추적한다. 이미지 처리 장치(1310)는 특정 주파수 또는 특정 주파수 대역의 광에 대한 위치 정보로부터 이미지 영역을 설정하고, 이미지 영역에 대한 데이터를 처리하여 특정 주파수 또는 특정 주파수 대역의 광에 대한 변화되는 위치 정보를 반복하여 추출함으로써, 이동하는 광원(1330)의 위치를 추적하는 것이 가능하다.Referring to FIG. 13, an image processing device 1310 is embedded in the display device 1320, and an application using location information of a light source is mounted on the display device 1320. In addition, the remote controller 1340 operated by the user to drive the display device 1320 is equipped with a light source 1330 that emits light of a specific frequency. Here, the position of the light source 1330 moves together according to the position of the remote controller 1340, and the image processing apparatus 1310 tracks the position of the moving light source 1330 in real time. The image processing apparatus 1310 sets an image region from position information about light of a specific frequency or a specific frequency band, and processes data for the image region to repeat changing position information about light of a specific frequency or a specific frequency band. By extracting, it is possible to track the position of the moving light source 1330.
사용자의 조작에 의해 광원(1330)이 발광하게 되면, 이미지 처리 장치(1310)는 광원의 위치를 추적하기에 앞서 광을 방출하는 광원(1330)과 이미지 처리 장치(1310) 또는 디스플레이 장치(1320) 간의 거리를 측정하게 되는데, 이 때 이미지 처리 장치(1310)는 이미지 데이터 내에서 특정 주파수 또는 특정 주파수 대역의 광이 차지하는 영역의 크기를 이용하여 광원(1330)과의 거리를 산출할 수 있다. 이미지 처리 장치(1310)은 이렇게 산출된 광원(1330)과의 거리를 이용하여 이동하는 광원(1330)의 위치 정보를 추출하기 위한 이미지 영역의 크기를 결정할 수 있다.When the light source 1330 emits light by a user's manipulation, the image processing device 1310 may emit light prior to tracking the position of the light source, and the image processing device 1310 or the display device 1320. In this case, the image processing apparatus 1310 may calculate a distance from the light source 1330 using the size of an area occupied by light of a specific frequency or a specific frequency band in the image data. The image processing apparatus 1310 may determine the size of the image area for extracting location information of the moving light source 1330 using the calculated distance from the light source 1330.
도 14는 본 발명의 일 실시예에 따른 원격 포인팅 시스템에서 광원의 위치를 추적하는 방법을 나타내는 흐름도이다.14 is a flowchart illustrating a method of tracking the position of a light source in a remote pointing system according to an embodiment of the present invention.
단계 S1410에서, 이미지 처리 장치(1310)를 포함하는 디스플레이 장치(1320)에 전원이 공급되면, 디스플레이 장치(1320)은 초기화되며 내장되어 있는 이미지 처리 장치(1310)도 초기화된다. 단계 S1420에서, 이미지 처리 장치(1310)는 배경 이미지 데이터를 획득하는데, 여기서 배경 이미지 데이터는 이미지 처리 장치(1310)가 추출해야 하는 특정 주파수 또는 특정 주파수 대역의 광에 대한 정보를 포함하지 않는 이미지 데이터이다. 단계 S1430에서, 특정 주파수 또는 특정 주파수 대역의 광원(1330)이 발광하는 경우, 이미지 처리 장치(1310)는 광원(1330)의 위치를 추적하기 위한 광원의 초기 위치 정보를 획득한다. 이 때, 이미지 처리 장치(1310)는 미리 저장되어 있는 배경 이미지 데이터와 광원(1330)이 발광한 후 입력받은 이미지 데이터를 비교하여 초기 위치 정보를 추출할 수 있다. 또한 이미지 처리 장치(1310)는 광원(1330)의 초기 위치 정보와 함께 광원(1330)과 이미지 처리 장치(1310) 간의 거리를 측정할 수 있다. 광원(1330)과 이미지 처리 장치(1310) 간의 거리는 이미지 데이터 내에서 입력받은 광이 차지하는 영역의 크기를 이용하여 산출되며, 이미지 처리 장치(1310)는 산출된 거리를 이용하여 광원(1330)과 이미지 처리 장치(1310) 간의 거리에 따른 광원(1330)의 상대적인 이동량을 인식하며, 디스플레이 장치(1320)는 이를 이용하여 탑재되어 있는 애플리케이션을 구동할 수 있다.In operation S1410, when power is supplied to the display apparatus 1320 including the image processing apparatus 1310, the display apparatus 1320 is initialized and the embedded image processing apparatus 1310 is also initialized. In operation S1420, the image processing apparatus 1310 obtains background image data, where the background image data does not include information about light of a specific frequency or a specific frequency band that the image processing apparatus 1310 should extract. to be. In operation S1430, when the light source 1330 of a specific frequency or a specific frequency band emits light, the image processing apparatus 1310 acquires initial position information of the light source for tracking the position of the light source 1330. At this time, the image processing apparatus 1310 may extract the initial position information by comparing the background image data stored in advance with the image data received after the light source 1330 emits light. In addition, the image processing apparatus 1310 may measure the distance between the light source 1330 and the image processing apparatus 1310 together with the initial position information of the light source 1330. The distance between the light source 1330 and the image processing apparatus 1310 is calculated using the size of an area occupied by the light received in the image data, and the image processing apparatus 1310 uses the calculated distance to image the light source 1330 and the image. The relative amount of movement of the light source 1330 according to the distance between the processing apparatuses 1310 is recognized, and the display apparatus 1320 may drive an application mounted thereon.
단계 S1440에서, 이미지 처리 장치(1310)는 광원(1330)의 위치 정보에 상응하는 이미지 영역을 설정하고, 단계 S1450에서, 이미지 처리 장치(1310)는 설정된 이미지 영역으로부터 특정 주파수 또는 특정 주파수 대역의 광원(1330)의 위치 정보를 추출한다.In operation S1440, the image processing apparatus 1310 sets an image region corresponding to the location information of the light source 1330, and in operation S1450, the image processing apparatus 1310 generates a light source having a specific frequency or a specific frequency band from the set image region. The location information of 1330 is extracted.
단계 S1460에서, 이미지 처리 장치(1310)는 설정된 이미지 영역에서 광원(1330)이 검출되었는지 확인하게 되는데, 만약 광원(1330)이 검출되었다면, 단계 S1470에서, 이미지 처리 장치(1310)는 광원(1330)의 위치 정보를 이용한 프로세스를 진행한다. 여기서 위치 정보를 이용한 프로세스는 광원(1330)의 위치에 따른 좌표 계산, 디스플레이 장치(1320)의 메인 프로세스로 광원(1330)의 위치 정보의 전달, 광원(1330)의 위치 정보를 이용한 이미지 영역의 재설정 등을 포함한다.In operation S1460, the image processing apparatus 1310 determines whether the light source 1330 is detected in the set image area. If the light source 1330 is detected, in operation S1470, the image processing apparatus 1310 performs the light source 1330. Proceed with the process using location information. Here, the process using the position information is a coordinate calculation according to the position of the light source 1330, the transfer of the position information of the light source 1330 to the main process of the display device 1320, the resetting of the image area using the position information of the light source 1330 And the like.
만약, 단계 S1460에서 광원(1330)이 검출되지 않았다면, 이미지 처리 장치(1310)는 광원(1330)의 위치 추적을 종료하게 되며 이미지 처리 장치(1310)를 다시 초기화한다.If the light source 1330 is not detected in step S1460, the image processing apparatus 1310 ends the tracking of the position of the light source 1330 and reinitializes the image processing apparatus 1310.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.Although the above has been described with reference to a preferred embodiment of the present invention, those skilled in the art to which the present invention pertains without departing from the spirit and scope of the present invention as set forth in the claims below It will be appreciated that modifications and variations can be made.

Claims (11)

  1. 광(light)을 입력받아 이미지 데이터로 변환하는 이미지 센싱 모듈; 및An image sensing module configured to receive light and convert the light into image data; And
    상기 이미지 센싱 모듈로부터 전달받은 상기 이미지 데이터로부터 특정 주파수 또는 특정 주파수 대역의 광에 대한 시간에 따라 변화되는 위치 정보를 반복하여 추출하는 데이터 처리 모듈을 포함하되,It includes a data processing module for repeatedly extracting the location information that changes in time with respect to the light of a specific frequency or a specific frequency band from the image data received from the image sensing module,
    상기 데이터 처리 모듈은,The data processing module,
    상기 특정 주파수 또는 특정 주파수 대역의 광의 위치가 중심이 되도록 이미지 영역을 설정하고, 상기 이미지 영역에 대한 데이터를 처리하여 상기 특정 주파수 또는 특정 주파수 대역의 광에 대한 변화되는 위치 정보를 추출하는 것을 특징으로 하는 이미지 처리 장치.The image area is set so that the position of the light of the specific frequency or the specific frequency band is the center, and the changed position information of the light of the specific frequency or the specific frequency band is extracted by processing data for the image region. Image processing unit.
  2. 제 1 항에 있어서,The method of claim 1,
    상기 데이터 처리 모듈은,The data processing module,
    상기 이미지 영역에 상응하는 배경 데이터와 상기 이미지 센싱 모듈로부터 전달받은 이미지 데이터 중 상기 이미지 영역에 상응하는 데이터를 비교하여 상기 특정 주파수 또는 특정 주파수 대역의 광에 대한 위치 정보를 추출하는 것을 특징으로 하는 이미지 처리 장치.The image information may be extracted by comparing location data of light of a specific frequency or a specific frequency band by comparing the data corresponding to the image area among the background data corresponding to the image area and the image data received from the image sensing module. Processing unit.
  3. 제 1 항 또는 제 2 항에 있어서,The method according to claim 1 or 2,
    상기 데이터 처리 모듈은,The data processing module,
    상기 광을 방출하는 광원과의 거리에 따라 상기 특정 주파수 또는 특정 주파수 대역의 광에 대한 위치 정보를 추출하기 위한 이미지 영역의 크기를 결정하는 것을 특징으로 하는 이미지 처리 장치.And determining a size of an image area for extracting location information on light of the specific frequency or a specific frequency band according to a distance from the light source emitting the light.
  4. 제 3 항에 있어서,The method of claim 3, wherein
    상기 데이터 처리 모듈은,The data processing module,
    상기 이미지 데이터에서 상기 특정 주파수 또는 특정 주파수 대역의 광이 차지하는 영역의 크기를 이용하여 상기 광원과의 거리를 산출하는 것을 특징으로 하는 이미지 처리 장치.And calculating a distance from the light source by using a size of an area occupied by the light of the specific frequency or the specific frequency band in the image data.
  5. 제 1 항 또는 제 2 항에 있어서,The method according to claim 1 or 2,
    상기 데이터 처리 모듈은,The data processing module,
    상기 특정 주파수 또는 특정 주파수 대역의 광에 대한 위치 정보가 포함되지 않은 배경 이미지 데이터와 상기 이미지 센싱 모듈로부터 전달받은 이미지 데이터를 비교하여 각 특정 주파수 또는 특정 주파수 대역의 광에 대한 초기 위치 정보를 추출하는 것을 특징으로 하는 이미지 처리 장치.Comparing the background image data that does not include the position information for the light of the specific frequency or a specific frequency band and the image data received from the image sensing module to extract the initial position information for the light of each specific frequency or a specific frequency band An image processing apparatus, characterized in that.
  6. 제 5 항에 있어서,The method of claim 5,
    상기 데이터 처리 모듈은 상기 이미지 센싱 모듈을 제어하여 상기 배경 이미지 데이터를 주기적으로 획득하며, 획득한 배경 이미지 데이터를 이용하여 미리 저장되어 있는 배경 이미지 데이터를 갱신하는 것을 특징으로 하는 이미지 처리 장치.And the data processing module periodically acquires the background image data by controlling the image sensing module, and updates the background image data previously stored using the obtained background image data.
  7. 제 6 항에 있어서,The method of claim 6,
    상기 이미지 데이터, 상기 각 광에 대한 정보, 상기 이미지 영역에 대한 정보, 상기 배경 이미지 데이터 및 상기 이미지 영역의 배경 데이터 중 적어도 하나가 저장되는 저장 모듈을 더 포함하는 것을 특징으로 하는 이미지 처리 장치.And a storage module configured to store at least one of the image data, the information on each light, the information on the image region, the background image data, and the background data of the image region.
  8. 제 1 항 또는 2 항에 있어서,The method according to claim 1 or 2,
    상기 데이터 처리 모듈은,The data processing module,
    상기 특정 주파수 또는 특정 주파수 대역의 광에 대한 데이터가 식별되도록 상기 이미지 센싱 모듈로부터 전달되는 상기 이미지 데이터 중 상기 특정 주파수 또는 특정 주파수 대역의 광에 대한 데이터 외에는 모두 동일한 값으로 처리하여 상기 특정 주파수 또는 특정 주파수 대역의 광에 대한 정보를 추출하는 것을 특징으로 하는 이미지 처리 장치.All of the image data transmitted from the image sensing module so as to identify the data of the light of the specific frequency or a specific frequency band, except for the data of the light of the specific frequency or a specific frequency band, all the same value to process the specific frequency or specific Image processing apparatus for extracting information on the light of the frequency band.
  9. 제 1 항 또는 제 2 항에 있어서,The method according to claim 1 or 2,
    상기 데이터 처리 모듈은,The data processing module,
    상기 특정 주파수 또는 특정 주파수 대역의 광에 대한 위치 정보를 추출하기 위해 복수 개의 이미지 영역을 설정하는 것을 특징으로 하는 이미지 처리 장치.And a plurality of image regions for extracting positional information on light of the specific frequency or a specific frequency band.
  10. 광(light)을 입력받아 이미지 데이터로 변환하는 이미지 센싱 모듈; 및An image sensing module configured to receive light and convert the light into image data; And
    상기 이미지 센싱 모듈로부터 전달받은 상기 이미지 데이터로부터 특정 주파수 또는 특정 주파수 대역의 광에 대한 시간에 따라 변화되는 위치 정보를 반복하여 추출하는 데이터 처리 모듈을 포함하되,It includes a data processing module for repeatedly extracting the location information that changes in time with respect to the light of a specific frequency or a specific frequency band from the image data received from the image sensing module,
    상기 데이터 처리 모듈은,The data processing module,
    상기 이미지 데이터의 상기 특정 주파수 또는 특정 주파수 대역의 광에 대한 위치정보로부터 이미지 영역을 설정하고, 상기 이미지 영역에 대한 부분 데이터를 처리하여 상기 특정 주파수 또는 특정 주파수 대역의 광에 대한 변화되는 위치 정보를 추출하되,The image area is set from the position information of the light of the specific frequency or the specific frequency band of the image data, and the partial position information of the image area is processed to change the position information of the light of the specific frequency or the specific frequency band. Extract,
    상기 이미지 영역을 복수 개의 영역으로 설정하고, 상기 복수 개의 영역 중 일부를 반사광 획득 영역으로 설정하여, 상기 반사광 획득 영역에서 추출되는 상기 특정 주파수 또는 특정 주파수 대역의 광에 대한 정보는 반사광으로 인식하는 것을 특징으로 하는 이미지 처리 장치.The image area is set to a plurality of areas, and a part of the plurality of areas is set to a reflection light acquisition area so that the information on the light of the specific frequency or the specific frequency band extracted from the reflection light acquisition area is recognized as reflected light. An image processing apparatus.
  11. 특정 주파수 또는 특정 주파수 대역의 광(light)을 발하는 광원; 및A light source emitting light of a specific frequency or a specific frequency band; And
    상기 특정 주파수 또는 특정 주파수 대역의 광을 입력받아 이미지 데이터로 변환하고, 상기 이미지 데이터로부터 시간에 따라 변화되는 특정 주파수 또는 특정 주파수 대역의 광에 대한 위치 정보를 반복하여 추출하는 이미지 처리 장치를 포함하되,And an image processing apparatus for receiving light of the specific frequency or a specific frequency band, converting the light into image data, and repeatedly extracting location information of light of a specific frequency or a specific frequency band that changes with time from the image data. ,
    상기 이미지 처리 장치는,The image processing device,
    상기 특정 주파수 또는 특정 주파수 대역의 광의 위치가 중심이 되도록 이미지 영역을 설정하고, 상기 이미지 영역에 대한 데이터를 처리하여 상기 특정 주파수 또는 특정 주파수 대역의 광에 대한 변화되는 위치 정보를 추출하는 것을 특징으로 하는 원격 포인팅 시스템.The image area is set so that the position of the light of the specific frequency or the specific frequency band is the center, and the changed position information of the light of the specific frequency or the specific frequency band is extracted by processing data for the image region. Remote pointing system.
PCT/KR2011/000447 2010-03-19 2011-01-21 Apparatus for processing image data to track location of light source WO2011115364A2 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020100024615A KR101005620B1 (en) 2010-03-19 2010-03-19 An apparatus of processing image data for tracing a light source
KR10-2010-0024615 2010-03-19

Publications (2)

Publication Number Publication Date
WO2011115364A2 true WO2011115364A2 (en) 2011-09-22
WO2011115364A3 WO2011115364A3 (en) 2011-11-24

Family

ID=43615761

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2011/000447 WO2011115364A2 (en) 2010-03-19 2011-01-21 Apparatus for processing image data to track location of light source

Country Status (2)

Country Link
KR (1) KR101005620B1 (en)
WO (1) WO2011115364A2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102065281B1 (en) * 2018-12-03 2020-01-10 국민대학교산학협력단 Valve monitoring apparatus and method using optical camera communication(occ) attached to valve
KR102517597B1 (en) * 2021-08-31 2023-04-04 리모트솔루션 주식회사 Application for inputting the position coordinates of the display through light sensing

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060042704A (en) * 2004-11-10 2006-05-15 주식회사 포인칩스 Apparatus for remote pointing using image sensor and method of the same
US20060227211A1 (en) * 2005-04-06 2006-10-12 Canon Kabushiki Kaisha Method and apparatus for measuring position and orientation
US20060264259A1 (en) * 2002-07-27 2006-11-23 Zalewski Gary M System for tracking user manipulations within an environment
JP2007214867A (en) * 2006-02-09 2007-08-23 Matsushita Electric Ind Co Ltd Video display device for displaying current position of remote control
KR20090053845A (en) * 2007-08-16 2009-05-27 소니 컴퓨터 엔터테인먼트 인코포레이티드 Object detection using video input combined with tilt angle information

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060264259A1 (en) * 2002-07-27 2006-11-23 Zalewski Gary M System for tracking user manipulations within an environment
KR20060042704A (en) * 2004-11-10 2006-05-15 주식회사 포인칩스 Apparatus for remote pointing using image sensor and method of the same
US20060227211A1 (en) * 2005-04-06 2006-10-12 Canon Kabushiki Kaisha Method and apparatus for measuring position and orientation
JP2007214867A (en) * 2006-02-09 2007-08-23 Matsushita Electric Ind Co Ltd Video display device for displaying current position of remote control
KR20090053845A (en) * 2007-08-16 2009-05-27 소니 컴퓨터 엔터테인먼트 인코포레이티드 Object detection using video input combined with tilt angle information

Also Published As

Publication number Publication date
KR101005620B1 (en) 2011-01-05
WO2011115364A3 (en) 2011-11-24

Similar Documents

Publication Publication Date Title
EP2678756A1 (en) An apparatus and method for inputting command using gesture
WO2010030077A2 (en) Touch screen apparatus and method for inputting user information on a screen through context awareness
US20100207872A1 (en) Optical displacement detecting device and operating method thereof
WO2011065623A1 (en) Method of providing properties-based bim information, and system therefor
US10365723B2 (en) Keyboard device with built-in sensor and light source module
WO2018212470A1 (en) Medium selection for providing information corresponding to voice request
WO2015156539A2 (en) Computing apparatus, method for controlling computing apparatus thereof, and multi-display system
WO2013005869A1 (en) Adaptive user interface
WO2015194709A1 (en) Portable display device and method of controlling therefor
EP3867900A1 (en) System and method for multi-spoken language detection
EP3942513A1 (en) Techniques for learning effective musical features for generative and retrieval-based applications
WO2013118987A1 (en) Control method and apparatus of electronic device using control device
EP3876083A1 (en) Information processing device, information processing method, and program
WO2011115364A2 (en) Apparatus for processing image data to track location of light source
WO2019190076A1 (en) Eye tracking method and terminal for performing same
WO2023204405A1 (en) Method for recognizing non-contact gesture in display process and display device using same
WO2013154268A1 (en) Method and apparatus for recognizing key input from virtual keyboard
WO2021167312A1 (en) Touch recognition method and device having lidar sensor
EP3186956A1 (en) Display device and method of controlling therefor
WO2015137715A1 (en) Information-providing device using electronic pen, and information providing method therefor
WO2020213786A1 (en) Virtual interactive content execution system using body movement recognition
WO2020130204A1 (en) System and method for controlling multi-interface storage device
WO2023200114A1 (en) Electronic device and method for verifying open source license
WO2015137714A1 (en) Advertisement-providing device using electronic pen, and advertising method therefor
WO2014021499A1 (en) Apparatus and method for multi-touch recognition capable of discriminating touch on object

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11756495

Country of ref document: EP

Kind code of ref document: A2

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11756495

Country of ref document: EP

Kind code of ref document: A2