WO2011032238A1 - Device and method for 3d scanning - Google Patents

Device and method for 3d scanning Download PDF

Info

Publication number
WO2011032238A1
WO2011032238A1 PCT/BG2010/000012 BG2010000012W WO2011032238A1 WO 2011032238 A1 WO2011032238 A1 WO 2011032238A1 BG 2010000012 W BG2010000012 W BG 2010000012W WO 2011032238 A1 WO2011032238 A1 WO 2011032238A1
Authority
WO
WIPO (PCT)
Prior art keywords
projector
localizer
scanning
software
data
Prior art date
Application number
PCT/BG2010/000012
Other languages
French (fr)
Russian (ru)
Inventor
Юрйи РАДКОВ
Костадин ВРАНТЗАЛИЕВ
Original Assignee
Radkov Juriy
Vrantzaliev Kostadin
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Radkov Juriy, Vrantzaliev Kostadin filed Critical Radkov Juriy
Publication of WO2011032238A1 publication Critical patent/WO2011032238A1/en

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality

Definitions

  • the present invention finds application for accurate 3D scanning in the field of engineering and automotive industries, medicine, film production and the advertising industry, museum and cultural history, etc.
  • the collected 3D scanning data can be used to create a spatial (three-dimensional) model of the object, which can be used for many applications, such as reengineering, copying and editing forms, objects; measuring complex shapes and distances; inspections (comparisons) with reference digitalized objects or CAD models; renderings, animations, etc.
  • the shape of the scanned object is digitalized by measuring the spatial coordinates, and possibly the color of the set of points lying on the surfaces of the objects.
  • the currently familiar 3D scanning devices are divided into two main types: contact and non-contact.
  • Contact scanners measure points on the surface by physical contact using a contact sample, while non-contact scanners count on radiation or different types of light, X-rays, infrared light, etc., and sensors that take into account reflections from the measured object.
  • 3D scanners include spatial position-tracking devices called localizers, which take into account the spatial position and orientation of the measuring element of the scanner, the frequency of which is often several hundred times per give me a sec. Thanks to this in-house functionality, localizers provide the ability to scan from different angles and positions.
  • Bypassing the scanned object can be done by automatically or manually moving the measuring element, and combining data from the measuring object with data from the localizer results in the coordinates from the measurements in the same spatial coordinate system.
  • localizers such as mechanical horizontal and articulated (which have many rotating joints) hands, CNC machine localizers with a distant position report based on radiation or reception of an impulse, light, signal; optical localizers, electromagnetic localizers, GPS systems, etc.
  • Optical localizers include solutions for calculating the change in the position of the measuring element by monitoring on the optical principle of markers on the scanning object or its environment, or by processing images of the object or its environment, selected while the measuring element was moving from statically suspended from it or to the surrounding environment of devices for selecting images (like a video camera).
  • 3D scanners require that the distance between the measured surface of the object and the measuring element be within some boundaries (in the range), to facilitate the operator, individual indications have been developed to mark the fact to what extent the current distance is within this range.
  • These indications may be in the form of graphical information on the screen, or in the form of an audio or visual indication.
  • An example of graphical information is a display of current measurements in points in a specialized software that displays their three-dimensional values (Geomagic Studio TM - Geomagic Inc, Polyworks TM - Innovmetric Inc, KUBE TM - Metris NV).
  • ModelMaker TM of the Metris NV scanner which in addition to the laser line obtained by the intersection of the scanning laser plane with the real object and visible on it, it still emits a laser beam at an angle to the plane of the plane, which intersects with the plane at the optimum distance for scanning.
  • a laser line and a laser point are visible on the object, which are close to each other; when changing the distance to the side from the optimal, the more the distance differs from the optimal, the more the distance between the line and the point increases.
  • the 3D scanning process is usually an interactive process, when the image on the screen determines the subsequent actions of the operator, and a typical example of this is determining the path to bypass the scanned object, depending on what were successfully scanned areas at the moment.
  • the data received at the moment from the scan will be displayed on the screen in the form of 3D graphics, and in practice it turns out that the scanned parts receive the image, and the unscanned ones are missing. Based on the lack of this data, the operator decides which physical area of the object should be scanned.
  • 3D graphics provide the ability to rotate, move and enlarge an object on the screen, which allows the operator to better identify the scanned sectors.
  • the software of some systems such as the KUBE TM software of the ModelMaker TM scanning 3D system - Metris NV, allows using the localizer of the scanning system as an interactive device for manipulating the image of an object on the screen, thereby partially compensating for the aforementioned inconvenience.
  • the above types of visualization require the operator to simultaneously monitor both the scanned object and the image on the screen, meanwhile, comparing the object and the screen in order to find a match between the areas shown on the screen and corresponding areas of the real object, which requires certain skills of spatial thinking.
  • MIXED REALITY Mated Reality
  • WO 049282 describes a device for designing an existing virtual object on a corresponding physical object.
  • the proposed solution is suitable in cases of a pre-existing virtual model and a static position of the designing visualizing device.
  • the problem of using one or more static projectors is the inability to generally project onto some parts of the surface of an object, since there may be areas that are obscured by projectors.
  • US 6,764,185 discloses the design of a computer image on a real object for the purpose of interaction, and includes the use of a camera, a sensor for tilting and accelerometers, but not localizers. This patent is also limited to the use of directional arrows on the object, but not to show the degree of "overlap” and the results of actions of one scanning system. The technical essence of this invention
  • the present invention is intended to render 3D scanning results on a real object using an operator-controlled three-dimensional scanning system.
  • the main feature of this device and 3D scanning method presented in the present invention is that the obtained data from the scan receive visualization on the physical object that is being scanned.
  • the need to use a monitor or other device to visualize the scan results is reduced, and at the same time, this process depends to a lesser extent on the skills of the operator.
  • this invention provides a simplification of the process of working with 3D scanning systems.
  • the present invention is a device for scanning 3D, which consists of a 3D scanner, serviced by the operator, which includes:
  • mixed reality software for processing scan data and for generating data about the projector
  • the 3D scanner also includes at least one localizer connected to a computing device that monitors the position of the reference element predefined by the manufacturer.
  • the measuring element is connected stationary to the localizer.
  • the projector is fixedly connected to the localizer.
  • the projector is integrated into the measuring element.
  • the device also includes a second localizer that monitors the position of the manufacturer-defined reference element that is connected to the computing device.
  • the projector is fixed motionless in relation to the reference element of the second localizer.
  • the present invention also provides a 3D scanning method, which includes separate cycles when the 3D scanner takes measurements and generates scanned data, characterized in that:
  • a) software for mixed reality receives and processes scan data after a certain time interval
  • the software for mixed reality supplies the projector with a graphic image of the scan data, which is projected onto the surface of the scanned object in the form of a projection in such a way that a spatial coincidence of the scan data graphically depicted by the projection and the real surface to which they refer is obtained.
  • the method involves using the position of the projector in relation to the global coordinate system at the time of image visualization.
  • the method involves using one or more localizer positions when the projector is fixed.
  • parameters are used that were calculated in advance during the preliminary registration process, which includes searching and storing in memory the relative position of the projector with respect to the reference element of the localizer to which the projector is fixed, or in the absence thereof localizer with respect to the global coordinate system.
  • parameters generated by the preliminary calibration process which includes searching and storing the projector’s parameters in memory in accordance with the chosen mathematical model of the transformation between the three-dimensional space and the projector supplied for visualization in a two-dimensional way, are used to generate a graphic image.
  • the displayed graphic image changes often enough to preserve the visual spatial coincidence of the scan data graphically displayed by the projection and the real surface to which they relate.
  • the 3D scanning method described herein is applied through the device of the present invention.
  • Figure 4 The design scheme of the image of the scanned object through the device according to the present invention.
  • Figure 5 Positions at the approximate stages of registration and calibration of the projector.
  • Figure 6 Diagram of example 1 with a projector integrated in the measuring element.
  • localizers all devices and methods for calculating the momentary physical spatial position (position) of any object (for example, a measuring element, a projector) with respect to any other object expressed in a specific coordinate system.
  • scan data can be the entire set or subset of data accumulated during the scanning process, include information about the mode and condition of the system, as well as any other information related to the scanning process.
  • graphic we mean the presented image using color or monochrome drawing of dots, triangles, polygonal lines, geometric primitives, analytically defined mathematical surfaces and other mathematical and geometric representations of surfaces and volumes.
  • measuring elements For the purposes of the present description, contact probes and sensors reporting displays will be called measuring elements.
  • Figure 1 shows an exemplary embodiment of the invention 1 (example 1).
  • the 3D scanning device consists of a 3D scanner (100), a portable image projector (1), a computing device (computer) (6), software for mixed reality (7).
  • the 3D scanner (100) includes the following elements: one measuring element (3), one localizer (21), software for scanning (15).
  • the 3D scanner (100) is connected to the computing device (6).
  • the 3D scanner (100) must be set up so that the scanned data are aligned with respect to the space defined by the consumer - the global coordinate system (11).
  • the localizer (21) (according to the manufacturer’s design) monitors the position of the reference element predefined by the manufacturer (91) and is adjusted (calibrated) in such a way as to provide the spatial position of the reference element (91) relative to the global coordinate system (11), and this spatial position we will call the position of the localizer (21).
  • the projector (1) is fixed stationary with respect to the reference element (91), and the mount can be external using the fastening elements (16), as shown in Figure 3, or by integrated mounting in the measuring element, as shown in Figure 6. Most often they achieve maximum efficiency during installation when they reach the maximum coverage of the working volumes of the projector (1) and the measuring element (3).
  • the projector (1) is connected to a computing device (6).
  • preliminary preparation of the system also includes a procedure for calculating the parameters of the projector (1) in accordance with the chosen mathematical model for representing the transformation between the three-dimensional space and the projector supplied for visualization with a two-dimensional image.
  • these parameters calibration we will call these parameters calibration; the procedure for their calculation is called calibration.
  • the simplest transformational model is the standard mathematical perspective projection, which, depending on the lenses used for the projector (1), may turn out to be a fairly accurate model.
  • There are various advanced models for the representation of cameras, with which you can more accurately model the projector (1) (camera models can also be accepted as models of projectors, since they model the same interdimensional transformations).
  • Tsai model for example, in addition to perspective projection, modeling parameters of distortion from lenses have been added.
  • the intended operating range and accuracy the limitations of calibration procedures and other factors, different transformation models can be used.
  • the 3D scanner (100) works in such a way as it would and as a standalone 3D scanning device, but in addition the scanning software (15) sends the scanning data in any of the measurement cycles or at time intervals to the mixed software reality (7).
  • An operating mode is also possible when the 3D (100) scanner does not send scan data, but the remaining components of the system operate as described below.
  • the software (7) receives directly from the localizer (21) through the means of communication or with the help of the scanning software (15) the moment position of the localizer (21).
  • Softwer (7) pre-charged the calibration and registration data of the projector.
  • Softwer (7) uses data on the moment position of the localizer and registration of the projector in order to calculate by applying spatial transformations the moment position of the projector relative to the global coordinate system (11).
  • software (7) uses data on the momentary position of the projector and calibration data on the parameters of the projector, software (7) creates a graphic image (8) that is fed to the image by the projector (1) on the surface of a real object (12) in the form of a projection (13) in such a way that for a specific of the projector's moment position, a spatial coincidence of the scan data graphically depicted by the projection (13) and the real surface (12) to which they relate is obtained.
  • Image (8) was created using geometric projection from three-dimensional in two-dimensional space, the position and orientation of which in the global coordinate system (11) coincide with the moment the spatial position of the projector (1), and the type and parameters of which coincide with those of the calibration.
  • the geometric design of spatial coordinates from the scan data from the surface (12) onto the image surface plain (8) and the subsequent reverse projection of the image (8) onto the surface (12) by the projector (1) the location in the real space of the designed virtual surface and the real surface (12).
  • Image (8) needs to be regenerated often enough so that with normal projector movement in space, projection (13) does not visibly diverge from the corresponding surface of the object (12).
  • the frequency of renewal (regeneration) of the image (8) approximately 25-30 times per second is quite sufficient.
  • data on the spatial position of the projector (1) can be used for more accurate calculations of the moment position of the projector (1) at the moment of projection image (13) by accumulating data on the movement of the projector (1 ) and extrapolating its expected position after a certain time interval, for example, after the time it takes to create an image (8). This would help to overcome the mismatch between the projection (13) due to the displacement of the projector from the time when information about its position was received until the projection was visualized (13).
  • Data on the moment speed and direction of movement of the projector (1) can also be used to determine the validity time of a given image (8), the latter can be calculated on the basis of how long it is expected that the projector (1) would be in such spatial position so that the projection (13) coincides in acceptable boundaries with the corresponding surface (12).
  • Figure 2 shows one embodiment of the device according to the present invention (example 2). It consists of a 3D scanner (100), which includes: a measuring element (3), a localizer (21) connected to the measuring element (3) and to a computing device (6) on which the scanning software (15) is installed.
  • the localizer (21) monitor the position of the reference element predefined by the manufacturer (91) and calibrated so as to provide the spatial position of the reference element (91) with respect to the global coordinate system (11).
  • the projector (1) is connected to the localizer (22), which monitors the position of the reference element predefined by the manufacturer (92). Unlike the localizer (21), which was part of the 3D scanner, the localizer (22) is an independent component that is separate from the 3D scanner.
  • the localizer (22) is connected to a computing device (6), on which the software for mixed reality (7) is installed. Computing device (6) may consist of one or more computers.
  • the projector (1) is fixed motionless with respect to the reference element (92) of the localizer (22).
  • the projector (1) must be registered in space with respect to the localizer (22) in such a way that with the localizer (22) the spatial position of the projector (1) with respect to the global system coordinates (11) could be determined at any time.
  • the preliminary preparation of the system also includes groove calibration of the projector, as described below.
  • FIG. 2 works in the same way as the device in Figure 1, with one exception.
  • a localizer (22) is used, which is an independent component selected from the 3D scanner.
  • Figure 5 shows an example calibration and recording method based on the use of a conventional perspective projection for a transformation model.
  • a calibration plane (41) is used, on which there are engraved parallel rectangles (42) with aspect ratios corresponding to the proportions of the projector image (e.g. 4: 3 or 16: 9).
  • the vertices of the rectangles (42) are measured using a 3D scanner (100), so as to obtain their coordinates in the global coordinate system (11).
  • the measurements are carried out in a specific order with respect to the size of the rectangles (42) (for example, first smaller, then larger) and in relation to direction indications (e.g. lower left corner, lower right corner, upper right corner, upper left corner).
  • the projector (1) is turned on in the image mode of an image containing a rectangle with image dimensions and direction indications similar to those drawn on the calibration plane and parallel to the sides of the image.
  • the projector (1) the operator positions so that the projection of the image on the calibration plane (41) coincides with one of the rectangles engraved in the calibration plane (42), and make sure that the indication of directions coincide (position 1).
  • the coincidence of the direction indications guarantees the correct creation of a correspondence between the vertices of the image rectangles and the rectangles (42) of the calibration plain plane (41). If the rectangle of the image projection coincides with one of the rectangles (42) of the calibration plane (41), they take the position of the localizer (21) - position 1, after which the operator positions the projector (1), respectively, the projection onto the other of the rectangles (42) (bypassing the rectangles (42) follows a predefined order) and again, when the coincidence of the rectangle of the image with the rectangle of the calibration plane (41) is reached, the position of the localizer (21) is taken - position 2.
  • the data selected in this way were obtained with the orthogonal position of the projection direction to the calibration plane (41), and they provide a method for calculating the perspective projection (calibration) angle and spatial position (registration) of the projector (1) with respect to the reference element of the localizer (21).
  • position 1 is basic, and only the coordinates with respect to the reference element of the localizer (21) in this position will be called the basic coordinates.
  • the vertices of the rectangles (42) of the calibration plane (41) are transformed from global to base coordinates.
  • the displacement (translation) between position 1 and position 2 is calculated, and translation of the same magnitude in the direction coinciding with the design direction is applied to the base coordinates of the vertices of the second of the rectangles (42) (the design direction is orthogonal for the calibration plane (41), and the two-valued directions are decided by using vertex traversal order).
  • the basic coordinates of the vertices of the rectangles (42) lie on the pyramid, the vertex of which is the center of the perspective projection of the projector (1), and whose sides determine the projection volume, and, accordingly, the projection angle.
  • the registration and calibration option proposed in this way is one of the possible solutions; many others could facilitate the practical implementation of the procedure and / or improve the accuracy of registration and calibration calculations. It is possible to develop registration and calibration procedures in which the number of measurements is not limited to only two, but a larger number of positions are measured. If there are more measurements, it is possible to use optimizing methods to minimize errors. Reference _ registration and calibration can be limited not only to plain-planar rectangles, but other objects can also be used. In practice, tricks are also familiar when the designed images can be measured using other devices (for example, cameras or video cameras), and thanks to image processing methods, coordinates can be determined in the necessary reference coordinate system.
  • the device which consists of a 3D scanner, using an articulated arm with a linear laser measuring element (MCA TM with ModelMaker TM - Metris NV) and a projector (MProl 10 TM - ⁇ ) mounted externally on the arm is shown in Figure 3.
  • the device which consists of a 3D scanner with remote position reporting and a linear laser measuring element (HandyScan TM - Creaform Inc.) and with an integrated projector (PicoP Display Engine TM - Microvision), is shown in Figure 7.
  • the device which consists of a 3D scanner with an optical localizer and a linear laser measuring element (K-Scan MMD - Metris NV) and a portable projector (MProl lO TM - ⁇ ) on a separate optical localizer, is shown in Figure 8.
  • K-Scan MMD - Metris NV linear laser measuring element
  • MProl lO TM - ⁇ portable projector
  • the collected 3D scanning data can be used to create a spatial (three-dimensional) model of the object, which can be used for many applications, such as re-engineering, copying and editing the shape of objects; measuring complex shapes and distances; inspections (comparisons) with reference digitalized objects or CAD models; for visualization, animation, etc.
  • the presented invention allows for interactive 3D scanning to depict current results physically on the surface of the scanned object for which this information relates, and this image is used by the operator to determine how to continue the scanning process.
  • This invention solves to a large extent the problem of the need for the operator to mentally find the three-dimensional graphic data on the screen (VDU) and the surfaces of the object itself.
  • the operator can direct the projector to each surface of interest, which is an alternative to rotating or moving the scanned image on the screen.
  • the presented technical solution is an alternative for screens for heads (HMDs) that limit the visibility of the real situation and / or have insufficient resolution for 3D scanning purposes.
  • An application example is the instantaneous visualization of scanned points from the surface of an object onto a scanned surface, and thus the operator is provided with unambiguous information regarding the success of the scan.
  • a suitably mounted projector relative to the range of the 3D measuring element, it is possible to overlap the working volumes of the projector and the measuring element, so that simultaneously with the scan, you can also project the data that will be received onto the physical area that is being scanned.
  • Another example of the application of this invention is an instant inspection (check) of deviations of a physical object from its expected shape given by its standard (e.g., CAD model). Thanks to software solutions offered by the manufacturers of scanners or software for 3D scanners themselves, the 3D scanner can work in a mode in which it is possible to calculate the deviation of the measured points from their expected position in the standard. Based on this deviation, positive or negative, information can be presented in colors (for example, red means a positive deviation from an object outside tolerances, green means within certain tolerances, blue a negative deviation from an object outside tolerances). The device of the present invention makes it possible to instantly display this color information on the object itself. Description of symbols used
  • the reference element of the localizer 21 is the reference element of the localizer 21

Abstract

This invention is designed to visualize on a real object results from 3D scanning. The device consists of a 3D scanner manipulated by operator which includes computing device, at least one measuring element and scanning software and includes portable projector for visualizing the scan data on the physical object; and mixed reality software for scan data processing and data generation for the projector. The method includes separate cycles in which the 3D scanner measures and generates scan data, the mixed reality software receives and processes scan data at certain periods of time, while at another period of time the mixed reality software sends to the projector a graphical image of the scan data which is then projected on the surface of the object being scanned so as to obtain a spatial match of the scan data displayed graphically by the projector and the actual surface such data are referring to.я

Description

Устройство и метод сканирования 3D  3D scanning device and method
Описание Область техники Description Technical field
Настоящее изобретение находит применение для точного сканирования 3D в области машиностроительной и автомобильной промышленности, медицины, кинопроизводства и рекламной индустрии, музейного и культурно-исторического дела, и т.д. Собранные данные сканирования 3D можно использовать для создания пространственной (трехмерной) модели объекта, которую можно использовать для множества приложений, как ре- инжиниринг, копирование и редактирование формы, объектов; измерения сложных форм и расстояний; инспекции (сопоставления) с эталонными дигитализированными объектами или CAD моделями; визуализации, анимации, и т.д.  The present invention finds application for accurate 3D scanning in the field of engineering and automotive industries, medicine, film production and the advertising industry, museum and cultural history, etc. The collected 3D scanning data can be used to create a spatial (three-dimensional) model of the object, which can be used for many applications, such as reengineering, copying and editing forms, objects; measuring complex shapes and distances; inspections (comparisons) with reference digitalized objects or CAD models; renderings, animations, etc.
Предшествующее состояние техники Prior art
При сканировании 3D форма отсканированного объекта проходит дигитализацию путем измерения пространственных координат, и возможно, цвета множества точек, лежащих на поверхностях объектов. Знакомые нам на настоящий момент сканирующие 3D устройства разделяют на два основных вида: контактные и бесконтактные. Контактные сканеры измеряют точки на поверхности путем физического соприкосновения с использованием контактной пробы, между тем, как бесконтактные рассчитывают на излучение или на разные виды света, рентгеновских лучей, инфракрасного света и т.д., и на сенсоры, которые учитывают отражения с измеряемого объекта.  When scanning 3D, the shape of the scanned object is digitalized by measuring the spatial coordinates, and possibly the color of the set of points lying on the surfaces of the objects. The currently familiar 3D scanning devices are divided into two main types: contact and non-contact. Contact scanners measure points on the surface by physical contact using a contact sample, while non-contact scanners count on radiation or different types of light, X-rays, infrared light, etc., and sensors that take into account reflections from the measured object.
Часто сканеры 3D включают прослеживающие пространственную позицию устройства, называемые локалайзерами, с помощью которых учитывают пространственное положение и ориентацию измеряющего элемента сканера, частота которого очень часто бывает несколько сот раз в секунду. Благодаря такой собственной функциональности локалайзеры предоставляют возможность сканирования с разных углов и позиций. Often 3D scanners include spatial position-tracking devices called localizers, which take into account the spatial position and orientation of the measuring element of the scanner, the frequency of which is often several hundred times per give me a sec. Thanks to this in-house functionality, localizers provide the ability to scan from different angles and positions.
Обход сканированного объекта может быть осуществлен путем автоматического или ручного перемещения измеряющего элемента, причем комбинирование данных от измеряющего объекта с данными от локалайзера приводит к получению координат от измерений в одной и той же пространственной системе координат. Существуют разные виды локалайзеров, как например, механические горизонтальные и артикулированные (у которых множество вращающихся суставов) руки, CNC машинные локалайзеры с отдаленным отчетом позиции на базе излучения или приема импульса, света, сигнала; оптические локалайзеры, электромагнитные локалайзеры, GPS системы, и т.д. К оптическим локалайзерам можно отнести и решения расчета изменения положения измеряющего элемента путем слежки на оптическом принципе маркеров на объекте сканирования или его окружающей среде, или путем обработки изображений объекта или его окружающей среды, отобранных во время продвижения измеряющего элемента от статически подвешенных к нему или к окружающей среде устройств для отбора изображений (как видеокамера). Bypassing the scanned object can be done by automatically or manually moving the measuring element, and combining data from the measuring object with data from the localizer results in the coordinates from the measurements in the same spatial coordinate system. There are different types of localizers, such as mechanical horizontal and articulated (which have many rotating joints) hands, CNC machine localizers with a distant position report based on radiation or reception of an impulse, light, signal; optical localizers, electromagnetic localizers, GPS systems, etc. Optical localizers include solutions for calculating the change in the position of the measuring element by monitoring on the optical principle of markers on the scanning object or its environment, or by processing images of the object or its environment, selected while the measuring element was moving from statically suspended from it or to the surrounding environment of devices for selecting images (like a video camera).
Так как некоторые виды сканеров 3D требуют, чтобы расстояние между измеряемой поверхностью объекта и измеряющим элементом было в пределах каких-нибудь границ (в диапазоне), для облегчения оператора разработаны индивидуальные индикации для маркировки факта, в какой мере текущее расстояние находится в пределах этого диапазона. Эти индикации могут быть в форме графической информации на экране, или в форме звуковой или визуальной индикации. Пример графической информации - это показ получаемого в текущем порядке измерений в точках в специализированном софтуэре, изображающем их трехмерные значения (Geomagic Studio™ - Geomagic Inc, Polyworks™ - Innovmetric Inc, KUBE™ - Metris NV). Примером визуальной индикации действительности диапазона является ModelMaker™ сканера Metris NV, у которого кроме лазерной линии, полученной при пересечении сканирующей лазерной плоскости с реальным объектом и видимой на нем, он еще излучает под углом равнинной плоскости лазерный луч, который пересекается с плоскостью на оптимальном для сканирования расстоянии. В результате всего при оптимальном расстоянии между объектом и измеряющим элементом на объекте видны лазерная линия и лазерная точка, которые близки одна к другой; при изменении расстояния в сторону от оптимального, чем больше расстояние отличается от оптимального, тем более увеличивается расстояние между линией и точкой. Since some types of 3D scanners require that the distance between the measured surface of the object and the measuring element be within some boundaries (in the range), to facilitate the operator, individual indications have been developed to mark the fact to what extent the current distance is within this range. These indications may be in the form of graphical information on the screen, or in the form of an audio or visual indication. An example of graphical information is a display of current measurements in points in a specialized software that displays their three-dimensional values (Geomagic Studio ™ - Geomagic Inc, Polyworks ™ - Innovmetric Inc, KUBE ™ - Metris NV). An example of a visual indication of the validity of a range is the ModelMaker ™ of the Metris NV scanner, which in addition to the laser line obtained by the intersection of the scanning laser plane with the real object and visible on it, it still emits a laser beam at an angle to the plane of the plane, which intersects with the plane at the optimum distance for scanning. As a result, at the optimum distance between the object and the measuring element, a laser line and a laser point are visible on the object, which are close to each other; when changing the distance to the side from the optimal, the more the distance differs from the optimal, the more the distance between the line and the point increases.
Процесс сканирования 3D обычно интерактивный процесс, когда изображенное на экране определяет последующие действия оператора, причем типичный пример тому - определение пути обхода сканированного объекта в зависимости от того, какие были успешно отсканированные области на настоящий момент. Данные, полученные на настоящий момент от сканирования, будут изображены на экране в виде графики 3D, причем на практике получается так, что отсканированные части получают изображение, а неотсканированные отсутствуют. На базе отсутствия этих данных оператор решает, какую физическую область объекта нужно отсканировать. Графика 3D дает возможность вращения, перемещения и увеличения объекта на экране, что позволяет оператору лучше определить отсканированные секторы. Неудобством в случае является необходимость перерыва процесса сканирования и использование периферии компьютера (клавиатуры, мышки, джойстика, и т.д.), чтобы манипулировать трехмерную графику. Софтуэр некоторых систем, как например, софтуэр KUBE™ сканирующей 3D системы ModelMaker™ - Metris NV, позволяет использование локалайзера сканирующей системы как интерактивное устройство для манипулирования изображения объекта на экране, тем самым частично скомпенсировав упомянутое выше неудобство.  The 3D scanning process is usually an interactive process, when the image on the screen determines the subsequent actions of the operator, and a typical example of this is determining the path to bypass the scanned object, depending on what were successfully scanned areas at the moment. The data received at the moment from the scan will be displayed on the screen in the form of 3D graphics, and in practice it turns out that the scanned parts receive the image, and the unscanned ones are missing. Based on the lack of this data, the operator decides which physical area of the object should be scanned. 3D graphics provide the ability to rotate, move and enlarge an object on the screen, which allows the operator to better identify the scanned sectors. The inconvenience in the case is the need to interrupt the scanning process and use the periphery of the computer (keyboard, mouse, joystick, etc.) to manipulate three-dimensional graphics. The software of some systems, such as the KUBE ™ software of the ModelMaker ™ scanning 3D system - Metris NV, allows using the localizer of the scanning system as an interactive device for manipulating the image of an object on the screen, thereby partially compensating for the aforementioned inconvenience.
Перечисленные виды визуализации требуют, чтобы оператор одновременно следил как за сканированным объектом, так и за изображением на экране, тем временем проводя сопоставление объекта и экрана с целью поиска соответствия между показанными на экране областями и з соответствующими областями реального объекта, что требует определенных умений пространственного мышления. The above types of visualization require the operator to simultaneously monitor both the scanned object and the image on the screen, meanwhile, comparing the object and the screen in order to find a match between the areas shown on the screen and corresponding areas of the real object, which requires certain skills of spatial thinking.
Существует множество разработок для смешивания физических объектов с виртуально созданными изображениями, т.н. СМЕШАННАЯ РЕАЛЬНОСТЬ (Mixed Reality). WO 049282 описывает устройство проектирования существующего виртуального объекта на соответствующий физический объект. Предложенное решение подходит в случаях предварительно существующей виртуальной модели и статической позиции проектирующего визуализирующего устройства. Проблема использования одного или более статических проекторов - это невозможность в общем случае спроецировать на некоторые части поверхности объекта, так как возможно существование областей, которые затенены для проекторов.  There are many developments for mixing physical objects with virtually created images, the so-called MIXED REALITY (Mixed Reality). WO 049282 describes a device for designing an existing virtual object on a corresponding physical object. The proposed solution is suitable in cases of a pre-existing virtual model and a static position of the designing visualizing device. The problem of using one or more static projectors is the inability to generally project onto some parts of the surface of an object, since there may be areas that are obscured by projectors.
US 6,764,185 раскрывает проектирование компьютерного изображения на реальный объект с целью интеракции, и включает использование камеры, сенсора для наклонов и акселерометров, но не локалайзеров. Этот патент ограничен также до использования указательных стрелок на объекте, но не и для показа степени "перекрытия" и результатов действий одной системы сканирования. Техническая сущность данного изобретения  US 6,764,185 discloses the design of a computer image on a real object for the purpose of interaction, and includes the use of a camera, a sensor for tilting and accelerometers, but not localizers. This patent is also limited to the use of directional arrows on the object, but not to show the degree of "overlap" and the results of actions of one scanning system. The technical essence of this invention
Настоящее изобретение предназначено для визуализации на реальном объекте результатов сканирования 3D при использовании управляемой оператором трехмерной сканирующей системы. Основная особенность данного устройства и метода сканирования 3D представленные в настоящем изобретении, в том, что полученные данные от сканирования получают визуализацию на физическом объекте, который сканируют. Таким образом, уменьшается потребность в использовании монитора или иного устройства для визуализации результатов сканирования, и одновременно с этим данный процесс зависит в меньшей мере от умений оператора. По сути дела данное изобретение предлагает облегчение процесса работы со сканирующими системами 3D. Настоящее изобретение представляет собой устройство для сканирования 3D, которое состоит из сканера 3D, обслуживаемого оператором, который включает: The present invention is intended to render 3D scanning results on a real object using an operator-controlled three-dimensional scanning system. The main feature of this device and 3D scanning method presented in the present invention is that the obtained data from the scan receive visualization on the physical object that is being scanned. Thus, the need to use a monitor or other device to visualize the scan results is reduced, and at the same time, this process depends to a lesser extent on the skills of the operator. In fact, this invention provides a simplification of the process of working with 3D scanning systems. The present invention is a device for scanning 3D, which consists of a 3D scanner, serviced by the operator, which includes:
- не менее одного вычислительного устройства с памятью;  - at least one computing device with memory;
- не менее одного измеряющего элемента;  - at least one measuring element;
- софтуэр для сканирования,  - software for scanning,
характеризующегося тем, что включает и:  characterized in that it includes:
- портативный проектор, подключенный к вычислительному устройству, визуализирующий отсканированные данные на физическом объекте;  - a portable projector connected to a computing device that visualizes scanned data on a physical object;
- софтуэр для смешанной реальности (mixed reality software) для обработки данных сканирования и для генерирования данных о проекторе;  - software for mixed reality (mixed reality software) for processing scan data and for generating data about the projector;
В случае конкретного исполнения изобретения сканер 3D включает также не менее одного локалайзера, подключенного к вычислительному устройству, следящего за положением предефинированного изготовителем референтного элемента.  In the case of a specific embodiment of the invention, the 3D scanner also includes at least one localizer connected to a computing device that monitors the position of the reference element predefined by the manufacturer.
В случае другого конкретного исполнения данного изобретения измеряющий элемент подключен неподвижно к локалайзеру.  In the case of another specific embodiment of the present invention, the measuring element is connected stationary to the localizer.
В случае иного конкретного исполнения данного изобретения проектор связан с локалайзером неподвижно.  In the case of another specific embodiment of the present invention, the projector is fixedly connected to the localizer.
В случае иного конкретного исполнения данного изобретения проектор интегрирован в измеряющий элемент.  In the case of another specific embodiment of the present invention, the projector is integrated into the measuring element.
В случае следующего конкретного исполнения данного изобретения устройство включает и второй локалайзер, следящий за положением предефинированного изготовителем референтного элемента, который подключен к вычислительному устройству.  In the case of a further specific embodiment of the present invention, the device also includes a second localizer that monitors the position of the manufacturer-defined reference element that is connected to the computing device.
В случае иного конкретного исполнения данного изобретения проектор закреплен неподвижно по отношения к референтному элементу второго локалайзера. Настоящее изобретение представляет также и метод сканирования 3D, который включает отдельные циклы , когда сканер 3D проводит измерения и генерирует отсканированные данные, характеризующегося тем, что: In the case of another specific embodiment of the present invention, the projector is fixed motionless in relation to the reference element of the second localizer. The present invention also provides a 3D scanning method, which includes separate cycles when the 3D scanner takes measurements and generates scanned data, characterized in that:
а) софтуэр для смешанной реальности получает и обрабатывает данные сканирования через определенный интервал времени;  a) software for mixed reality receives and processes scan data after a certain time interval;
б) через иной определенный период софтуэр для смешанной реальности подает проектору графический образ данных сканирования, который проецируется на поверхность отсканированного объекта в виде проекции таким образом, что получается пространственное совпадение графически изображенных проекцией данных сканирования и реальной поверхности, к которой они относятся.  b) after another certain period of time, the software for mixed reality supplies the projector with a graphic image of the scan data, which is projected onto the surface of the scanned object in the form of a projection in such a way that a spatial coincidence of the scan data graphically depicted by the projection and the real surface to which they refer is obtained.
При одном конкретном исполнении для генерирования графического образа метод включает использование положения проектора по отношения к глобальной системе координат на момент визуализации образа.  In one particular embodiment, to generate a graphic image, the method involves using the position of the projector in relation to the global coordinate system at the time of image visualization.
При другом конкретном исполнении для определения положения проектора по отношению к глобальной системе координат метод включает использование одной или больше позиция локалайзера, когда проектор закреплен неподвижно.  In another specific embodiment, to determine the position of the projector with respect to the global coordinate system, the method involves using one or more localizer positions when the projector is fixed.
При следующем конкретном исполнении для определения положения проектора по отношению к глобальной системе координат используются параметры, рассчитанные заранее при предварительном процессе регистрации, включающем поиск и сохранение в памяти относительного положения проектора по отношению к референтному элементу локалайзера, к которому проектор закреплен неподвижно, или при отсутствии такового локалайзера по отношению к глобальной системе координат.  In the next specific design, to determine the position of the projector with respect to the global coordinate system, parameters are used that were calculated in advance during the preliminary registration process, which includes searching and storing in memory the relative position of the projector with respect to the reference element of the localizer to which the projector is fixed, or in the absence thereof localizer with respect to the global coordinate system.
При следующем конкретном исполнении для генерирования графического образа используются параметры, рассчитанные при предварительном процессе калибровки, включающем поиск и сохранение в памяти параметров проектора в соответствии с избранной математической моделью представления трансформации между трехмерным пространством и подаваемым проектором на визуализацию двухмерным образом. При следующем конкретном исполнении при перемещении проектора изображаемый графический образ меняется достаточно часто для того, чтобы сохранилось визуальное пространственное совпадение графически отображенных проекцией данных сканирования и реальной поверхности, к которой они относятся. In the next specific embodiment, parameters generated by the preliminary calibration process, which includes searching and storing the projector’s parameters in memory in accordance with the chosen mathematical model of the transformation between the three-dimensional space and the projector supplied for visualization in a two-dimensional way, are used to generate a graphic image. In the next specific embodiment, when the projector is moved, the displayed graphic image changes often enough to preserve the visual spatial coincidence of the scan data graphically displayed by the projection and the real surface to which they relate.
В частном случае, метод сканирования 3D, описанный в настоящем изложении, применяется через устройство настоящего изобретения.  In the particular case, the 3D scanning method described herein is applied through the device of the present invention.
Описание приложенных рисунков Description of attached drawings
Рисунок 1 Пример 1 изобретения.  Figure 1 Example 1 of the invention.
Рисунок 2 Пример 2 изобретения.  Figure 2 Example 2 of the invention.
Рисунок 3 Пример 1 изобретения с использованием конкретных составных элементов.  Figure 3 Example 1 of the invention using specific constituent elements.
Рисунок 4 Схема проектирования образа отсканированного объекта через устройство, согласно настоящему изобретению.  Figure 4 The design scheme of the image of the scanned object through the device according to the present invention.
Рисунок 5 Позиции на примерных этапах регистрации и калибровки проектора.  Figure 5 Positions at the approximate stages of registration and calibration of the projector.
Рисунок 6 Схема примера 1 с проектором, интегрированным в измерительный элемент.  Figure 6 Diagram of example 1 with a projector integrated in the measuring element.
Рисунок 7 Пример 1 изобретения с конкретными составными элементами, использующими локалайзер с отдаленным отчетом позиции  Figure 7 Example 1 of the invention with specific constituent elements using a localizer with a remote position report
Рисунок 8 Реализация и схема работы с устройством согласно примеру 2 с использованием конкретных составных элементов, использующих локалайзеры с отдаленным отчетом позиции.  Figure 8 Implementation and scheme of work with the device according to example 2 using specific components using localizers with a remote position report.
Рисунок 9 Схема работы с реализацией устройства согласно рисунку Figure 9 The scheme of work with the implementation of the device according to the figure
6. 6.
Примеры для выполнения  Examples for execution
Для целей настоящего описания все устройства и методы расчетов моментного физического пространственного положения (позиции) любого объекта (например, измеряющего элемента, проектора) по отношению к любому иному объекту, выраженного в определенной системе координат, будут названы локалайзерами. For the purposes of this description, all devices and methods for calculating the momentary physical spatial position (position) of any object (for example, a measuring element, a projector) with respect to any other object expressed in a specific coordinate system will be called localizers.
Для целей настоящего описания полученные в процессе сканирования пространственные измерения и/или ассоциированные с ними пространственные данные (как эталонный объект), и/или дополнительная информация, полученная с использованием данных сканирования, как например, смещение сканированной поверхности по отношению к эталонному объекту, будут названы данными сканирования. Данными сканирования может быть все множество или подмножество накопленных в процессе сканирования данных, включать информацию о режиме и состоянии системы, как и любую иную информацию, имеющую отношение к процессе сканирования.  For the purposes of the present description, spatial measurements obtained during scanning and / or spatial data associated with them (as a reference object), and / or additional information obtained using scanning data, such as the displacement of the scanned surface relative to the reference object, will be called scan data. Scan data can be the entire set or subset of data accumulated during the scanning process, include information about the mode and condition of the system, as well as any other information related to the scanning process.
Для целей настоящего описания под определением "графический" будем понимать представленный образ с помощью цветного или монохромного черчения точек, треугольников, полигональных линий, геометрических примитивов, аналитически заданных математических поверхностей и иных математических и геометрических представлений поверхностей и объемов.  For the purposes of the present description, by the definition of “graphic” we mean the presented image using color or monochrome drawing of dots, triangles, polygonal lines, geometric primitives, analytically defined mathematical surfaces and other mathematical and geometric representations of surfaces and volumes.
Для целей настоящего описания контактные пробы и сенсоры, отчитывающие отображения, будут названы измеряющими элементами.  For the purposes of the present description, contact probes and sensors reporting displays will be called measuring elements.
На рисунке 1 представлено примерное исполнение изобретения 1 (пример 1).  Figure 1 shows an exemplary embodiment of the invention 1 (example 1).
Устройство сканирования 3D состоит из сканера 3D (100), портативного проектора изображения (1), вычислительного устройства (компьютера) (6), софтуэр для смешанной реальности (7).  The 3D scanning device consists of a 3D scanner (100), a portable image projector (1), a computing device (computer) (6), software for mixed reality (7).
Сканер 3D (100) включает следующие элементы: один измеряющий элемент (3), один локалайзер (21), софтуэр для сканирования (15).  The 3D scanner (100) includes the following elements: one measuring element (3), one localizer (21), software for scanning (15).
Сканер 3D (100) подключен к вычислительному устройству (6).  The 3D scanner (100) is connected to the computing device (6).
Сканер 3D (100) необходимо настроить так, чтобы кординать сканированных данных были по отношению к определенному потребителем пространству - глобальной системе координат (11). Локалайзер (21) (по дизайну изготовителя) следит за положением предефинированного изготовителем референтного элемента (91) и настроен (калиброван) таким образом, чтобы предоставлять пространственное положение референтного элемента (91) относительно глобальной системы координат (11), и это пространственное положение мы будем называть позицией локалайзера (21). The 3D scanner (100) must be set up so that the scanned data are aligned with respect to the space defined by the consumer - the global coordinate system (11). The localizer (21) (according to the manufacturer’s design) monitors the position of the reference element predefined by the manufacturer (91) and is adjusted (calibrated) in such a way as to provide the spatial position of the reference element (91) relative to the global coordinate system (11), and this spatial position we will call the position of the localizer (21).
Проектор (1) закреплен неподвижно по отношению к референтному элементу (91), причем крепление может быть наружным с помощью элементов крепления (16), как показано на рисунке 3, или путем интегрированного монтажа в измеряющий элемент, как показано на рисунке 6. Чаще всего максимальной эффективности добиваются при монтаже, когда достигают максимальное покрытие рабочих объемов проектора (1) и измеряющего элемента (3).  The projector (1) is fixed stationary with respect to the reference element (91), and the mount can be external using the fastening elements (16), as shown in Figure 3, or by integrated mounting in the measuring element, as shown in Figure 6. Most often they achieve maximum efficiency during installation when they reach the maximum coverage of the working volumes of the projector (1) and the measuring element (3).
Проектор (1) связан с вычислительным устройством (6).  The projector (1) is connected to a computing device (6).
В предварительной процедуре найдено относительное положение проектора (1) по отношению к референтному элементу (91) локалайзера (21), и это относительное положение мы будем называть регистрацией, а процедуру по ее поиску - регистрирование.  In the preliminary procedure, the relative position of the projector (1) with respect to the reference element (91) of the localizer (21) was found, and we will call this relative position registration, and the procedure for its search is registration.
Кроме процедуры по поиску регистрации, предварительная подготовка системы включает также процедуру расчета параметров проектора (1) в соответствии с избранной математической моделью представления трансформации между трехмерным пространством и подаваемым проектором на визуализацию двухмерным изображением. Эти параметры мы будем называть калибровкой, о процедуру их расчета - калиброванием. Самая простая трансформационная модель - это стандартная математическая перспективная проекция, которая, в зависимости от линз, использованных для проектора (1), может оказаться достаточно точной моделью. Существуют разные усовершенствованные модели представления фотокамер, с помощью которых можно более точно моделировать проектор (1) (модели фотокамер можно принять также моделями проекторов, так как они моделируют одни и те же межпространственные трансформации). При модели Tsai, например, кроме перспективной проекции прибавлены параметры моделирования дисторции от линз. В зависимости от использованного проектора, намеченного рабочего диапазона и точности, ограничений калибровочных процедур и иных факторов можно использовать разные трансформационные модели. In addition to the registration search procedure, preliminary preparation of the system also includes a procedure for calculating the parameters of the projector (1) in accordance with the chosen mathematical model for representing the transformation between the three-dimensional space and the projector supplied for visualization with a two-dimensional image. We will call these parameters calibration; the procedure for their calculation is called calibration. The simplest transformational model is the standard mathematical perspective projection, which, depending on the lenses used for the projector (1), may turn out to be a fairly accurate model. There are various advanced models for the representation of cameras, with which you can more accurately model the projector (1) (camera models can also be accepted as models of projectors, since they model the same interdimensional transformations). With the Tsai model, for example, in addition to perspective projection, modeling parameters of distortion from lenses have been added. Depending on the projector used, the intended operating range and accuracy, the limitations of calibration procedures and other factors, different transformation models can be used.
В режим работы устройства согласно настоящему изобретению сканер 3D (100) работает таким образом, как он работал бы и как самостоятельное сканирующее 3D устройство, но в дополнение софтуэр сканирования (15) направляет данные сканирования в любом из циклов измерения или через интервалы времени к софтуэру смешанной реальности (7). Возможен также и режим работы, когда сканер 3D (100) не направляет данные сканирования, но остальные составные элементы системы работают в соответствии с описанием ниже.  In the operating mode of the device according to the present invention, the 3D scanner (100) works in such a way as it would and as a standalone 3D scanning device, but in addition the scanning software (15) sends the scanning data in any of the measurement cycles or at time intervals to the mixed software reality (7). An operating mode is also possible when the 3D (100) scanner does not send scan data, but the remaining components of the system operate as described below.
Также через определенный интервал времени софтуэр (7) получает напрямую от локалайзера (21) через средства коммуникации или с помощью софтуэра сканирования (15) моментную позиция локалайзера (21). Софтуэр (7) предварительно зарядил данные калибровки и регистрации проектора. Софтуэр (7) использует данные о моментной позиции локалайзера и регистрации проектора, дабы рассчитать путем применения пространственных трансформаций моментное положение проектора по отношению к глобальной системе координат (11). Используя данные о моментном положении проектора и данные калибровки параметров проектора, софтуэр (7) создает графический образ (8), который подают на изображение проектором (1) на поверхность реального объекта (12) в виде проекции (13) таким образом, что для конкретного моментного положения проектора получается пространственное совпадение графически изображенных проекцией (13) данных сканирования и реальной поверхности (12), к которой они относятся.  Also, after a certain time interval, the software (7) receives directly from the localizer (21) through the means of communication or with the help of the scanning software (15) the moment position of the localizer (21). Softwer (7) pre-charged the calibration and registration data of the projector. Softwer (7) uses data on the moment position of the localizer and registration of the projector in order to calculate by applying spatial transformations the moment position of the projector relative to the global coordinate system (11). Using data on the momentary position of the projector and calibration data on the parameters of the projector, software (7) creates a graphic image (8) that is fed to the image by the projector (1) on the surface of a real object (12) in the form of a projection (13) in such a way that for a specific of the projector's moment position, a spatial coincidence of the scan data graphically depicted by the projection (13) and the real surface (12) to which they relate is obtained.
Изображение (8) создано с использованием геометрической проекции из трехмерного в двухмерном пространстве, позиция и ориентация которого в глобальной системе координат (11) совпадают с моментным ю пространственным положением проектора (1), и вид и параметры которого совпадают с теми, что по калибровке. Вследствие этого после геометрического проектирования пространственных координат от данных сканирования с поверхности (12) на равнину поверхности изображения (8) и последующего обратного проектирования образа (8) на поверхность (12) проектором (1) получается совпадение в реальном пространстве местоположения проектированной виртуальной поверхности и реальной поверхности (12). Image (8) was created using geometric projection from three-dimensional in two-dimensional space, the position and orientation of which in the global coordinate system (11) coincide with the moment the spatial position of the projector (1), and the type and parameters of which coincide with those of the calibration. As a result of this, after the geometric design of spatial coordinates from the scan data from the surface (12) onto the image surface plain (8) and the subsequent reverse projection of the image (8) onto the surface (12) by the projector (1), the location in the real space of the designed virtual surface and the real surface (12).
В результате становится возможным при определенном положении проектора (1) изобразить на реальном объекте (12) проекцию (13), визуализирующую графически данные сканирования, касающиеся конкретно покрываемой проекцией (13) области реального объекта (12).  As a result, it becomes possible at a certain position of the projector (1) to depict on a real object (12) a projection (13) that graphically visualizes scan data relating to the area of a real object (12) specifically covered by the projection (13).
Изображение (8) необходимо перегенерировать достаточно часто, таким образом, чтобы при нормальном движении проектора в пространстве проекция (13) не расходилась видимо с соответствующей ей поверхности объекта (12). Частота возобновления (перегенерирования) образа (8) примерно 25-30 раз в секунду вполне достаточна.  Image (8) needs to be regenerated often enough so that with normal projector movement in space, projection (13) does not visibly diverge from the corresponding surface of the object (12). The frequency of renewal (regeneration) of the image (8) approximately 25-30 times per second is quite sufficient.
С целью улучшения точности соответствия проекции (13) и поверхности (12), данные о пространственном положении проектора (1) можно использовать для более точных расчетов моментной позиции проектора (1) в момент изображения проекции (13) путем накопления данных о движении проектора (1) и экстраполировании его ожидаемой позиции через определенный интервал времени, например, через время, которое необходимо для создания изображения (8). Это помогло бы преодолеть несоответствие проекции (13) в связи со смещением проектора с того времени, когда получена информация об его положении, до момента визуализации проекции (13). Данные о моментной скорости и направлении передвижения проектора (1) можно также использовать для определения времени действительности данного изображения (8), причем последнее можно рассчитать на базе того, на какой период ожидается, чтобы проектор (1) находился бы в таком пространственном положении, чтобы проекция (13) совпала в приемлемых границах с соответствующей поверхностью (12). In order to improve the accuracy of the correspondence between projection (13) and surface (12), data on the spatial position of the projector (1) can be used for more accurate calculations of the moment position of the projector (1) at the moment of projection image (13) by accumulating data on the movement of the projector (1 ) and extrapolating its expected position after a certain time interval, for example, after the time it takes to create an image (8). This would help to overcome the mismatch between the projection (13) due to the displacement of the projector from the time when information about its position was received until the projection was visualized (13). Data on the moment speed and direction of movement of the projector (1) can also be used to determine the validity time of a given image (8), the latter can be calculated on the basis of how long it is expected that the projector (1) would be in such spatial position so that the projection (13) coincides in acceptable boundaries with the corresponding surface (12).
На рисунке 2 изображен один вариант устройства, согласно настоящему изобретению (пример 2). Оно состоит из сканера 3D (100), в который входят: измеряющий элемент (3), локалайзер (21), подключенный к измеряющему элементу (3) и к вычислительному устройству (6), на которое установлен софтуэр сканирования (15). Локалайзер (21) следи за положением предефинированного изготовителем референтного элемента (91) и калиброван таким образом, чтобы предоставлял пространственное положение референтного элемента (91) по отношению к глобальной системе координат (11).  Figure 2 shows one embodiment of the device according to the present invention (example 2). It consists of a 3D scanner (100), which includes: a measuring element (3), a localizer (21) connected to the measuring element (3) and to a computing device (6) on which the scanning software (15) is installed. The localizer (21) monitor the position of the reference element predefined by the manufacturer (91) and calibrated so as to provide the spatial position of the reference element (91) with respect to the global coordinate system (11).
Проектор (1) подключен к локалайзеру (22), который следит за положением предефинированного изготовителем референтного элемента (92). В отличие от локалайзера (21), который был частью сканера 3D, локалайзер (22) - независимый и отделенный от сканера 3D составной элемент. Локалайзер (22) подключен к вычислительному устройству (6), на которое установлен софтуэр для смешанной реальности (7). Вычислительное устройство (6) может состоять из одного или более компьютеров.  The projector (1) is connected to the localizer (22), which monitors the position of the reference element predefined by the manufacturer (92). Unlike the localizer (21), which was part of the 3D scanner, the localizer (22) is an independent component that is separate from the 3D scanner. The localizer (22) is connected to a computing device (6), on which the software for mixed reality (7) is installed. Computing device (6) may consist of one or more computers.
Проектор (1) закреплен неподвижно по отношению к референтному элементу (92) локалайзера (22).  The projector (1) is fixed motionless with respect to the reference element (92) of the localizer (22).
С помощью тех же, что и для устройства на рисунке 1, процедур проектор (1) нужно зарегистрировать в пространстве по отношению к локалайзеру (22) таким образом, чтобы с помощью локалайзера (22) пространственное положение проектора (1) по отношению к глобальной системе координат (11) можно было определить в любой момент. Кроме регистрации, предварительная подготовка системы еще паз включает и калибровку проектора, как описано ниже.  Using the same procedures as for the device in Figure 1, the projector (1) must be registered in space with respect to the localizer (22) in such a way that with the localizer (22) the spatial position of the projector (1) with respect to the global system coordinates (11) could be determined at any time. In addition to registration, the preliminary preparation of the system also includes groove calibration of the projector, as described below.
Устройство на рисунке 2 работает таким же образом, как и устройство на рисунке 1, за одним исключением. Дабы определить пространственное положение проектора (1) используется локалайзер (22), который является независимым и выделенным от сканера 3D составной элемент. На рисунке 5 представлен примерный метод калибровки и регистрации, базирующийся на использовании обычной перспективной проекции для трансформационной модели. Используется калибровочная плоскость (41), на которой имеются гравированные параллельные прямоугольники (42) с пропорциями сторон, соответствующими пропорциям изображения проектора (напр., 4:3 или 16:9). Прямоугольников (42) два - больший и меньший, их центры совпадают, и имеются обозначения индикаций направлений (напр., вверх и в сторону), которые параллельны их сторонам. Вершины прямоугольников (42) измеряют с помощью сканера 3D (100), таким образом, чтобы получить их координаты в глобальной системе координат (11). Измерения проводятся в определенном порядке в отношении величины прямоугольников (42) (например, сначала меньшего, потом - большего) и в отношении индикаций направлений (напр., нижний левый угол, нижний правый угол, верхний правый угол, верхний левый угол). Проектор (1) включают в режиме изображения образа, содержащего прямоугольник с размерами образа и индикациями направлений, аналогичными начертанным на калибровочной плоскости и параллельными сторонам образа. Проектор (1) оператор позиционирует таким образом, чтобы проекция образа на калибровочную плоскость (41) совпала с одним из гравированных в калибровочной плоскости прямоугольников (42), причем следят за тем, чтобы индикации направлений совпадали (положение 1). Совпадение индикаций направлений гарантирует правильное создания соответствия между вершинами прямоугольников образа и прямоугольников (42) калибровочной равнинной плоскости (41). При полученном совпадении прямоугольника проекции образа с одним из прямоугольников (42) калибровочной плоскости (41) принимают позицию локалайзера (21) - позиция 1, после чего оператор позиционирует проектор (1), соответственно, проекция на другой из прямоугольников (42) (обход прямоугольников (42) соблюдает предварительно заданный порядок) и снова при достигнутом совпадении прямоугольника образа с прямоугольником калибровочной плоскости (41) принимается позиция локалайзера (21) - позиция 2. Отобранные таким образом данные получены при ортогональном положении направления проектирования к калибровочной плоскости (41), и они предоставляют способ расчета угла перспективной проекции (калибровки) и пространственного положения (регистрации) проектора (1) по отношению к референтному элементу локалайзера (21). Для данной цели принимают, что позиция 1 является базовой, причем только координаты по отношению к референтному элементу локалайзера (21) в этой позиции будем называть базовыми координатами. The device in Figure 2 works in the same way as the device in Figure 1, with one exception. In order to determine the spatial position of the projector (1), a localizer (22) is used, which is an independent component selected from the 3D scanner. Figure 5 shows an example calibration and recording method based on the use of a conventional perspective projection for a transformation model. A calibration plane (41) is used, on which there are engraved parallel rectangles (42) with aspect ratios corresponding to the proportions of the projector image (e.g. 4: 3 or 16: 9). There are two rectangles (42) - larger and smaller, their centers coincide, and there are designations of direction indications (e.g., up and to the side) that are parallel to their sides. The vertices of the rectangles (42) are measured using a 3D scanner (100), so as to obtain their coordinates in the global coordinate system (11). The measurements are carried out in a specific order with respect to the size of the rectangles (42) (for example, first smaller, then larger) and in relation to direction indications (e.g. lower left corner, lower right corner, upper right corner, upper left corner). The projector (1) is turned on in the image mode of an image containing a rectangle with image dimensions and direction indications similar to those drawn on the calibration plane and parallel to the sides of the image. The projector (1), the operator positions so that the projection of the image on the calibration plane (41) coincides with one of the rectangles engraved in the calibration plane (42), and make sure that the indication of directions coincide (position 1). The coincidence of the direction indications guarantees the correct creation of a correspondence between the vertices of the image rectangles and the rectangles (42) of the calibration plain plane (41). If the rectangle of the image projection coincides with one of the rectangles (42) of the calibration plane (41), they take the position of the localizer (21) - position 1, after which the operator positions the projector (1), respectively, the projection onto the other of the rectangles (42) (bypassing the rectangles (42) follows a predefined order) and again, when the coincidence of the rectangle of the image with the rectangle of the calibration plane (41) is reached, the position of the localizer (21) is taken - position 2. The data selected in this way were obtained with the orthogonal position of the projection direction to the calibration plane (41), and they provide a method for calculating the perspective projection (calibration) angle and spatial position (registration) of the projector (1) with respect to the reference element of the localizer (21). For this purpose, it is assumed that position 1 is basic, and only the coordinates with respect to the reference element of the localizer (21) in this position will be called the basic coordinates.
Вершины прямоугольников (42) калибровочной плоскости (41) трансформируют из глобальных в базовые координаты. Производится расчет смещения (транслации) между позицией 1 и позицией 2, и к базовым координатам вершин второго из прямоугольников (42) применяют трансляцию такой же величины в направлении, совпадающем с направлением проектирования (направление проектирования является ортогональной для калибровочной плоскости (41), а двузначность направления решают путем использования порядка обхода вершин). После применения вышеупомянутых транслации базовые координаты вершин прямоугольников (42) лежат на пирамиде, вершина которой является центром перспективной проекции проектора (1), и стороны которой дефинируют объем проекции, и, соответственно, угол проекции. Расчет пирамиды является решимой тригонометрической задачей, и результаты дают регистрацию (пространственное положение пирамиды в базовых координатах = положению проектора (1) по отношению к референтному элементу локалайзера (21)) и калибровку (угол проекции для данной модели).  The vertices of the rectangles (42) of the calibration plane (41) are transformed from global to base coordinates. The displacement (translation) between position 1 and position 2 is calculated, and translation of the same magnitude in the direction coinciding with the design direction is applied to the base coordinates of the vertices of the second of the rectangles (42) (the design direction is orthogonal for the calibration plane (41), and the two-valued directions are decided by using vertex traversal order). After applying the aforementioned translations, the basic coordinates of the vertices of the rectangles (42) lie on the pyramid, the vertex of which is the center of the perspective projection of the projector (1), and whose sides determine the projection volume, and, accordingly, the projection angle. Calculation of the pyramid is a solvable trigonometric problem, and the results give registration (spatial position of the pyramid in basic coordinates = position of the projector (1) with respect to the reference element of the localizer (21)) and calibration (projection angle for this model).
Предложенный таким образом вариант регистрации и калибровки является одним из возможных решений; многие другие могли бы облегчить практическое выполнение процедуры и/или улучшить точность расчетов регистрации и калибровки. Возможно разработать процедуры регистрации и калибровки, у которых число измерений не ограничивается только двумя, а измеряют большее число позиций. Если измерений будет больше, возможно использование оптимизирующих методов минимизации ошибки. Эталон _ регистрации и калибровки можно ограничить не только до равнинно- плоскостных прямоугольников, а использовать и иные объекты. В практике также знакомы приемы, когда спроектированные изображения можно измерить и с помощью иных устройств (например, фото- или видеокамер), и благодаря методам обработки изображений определить координаты в необходимой референтной системе координат. The registration and calibration option proposed in this way is one of the possible solutions; many others could facilitate the practical implementation of the procedure and / or improve the accuracy of registration and calibration calculations. It is possible to develop registration and calibration procedures in which the number of measurements is not limited to only two, but a larger number of positions are measured. If there are more measurements, it is possible to use optimizing methods to minimize errors. Reference _ registration and calibration can be limited not only to plain-planar rectangles, but other objects can also be used. In practice, tricks are also familiar when the designed images can be measured using other devices (for example, cameras or video cameras), and thanks to image processing methods, coordinates can be determined in the necessary reference coordinate system.
Важный фактор для качества проекции у некоторых проекторов - это расстояние до объекта, на который проецируют, так как они работают в ограниченном диапазоне фокуса. У таких проекторов диапазон фокуса обычно задают путем ручного фокусирования, и при изменении фокуса необходимо еще раз рассчитать калибровку проектора, дабы актуализировать параметры модели проекции. Это требует, чтобы до калибровки настроить фокус проектора таким образом, чтобы он покрывал максимально желанный рабочий диапазон проектора, что, со своей стороны, требует, чтобы и калибровку провести в рамках того же диапазона. У проекторов, для которых возможно изменение фокусного расстояния с помощью программного обеспечения, возможно сделать разные калибровки для соответствующих диапазонов фокуса, как и ввести их автоматическое использование при изменении фокуса (подходящий диапазон фокуса можно рассчитать при создании образа для проекции). На протяжении последних лет разрабатывают проекторы, для которых фокусное расстояние не меняется (для данной цели используют не обычные световые, а лазерные источники света), и для них проблема фокусного расстояния не существует.  An important factor for the projection quality of some projectors is the distance to the projected object, since they operate in a limited focus range. For such projectors, the focus range is usually set by manual focusing, and when changing the focus, it is necessary to calculate the projector calibration again in order to update the parameters of the projection model. This requires that, prior to calibration, adjust the focus of the projector so that it covers the maximum desired working range of the projector, which, in turn, requires that calibration be carried out within the same range. For projectors for which it is possible to change the focal length using software, it is possible to make different calibrations for the corresponding focus ranges, as well as to enter their automatic use when changing the focus (a suitable focus range can be calculated when creating an image for the projection). Over the past years, projectors have been developing for which the focal length does not change (for this purpose, not ordinary light sources are used, but laser light sources), and for them the problem of focal length does not exist.
Ниже даны примеры конкретных исполнений устройства с использованием существующих составных элементов, как следует:  The following are examples of specific versions of the device using existing components, as follows:
• Устройство, которое состоит из сканера 3D, использующее, артикулированную руку с линейным лазерным измеряющим элементом (МСА™ с ModelMaker™ - Metris NV) и установленным снаружи на руке проектором (MProl 10™ - ЗМ), показано на Рисунке 3. Устройство, которое состоит из сканера 3D с отдаленны отчетом позиции и линейным лазерным измеряющим элементом (HandyScan™ - Creaform Inc.) и с интегрированным проектором (PicoP Display Engine™ - Microvision), показано на Рисунке 7. • The device, which consists of a 3D scanner, using an articulated arm with a linear laser measuring element (MCA ™ with ModelMaker ™ - Metris NV) and a projector (MProl 10 ™ - ЗМ) mounted externally on the arm is shown in Figure 3. The device, which consists of a 3D scanner with remote position reporting and a linear laser measuring element (HandyScan ™ - Creaform Inc.) and with an integrated projector (PicoP Display Engine ™ - Microvision), is shown in Figure 7.
Устройство, которое состоит из сканера 3D с оптическим локалайзером и линейным лазерным измеряющим элементом (K-Scan MMD - Metris NV) и портативным проектором (MProl lO™ - ЗМ) на отдельном оптическом локалайзере, показано на Рисунке 8. Применение данного изобретения  The device, which consists of a 3D scanner with an optical localizer and a linear laser measuring element (K-Scan MMD - Metris NV) and a portable projector (MProl lO ™ - ЗМ) on a separate optical localizer, is shown in Figure 8. Application of this invention
Собранные данные сканирования 3D можно использовать для создания пространственной (трехмерной) модели объекта, которую можно использовать для множества приложений, как ре-инжиниринг, копирование и редактирование формы объектов; измерения сложных форм и расстояний; инспекции (сопоставления) с эталонными дигитализированными объектами или CAD моделями; для визуализации, анимации, и т.д.  The collected 3D scanning data can be used to create a spatial (three-dimensional) model of the object, which can be used for many applications, such as re-engineering, copying and editing the shape of objects; measuring complex shapes and distances; inspections (comparisons) with reference digitalized objects or CAD models; for visualization, animation, etc.
Представленное изобретение позволяет при интерактивном сканировании 3D изображать текущие результаты физически на поверхности отсканированного объекта, для которой относится эта информация, и это изображение используется оператором, дабы определить, как продолжить процесс сканирования. Данное изобретение решает в немалой степени проблему необходимости для оператора находить мысленно соответствие трехмерных графических данных на экране (VDU) и поверхностей самого объекта. Оператор может направлять проектор на каждую интересующую его поверхность, что является альтернативой вращения или перемещения на экране отсканированного изображения. Предоставлена возможность непрерывного режима работы с устройство сканирования 3D и налицо видимость далее в тех случаях, когда невозможно установить экран в такой близости к оператору, чтобы видеть детали в достаточной мере. Представленное техническое решение является альтернативой для экранов для головки (HMDs), которые ограничивают видимость реальной обстановки и/или имеют недостаточную резолюцию для целей сканирования 3D. The presented invention allows for interactive 3D scanning to depict current results physically on the surface of the scanned object for which this information relates, and this image is used by the operator to determine how to continue the scanning process. This invention solves to a large extent the problem of the need for the operator to mentally find the three-dimensional graphic data on the screen (VDU) and the surfaces of the object itself. The operator can direct the projector to each surface of interest, which is an alternative to rotating or moving the scanned image on the screen. There is the possibility of continuous operation with the 3D scanning device and there is further visibility in cases where it is impossible to install the screen in such proximity to the operator in order to see the details sufficiently. The presented technical solution is an alternative for screens for heads (HMDs) that limit the visibility of the real situation and / or have insufficient resolution for 3D scanning purposes.
Пример применения - это мгновенная визуализация отсканированных точек с поверхности объекта на сканированную поверхность, и таким образом оператору предоставляется недвусмысленна информация относительно успешности сканирования. В случае подходяще установленного проектора относительно диапазона 3D измеряющего элемента можно добиться перекрытия рабочих объемов проектора и измеряющего элемента, таким образом, что одновременно с проведением сканирования можно еще и проецировать данные, которые будут получены, на физическую область, которую сканируют.  An application example is the instantaneous visualization of scanned points from the surface of an object onto a scanned surface, and thus the operator is provided with unambiguous information regarding the success of the scan. In the case of a suitably mounted projector relative to the range of the 3D measuring element, it is possible to overlap the working volumes of the projector and the measuring element, so that simultaneously with the scan, you can also project the data that will be received onto the physical area that is being scanned.
Другой пример применения данного изобретения - это мгновенная инспекция (проверка) отклонений физического объекта от его ожидаемой формы, заданной по его эталону (напр., CAD модель). Благодаря софтуэрным решениям, предлагаемым самими изготовителями сканеров или программных обеспечений для сканеров 3D, сканер 3D может работать в режиме, в котором можно вычислить отклонение измеренных точек от их ожидаемого положения в эталоне. На основе этого отклонения, положительного или отрицательного, информация можно представить в красках (например, красный цвет - положительное отклонение от объекта вне допусков, зеленый - в рамках определенных допусков, синий - отрицательное отклонение от объекта вне допусков). Устройство из настоящего изобретения дает возможность моментально изобразить данную цветную информацию на самом объекте. Описание используемых обозначений  Another example of the application of this invention is an instant inspection (check) of deviations of a physical object from its expected shape given by its standard (e.g., CAD model). Thanks to software solutions offered by the manufacturers of scanners or software for 3D scanners themselves, the 3D scanner can work in a mode in which it is possible to calculate the deviation of the measured points from their expected position in the standard. Based on this deviation, positive or negative, information can be presented in colors (for example, red means a positive deviation from an object outside tolerances, green means within certain tolerances, blue a negative deviation from an object outside tolerances). The device of the present invention makes it possible to instantly display this color information on the object itself. Description of symbols used
1 Проектор  1 Projector
3 Измеряющий элемент  3 Measuring element
6 Вычислительное устройство  6 Computing device
7 Софтуэр смешанной реальности  7 Software mixed reality
8 Графический образ, созданный софтуэром 7  8 Graphic created by software 7
11 Глобальная система координат Поверхность реального объекта 11 Global coordinate system Surface of a real object
Проекция на реальный объект  Projection on a real object
Софтуэр сканирования  Software scan
Элементы крепления проектора  Projector Mounts
Локалайзер 1  Localizer 1
Локалайзер 2  Localizer 2
Калибровочная плоскость  Calibration plane
Прямоугольники на калибровочной плоскости Rectangles on the calibration plane
Референтный элемент локалайзера 21 The reference element of the localizer 21
Референтный элемент локалайзера 22  Reference element localizer 22
3D сканер  3D scanner

Claims

Устройство и метод сканирования 3D Претензии Device and method for scanning 3D Claims
1. Устройство сканирования 3D, которое состоит из сканера 3D (100), манипулируемым оператором, в которое входит хотя бы одно вычислительное устройство (6) с памятью, хотя бы один измеряющий элемент (3) и софтуэр для сканирования (15), 1. The 3D scanning device, which consists of a 3D scanner (100), a manipulated operator, which includes at least one computing device (6) with memory, at least one measuring element (3) and software for scanning (15),
характеризующееся тем, что включает также и:  characterized in that it also includes:
- портативный проектор (1), подключенный к вычислительному устройству (6), визуализирующему отсканированные данные на физический объект (12); и  - a portable projector (1) connected to a computing device (6) that visualizes the scanned data on a physical object (12); and
- софтуэр для смешанной реальности (7) для обработки данных от сканирования и для генерирования данных и передачи их к проектору (1).  - software for mixed reality (7) for processing data from scanning and for generating data and transmitting them to the projector (1).
2. Устройство, согласно претензии 1, характеризующееся тем, что оно включает и локалайзер (21), подключенный к вычислительному устройству (6), следящий за положением предефинированного изготовителем референтного элемента (91). 2. The device, according to claim 1, characterized in that it also includes a localizer (21) connected to a computing device (6), monitoring the position of the reference element predefined by the manufacturer (91).
3. Устройство, согласно претензии 2, характеризующееся тем, что измеряющий элемент (3) закреплен неподвижно к локалайзеру (21). 3. The device, according to claim 2, characterized in that the measuring element (3) is fixed motionless to the localizer (21).
4. Устройство, согласно претензии 2 или 3, характеризующееся тем, что проектор (1) подключен неподвижно к локалайзеру (21). 4. The device, according to claim 2 or 3, characterized in that the projector (1) is connected stationary to the localizer (21).
5. Устройство, согласно претензии 3, характеризующееся тем, что проектор (1) интегрирован в измеряющий элемент (3). 5. The device, according to claim 3, characterized in that the projector (1) is integrated into the measuring element (3).
6. Устройство, согласно претензии 1, 2 или 3, характеризующееся тем, что включает и локалайзер (22), подключенный к вычислительному устройству (6), следящий за положением предефинированного изготовителем референтного элемент (92). 6. The device, according to claim 1, 2 or 3, characterized in that it includes a localizer (22) connected to the computing a device (6) that monitors the position of the manufacturer-defined reference element (92).
7. Устройство, согласно претензии 6, характеризующееся тем, что проектор (1) закреплен неподвижно по отношению к референтному элементу (92) локалайзера (22). 7. The device, according to claim 6, characterized in that the projector (1) is fixed motionless with respect to the reference element (92) of the localizer (22).
8. Метод сканирования 3D, включающий отдельные циклы, когда сканер 3D (100) проводит измерения и генерирует отсканированные данные, характеризующийся тем, что: 8. The 3D scanning method, which includes separate cycles, when the 3D (100) scanner takes measurements and generates scanned data, characterized in that:
а) софтуэр для смешанной реальности (7) получает и обрабатывает отсканированные данные через определенный интервал времени; и  a) software for mixed reality (7) receives and processes scanned data at a certain time interval; and
б) через иной определенный период софтуэр для смешанной реальности (7) подает проектору (1) графический образ отсканированных данных, который проецируется на поверхность (12) отсканированного объекта в виде проекции (13) таким образом, что получается пространственное совпадение графически изображенных проекцией (13) отсканированных данных и реальной поверхности (12), к которой они относятся.  b) after another certain period, the software for mixed reality (7) gives the projector (1) a graphic image of the scanned data, which is projected onto the surface (12) of the scanned object in the form of a projection (13) in such a way that a spatial coincidence of the graphically depicted projection (13) is obtained ) of scanned data and the real surface (12) to which they relate.
9. Метод согласно претензии 8, характеризующийся тем, что для генерирования графического образа (8) используется положение проектора (1) по отношению к глобальной системе координат (11) на момент визуализации образа. 9. The method according to claim 8, characterized in that the position of the projector (1) with respect to the global coordinate system (11) at the time of image visualization is used to generate a graphic image (8).
10. Метод согласно претензии 8 или 9, характеризующийся тем, что за для определения положения проектора (1) по отношению к глобальной системе координат (11) используются одна или больше позиций локалайзера, к которому проектор (1) закреплен неподвижно. 10. The method according to claim 8 or 9, characterized in that for determining the position of the projector (1) with respect to the global coordinate system (11), one or more localizer positions are used, to which the projector (1) is fixed.
11. Метод согласно претензии 8-10, характеризующийся тем, что для определения положения проектора (1) по отношению к глобальной системе координат (11) используются параметры, рассчитанные во время предварительного процесса регистрации, включающего поиск и сохранение в памяти относительного положения проектора (1) по отношению к референтному элементу локалайзера, к которому проектор закреплен неподвижно, или при отсутствии такого локалайзера по отношению к глобальной системе координат (11). 11. The method according to claims 8-10, characterized in that for determining the position of the projector (1) with respect to the global system of coordinates (11), parameters are used that were calculated during the preliminary registration process, including searching and storing in memory the relative position of the projector (1) with respect to the reference element of the localizer to which the projector is fixed, or in the absence of such a localizer with respect to the global coordinate system (eleven).
12. Метод согласно претензиям 8-11, характеризующийся тем, что для генерирования графического образа используются параметры, рассчитанные заранее при предварительном процессе калибровки, включающем поиск и сохранение в памяти параметров проектора (1) в соответствии с избранной математической моделью представления трансформации между трехмерным пространством и тем, что подает проектор (1) для визуализации двухмерного образа. 12. The method according to claims 8-11, characterized in that the parameters calculated in advance during the preliminary calibration process, which includes searching and storing the projector parameters (1) in memory in accordance with the selected mathematical model for representing the transformation between three-dimensional space and using the graphic image, are used by supplying the projector (1) for visualization of a two-dimensional image.
13. Метод согласно претензиям 8-12, характеризующийся тем, что при смещении проектора (1) изображаемый графический образ (8) меняется достаточно часто, чтобы сохранилось визуальное пространственное совпадение графически изображенных проекцией отсканированные данные и реальная поверхность (12), к которой они относятся. 13. The method according to claims 8-12, characterized in that when the projector is displaced (1), the displayed graphic image (8) changes often enough to preserve the visual spatial coincidence of the scanned data graphically displayed by the projection and the real surface (12) to which they relate .
14. Метод согласно претензиям 8-12, характеризующийся тем, что применяется через устройство по претензиям 1-7. 14. The method according to claims 8-12, characterized in that it is applied through the device for claims 1-7.
PCT/BG2010/000012 2009-09-17 2010-08-31 Device and method for 3d scanning WO2011032238A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
BG110471 2009-09-17
BG11047109 2009-09-17

Publications (1)

Publication Number Publication Date
WO2011032238A1 true WO2011032238A1 (en) 2011-03-24

Family

ID=43757962

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/BG2010/000012 WO2011032238A1 (en) 2009-09-17 2010-08-31 Device and method for 3d scanning

Country Status (1)

Country Link
WO (1) WO2011032238A1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020183610A1 (en) * 1994-10-07 2002-12-05 Saint Louis University And Surgical Navigation Technologies, Inc. Bone navigation system
US6639685B1 (en) * 2000-02-25 2003-10-28 General Motors Corporation Image processing method using phase-shifted fringe patterns and curve fitting
US20050017967A1 (en) * 2003-04-16 2005-01-27 Massachusetts Institute Of Technology Three dimensional tangible interface for interacting with spatial-temporal data using a laser scanner

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020183610A1 (en) * 1994-10-07 2002-12-05 Saint Louis University And Surgical Navigation Technologies, Inc. Bone navigation system
US6639685B1 (en) * 2000-02-25 2003-10-28 General Motors Corporation Image processing method using phase-shifted fringe patterns and curve fitting
US20050017967A1 (en) * 2003-04-16 2005-01-27 Massachusetts Institute Of Technology Three dimensional tangible interface for interacting with spatial-temporal data using a laser scanner

Similar Documents

Publication Publication Date Title
US10665012B2 (en) Augmented reality camera for use with 3D metrology equipment in forming 3D images from 2D camera images
JP4245963B2 (en) Method and system for calibrating multiple cameras using a calibration object
US8792709B2 (en) Transprojection of geometry data
US8081815B2 (en) Marker arrangement information measuring apparatus and method
EP2631740A2 (en) System for reproducing virtual objects
JP7300948B2 (en) Survey data processing device, survey data processing method, program for survey data processing
JP6489566B2 (en) Three-dimensional measuring apparatus and measurement support processing method thereof
JP2002092647A (en) Information presentation system and model error detection system
CN105939472B (en) Laser projection system with video overlay
CN104006825A (en) System and method for calibration of machine vision cameras along at least three discrete planes
JP5518321B2 (en) Laser radar installation position verification apparatus, laser radar installation position verification method, and laser radar installation position verification apparatus program
JP2007171092A (en) Marker for three-dimensional measurement, and three-dimensional measurement method using the same
CN111667526A (en) Method and apparatus for determining size and distance of multiple objects in an environment
US6304680B1 (en) High resolution, high accuracy process monitoring system
JP6295296B2 (en) Complex system and target marker
Borrmann et al. Spatial projection of thermal data for visual inspection
KR100733396B1 (en) Apparatus and method for three dimension measurement data acquisition
JP4429135B2 (en) Three-dimensional shape measurement system and measurement method
WO2011032238A1 (en) Device and method for 3d scanning
WO2005073669A1 (en) Semi and fully-automatic camera calibration tools using laser-based measurement devices
JP2006267026A (en) Image processing method, and image processor
Tyris et al. Interactive view planning exploiting standard machine vision in structured light scanning of engineering parts
US11941793B2 (en) Artificial intelligence based registration support for environmental scans
WO2021111613A1 (en) Three-dimensional map creation device, three-dimensional map creation method, and three-dimensional map creation program
WO2023237768A1 (en) Method of building a target structure, system and computer program therefor

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10816496

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 10816496

Country of ref document: EP

Kind code of ref document: A1