WO2015136138A1 - Panoramic viewing system with image correction in refuelling and similar operations - Google Patents

Panoramic viewing system with image correction in refuelling and similar operations Download PDF

Info

Publication number
WO2015136138A1
WO2015136138A1 PCT/ES2015/070172 ES2015070172W WO2015136138A1 WO 2015136138 A1 WO2015136138 A1 WO 2015136138A1 ES 2015070172 W ES2015070172 W ES 2015070172W WO 2015136138 A1 WO2015136138 A1 WO 2015136138A1
Authority
WO
WIPO (PCT)
Prior art keywords
lens
image
system overview
corrected image
chamber
Prior art date
Application number
PCT/ES2015/070172
Other languages
Spanish (es)
French (fr)
Inventor
Alberto Adarve Lozano
Original Assignee
Alberto Adarve Lozano
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alberto Adarve Lozano filed Critical Alberto Adarve Lozano
Publication of WO2015136138A1 publication Critical patent/WO2015136138A1/en

Links

Classifications

    • G06T5/80—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENTS OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D39/00—Refuelling during flight
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Z—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS, NOT OTHERWISE PROVIDED FOR
    • G16Z99/00—Subject matter not provided for in other main groups of this subclass
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

The invention relates to a system for obtaining a continuous image of the environment of an operation such as that of in-flight refuelling, using a camera (8) (or two in the case of a redundant system being required, since the geometry of the invention permits this), based on a vertical positioning thereof and vertical focusing towards a composite lens (7), together with electronics for adaptation of the image obtained in order to map same in a horizontal rectangle (10). The electronics also include the implementation of a superresolution algorithm and a communications system for transmitting signals carrying the image information after the image resolution has been enhanced by means of the aforesaid method, all the above being included in a mechanical structure of cylinder form (3), which allows the positioning of the elements that form part of the invention in the appropriate relative positions.

Description

SISTE'MA DE V ÓH PANORAMICA CON CORRECCIÓN DE IMAGEN EN SISTE ' MA DE V ÓH PANORAMIC WITH IMAGE CORRECTION IN
OPERACIONES DE REPOSTAJE Y SIMILARES  FILLING AND SIMILAR OPERATIONS
D E S C I P C S Ó N D E S C I P C S O N
OBJETO DE LA INVENCIÓ OBJECT OF THE INVENTION
La presente invención se refiere a un sistema de visión panorámica con corrección de imagen, previsto para la obtención de una visión continua dei entorno en, por ejemplo, operaciones de repostaje y en operaciones criticas. The present invention relates to a panoramic vision system with image correction, intended for obtaining a continuous view of the environment in, for example, refueling operations and critical operations.
Ei objeto de la invención es conseguir una reducción del número de cámaras necesarias para la visión panorámica, ai tiempo de mantener una imagen global sin discontinuidades y con posibilidad de redundancia, necesaria e tocias aquellas situaciones en ias que se pretende monitorlzar operaciones con un cierto nivel de c iticidad, todo ello en orden a facilitar la operación de supervisión. The object of the invention is to achieve a reduction in the number of cameras necessary for panoramic vision, while maintaining a global image without discontinuities and with the possibility of redundancy, necessary and all those situations in which it is intended to monitor operations with a certain level of cicality, all in order to facilitate the supervision operation.
ANTECEDENTES DE LA. INVENCIÓN BACKGROUND OF THE. INVENTION
En algunas aeronaves que realizan repostaje en vuelo, o en otros puntos con necesidades estratégicas similares, es necesario disponer de una imagen que permita obtener información de todos ios alrededores del sistema mediante el empleo de cámaras. Dichas operaciones de repostaje se pueden llevar a cabo mediante mangueras y cestas o mediante el uso de un Boom o dispositivo de suministro de combustible de alto caudal. In some aircraft that perform refueling in flight, or at other points with similar strategic needs, it is necessary to have an image that allows obtaining information on all the surroundings of the system through the use of cameras. Such refueling operations can be carried out by hoses and baskets or by using a Boom or high flow fuel supply device.
El número de aeronaves involucradas en un repostaje puede ser múltiple y las mismas pueden repostar en distintos puntos del avión tanquero Incluso al mismo tiempo. Es por lo tanto muy deseable tener una imagen generaf del escenario de ias operaciones, que puede ayudar enormemente a evitar colisiones y a coordinar dichas operaciones de una forma ordenada y controlada. The number of aircraft involved in a refueling can be multiple and they can refuel at different points of the tanker plane even at the same time. It is therefore very desirable to have a general image of the operations scenario, which can greatly help to avoid collisions and coordinate these operations in an orderly and controlled manner.
-1 - -one -
HOJA DE REEMPLAZO (REGLA 26) Generalmente se emplean varias cámaras para obtener la imagen panorámica deseada. Las imágenes procedentes de las mismas se unen en uno o más monitores para proporcionar la imagen global indicada. REPLACEMENT SHEET (RULE 26) Generally several cameras are used to obtain the desired panoramic image. The images coming from them are joined in one or more monitors to provide the indicated global image.
Cuando las cámaras empleadas son de aito coste, ei reducir este número implica una reducción importante del coste del sistema completo y la utilización de una sola cámara para obtener una imagen global del entorno significa una reducción significativa a valorar. When the cameras used are cost-effective, reducing this number implies a significant reduction in the cost of the entire system and the use of a single camera to obtain a global picture of the environment means a significant reduction to be assessed.
Otro factor de considerable relevancia, es la obtención una imagen So más continua posible y sin distorsiones apreciables que permita, con un solo vistazo, ver la posición de tocios ios aviones que en ese momento se puedan encontrar en el escenarlo de la operación. Another factor of considerable relevance, is to obtain a more continuous image So possible and without appreciable distortions that allows, with a single glance, to see the position of all the airplanes that at that time can be found in the setting of the operation.
En la actualidad, los sistemas que generan una imagen del entorno de la operación u operaciones de repostaje están basados en el empleo de varias cámaras, generalmente tres, con unos ángulos de visión de alrededor de ios ochenta grados sexagesimales en ei plano horizontal, junto con ei ángulo correspondiente en el piano vertical de acuerdo a su relación de aspecto, que permiten obtener sendas Imágenes dei entorno y componerlas bien electrónicamente o geométricamente en correspondientes monitor o monitores, generalmente también tres, que proporcionan la visión general cié conjunto de Sos alrededores de la zona de repóstale. At present, the systems that generate an image of the environment of the operation or refueling operations are based on the use of several cameras, generally three, with viewing angles of around eighty degrees sexagesimal in the horizontal plane, together with The corresponding angle in the vertical piano according to its aspect ratio, which allows obtaining images of the environment and composing them either electronically or geometrically on corresponding monitors or monitors, generally also three, which provide the general overview of the whole surroundings of the surroundings of the answer zone.
Las imágenes procedentes de dichas cámaras adolecen del defecto de no proporcionar imágenes continuas del entorno debido a que las mismas están colocadas en puntos diferentes cleí espacio. El resultado es que las imágenes contienen zonas duplicadas, entre otros defectos, dando lugar a la aparición de partes de los aviones implicados en ei repostaje que se repiten en dos monitores a la vez. Además, en ciertas ocasiones ia zona importante de la operación cae en aquellas zonas de intersección entre las visiones de cámaras adyacentes, lo que lleva a un esfuerzo y una Incomodidad por parte de! operador o supervisor de la operación que tiene que componer mentalmente las imágenes d dos monitores adyacentes para tener un imagen completa de algunos de ios aviones a repostar o de la zona de Interés The images from these cameras suffer from the defect of not providing continuous images of the environment because they are placed at different points in the space. The result is that the images contain duplicated areas, among other defects, resulting in the appearance of parts of the aircraft involved in refueling that are repeated on two monitors at the same time. In addition, on certain occasions the important area of the operation falls into those areas of intersection between the visions of adjacent cameras, which leads to an effort and an inconvenience on the part of! operator or supervisor of the operation that has to mentally compose the images of two adjacent monitors to have a complete image of some of the aircraft to be refueling or the area of Interest
Un sistema como el anterior se describe dentro de la patente US 201 10147529 Al . A system like the one above is described in US 201 10147529 Al.
HOJA DE REEMPLAZO (REGLA 26) También las cámaras empleadas son duplicadas con el fin de tener una imagen de día y otra de noche que permitan las operaciones de repostaje durante ambos intervalos de tiempo. Todo esto da lugar a un sistema de seis cámaras implicadas en ía obtención de ia imagen de interés. Igualmente, y debido a la sensibilidad de ías cámaras nocturnas, es necesario el empleo de iluminadores, no visibles con el ojo desnudo, para obtener los fotones suficientes que permitan, durante la noche, disponer de imágenes de suficiente calidad. REPLACEMENT SHEET (RULE 26) Also the cameras used are duplicated in order to have a day and night image that allow refueling operations during both time intervals. All this gives rise to a system of six cameras involved in obtaining the image of interest. Likewise, and due to the sensitivity of night cameras, it is necessary to use illuminators, not visible with the naked eye, to obtain sufficient photons that allow, at night, to have images of sufficient quality.
Todo lo anterior termina, poco a poco con una tendencia a emplear cámaras de mayor sensibilidad e incluso con un funcionamiento en rangos del espectro de iluminación que estén fuera de aquellos fácilmente aícanzables para el ciudadano de a pie puesto que se trata de operaciones generalmente de aiío valor táctico y de carácter militar. All of the above ends, little by little with a tendency to use cameras of greater sensitivity and even with an operation in ranges of the spectrum of illumination that are outside those easily attainable for the ordinary citizen since it is generally aiío operations tactical value and military character.
En definitiva todo apunta al empleo de cámaras de alto precio, cuyo número es de alto interés poder reducir al tiempo que poder mejorar la calidad, uniformidad y continuidad de la imaaen obtenidas. In short, everything points to the use of high-priced cameras, whose number is of great interest to be able to reduce while improving the quality, uniformity and continuity of the image obtained.
DESCRIPCIÓN DE LA INVENCIÓN DESCRIPTION OF THE INVENTION
Ei sistema de ia invención está previsto para -utilizar una o dos únicas cámaras para ia supervisión alrededor de toda ia aeronave, de manera que ei empleo de una de ias cámaras es suficiente para obtener una imagen panorámica de todo ei contorno, permitiendo emplear dos cámaras por redundancia, ya que esta es necesaria en ciertas operaciones para garantizar que un failo simple no implique la suspensión de la operación, viéndose al mismo tiempo aumentada la fiabilídad del sistema. The system of the invention is intended to use one or two single cameras for supervision around the entire aircraft, so that the use of one of the cameras is sufficient to obtain a panoramic image of the entire contour, allowing two cameras to be used due to redundancy, since this is necessary in certain operations to ensure that a simple phalo does not imply the suspension of the operation, while increasing the reliability of the system.
La reducció del número de cámaras a una sola, lleva aparejada una reducción en ia resolución, en número total de pixe!es; de la Imagen global de entorno. Es más, ei empleo de una cámara para obtener una imagen panorámica alrededor de nuestro punto de referencia implica no sólo repartir ios pixeles del sensor de la misma entre toda ia zona a supervisar sino que además la forma del sensor, por lo general rectangular, implica un The REDUCTIO the number of cameras to a single, entails a reduction in ia resolution, the total number of PIXE is!; of the Global Environment Image. Moreover, the use of a camera to obtain a panoramic image around our reference point implies not only distributing the pixels of the sensor between the entire area to be monitored but also the shape of the sensor, usually rectangular, implies a
-3 ~ -3 ~
HOJA DE REEMPLAZO (REGLA 26) desperdicio adiciona! de píxeíes debido a que la imagen proyectada por nuestra lente es circular. También la zona central de este círculo, tampoco puede ser aprovechada., puesto que refleja ía imagen de ia propia cámara utilizada y no es parte de! entorno de interés. Todo lo anterior implica una reducción considerable de ia resolución media de nuestra ¡magen que debe y puede ser compensada como se explicará a continuación y que forma parte del objeto de esta invención. REPLACEMENT SHEET (RULE 26) waste adds! of pxeíes because the image projected by our lens is circular. Also, the central area of this circle cannot be exploited either, since it reflects the image of the camera itself and is not part of! environment of interest All of the above implies a considerable reduction in the average resolution of our image that must and can be compensated as will be explained below and which is part of the object of this invention.
E! sistema básico propuesto consta una cámara en disposición vertícaí aunque en su ímpíementacíón preferida se emplean dos cámaras para proporcionar redundancia ai sistema porque ia geometría de la invención así lo permite. AND! The basic system proposed consists of a chamber in vertícaí arrangement although in its preferred implementation two cameras are used to provide redundancy to the system because the geometry of the invention allows it.
Las dos cámaras se disponen en posición vertical aunque en sentidos diferentes ambas apuntando a sendos lacios junto con el empleo de dos lentes que generan una vista de 360 grados alrededor del eje de las mismas. The two cameras are arranged in an upright position although in different directions both pointing to each other straight along with the use of two lenses that generate a 360 degree view around the axis of the same.
Una vez obtenida la imagen periférica habrá que compensar ia deformación introducida por todas las lentes. Esto se realiza mediante un circuito fpga programado a ese fin. de manera que a partir de los valores de los píxeles obtenidos genera mediante un algoritmo de transformación geométrica la imagen rectangular del entorno que se requiere a partir de la corona circular de origen. Once the peripheral image is obtained, the deformation introduced by all the lenses must be compensated. This is done through a fpga circuit programmed for that purpose. so that from the values of the obtained pixels it generates by means of a geometrical transformation algorithm the rectangular image of the environment that is required from the circular crown of origin.
Finalmente se obtiene una imagen rectangular de la panorámica circundante. A ésta habrá que someterla a un algoritmo de super-résoiución que mejore ia calidad de ías imágenes obtenidas. Finally, a rectangular image of the surrounding panorama is obtained. This will have to be subjected to a super-re-creation algorithm that improves the quality of the images obtained.
Consecuentemente, y considerando el limitado número de patrones diferentes que pueden circundar la periferia de una aeronave, procedemos a reconocer los aviones circundantes y demás elementos de interés como las cestas, mangueras y el boom. Consequently, and considering the limited number of different patterns that may surround the periphery of an aircraft, we proceed to recognize the surrounding aircraft and other elements of interest such as baskets, hoses and boom.
Todo lo anterior nos permitirá generar un conjunto de objetos virtuales, mediante ía síntesis gráfica de los reales reconocidos en ia fase anterior, que se colocarán en un escenario vlrtuaí como si de un video juego se tratase con ia particularidad de que corresponderá a una realidad y que sin embargo nos dará la facilidad de poder ser observada desde puntos All of the above will allow us to generate a set of virtual objects, by means of the graphic synthesis of the real ones recognized in the previous phase, which will be placed in a vlrtuaí scenario as if it were a video game with the particularity that it will correspond to a reality and that however will give us the ease of being able to be observed from points
HOJA DE REEMPLAZO (REGLA 26) adicionales a aquellos en ios que las cámaras estén ubicadas. REPLACEMENT SHEET (RULE 26) additional to those in which the cameras are located.
Podremos girar ia imagen para observaría desde punios que permitan fácilmente determinar cualquier situación de colisión con otras aeronaves. Y asi tener una vista de situación global que contemplará observaciones completas y con una menor carga de trabajo con respecto a aquellas proporcionadas por las cámaras ubicadas en el fuselaje.  We can rotate the image to observe from punches that allow to easily determine any collision situation with other aircraft. And thus have a global situation view that will contemplate complete observations and with a lower workload with respect to those provided by the cameras located in the fuselage.
Concretamente, el sistema de la invención permite obtener una imagen de calidad, continua y sin duplicidades de fragmentos de ia misma, de hasta 360° alrededor dei propio sistema, permitiendo conocer el estado-dé ocupación dei espacio que circunda a un avión que realiza operaciones de repostaje., con el fin de evitar colisiones entre las aeronaves y equipos involucradas en dichas operaciones asi como conseguir una mejor coordinación de tales operaciones. Specifically, the system of the invention allows obtaining a quality image, continuous and without duplication of fragments thereof, up to 360 ° around the system itself, allowing to know the state-of-occupation of the space that surrounds an aircraft that performs operations of refueling., in order to avoid collisions between the aircraft and equipment involved in such operations as well as to achieve a better coordination of such operations.
En lo que se refiere al montaje del sistema, el mismo ira situado en la parte inferior central del avión tanque, es decir desde el cual se realiza eí repostaje, comprendiendo las siguientes partes fundamentales: As regards the assembly of the system, the same anger located in the lower central part of the tank plane, that is, from which the refueling is carried out, comprising the following fundamental parts:
1 .- Una caja estructural que soporta y contiene todos ios elementos que conforman el resto del sistema al tiempo que los mantiene en las posiciones adecuadas necesarias para obtener las imágenes que se desean mientras confiere ai conjunto una forma con características adecuadas desde el punto de vista aerodinámico. 1 .- A structural box that supports and contains all the elements that make up the rest of the system while maintaining them in the appropriate positions necessary to obtain the desired images while conferring a shape with adequate characteristics from the point of view aerodynamic.
2 - Preferentemente, dicha caja tiene forma cilindrica, dispuesta vertlcaimente, co un soporte superior, mediante el cual el sistema es fijado ai avión gracias a un conjunto de tornillos dispuestos vertlcaimente a través sendas ranuras a tal efecto. 2 - Preferably, said box has a cylindrical shape, vertically arranged, with an upper support, by means of which the system is fixed to the plane thanks to a set of screws arranged vertically through two grooves for this purpose.
3, - Dentro de ia cala anterior se encuentra al menos una cámara dispuesta con su eje, es decir el eje perpendicular ai plano de su sensor, de forma vertical, o sea perpendicular ai plano dei avión tanquero que seria paralelo a la tierra. Sin pérdida de generalidad esta cámara puede estar mirando con sentido hacia abajo apuntando hacia una lente compuesta. 3, - Within the previous cove there is at least one chamber arranged with its axis, that is to say the axis perpendicular to the plane of its sensor, vertically, that is, perpendicular to the plane of the tanker plane that would be parallel to the earth. Without loss of generality this camera may be looking downward pointing towards a composite lens.
4. ~ La lente compuesta puede ser de tipo catadióptrlco con inclusión de un espejo circular 4. ~ The composite lens can be catadioptric type, including a circular mirror
-5 - -5 -
HOJA DE REEMPLAZO (REGLA 26) con forma adecuada entendiendo como tal paraboloide, hiperbólica, cónica o incluso esférica y de una lente adicional de enfoque que puede ser una simple lente biconvexa o compuesta. También la lente compuesta puede ser de tipo gran angular de ias denominadas ojo de pez, mediante la cual sobre el sensor se proyectan las imágenes que rodean a la cámara con un ángulo vertical de incluso 180 grados. Siendo en ambos casos el ángulo horizontal de 360 grados. En eí primer case las imágenes son reflejadas por un espejo colocado en frente de la cámara con alguna de las formas indicadas mientras que en el segundo caso, las imágenes se difractan en las lentes simples que componen la compuesta. REPLACEMENT SHEET (RULE 26) properly understood as such a paraboloid, hyperbolic, conical or even spherical and of an additional focusing lens that can be a simple biconvex or composite lens. The composite lens can also be of the wide-angle type of the so-called fisheye, by means of which the images surrounding the camera with a vertical angle of even 180 degrees are projected onto the sensor. Being in both cases the horizontal angle of 360 degrees. In the first case the images are reflected by a mirror placed in front of the camera with some of the indicated forms while in the second case, the images are diffracted into the simple lenses that make up the compound.
En ambos casos la imagen obtenida sobre él sensor tiene forma ele circulo o más concretamente de corona circular con una deformación inicial de ias imágenes proyectadas que se corrige en ios pasos que se describen a continuación, mediante un niapeo que se realiza de forma electrónica o por software. In both cases, the image obtained on the sensor is in the form of a circle or more specifically of a circular crown with an initial deformation of the projected images that is corrected in the steps described below, by means of a niapeus that is performed electronically or by software.
5.- Una electrónica que se encarga de realizar el mapeado referido con el fin de convertir la corona circular Inicial en un rectángulo que muestre el espacio circundante de nuestro sistema. La electrónica puede estar basada en algoritmos que corran sobre un procesador o bien consistir en un hardware especifico. En nuestra ímpiementación preferida dicha funcionalidad se obtiene a partir de un circuito programado fpga de tipo Ki.ntex ai que llega la señal procedente del sensor de la cámara y a cuya salida gracias a las interconexiones realizadas dentro de la misma se obtiene directamente la imagen rectanguiar deseada. El resultado es un estiramiento que permite obtener imágenes sin la deformación Introducida por la lente. 5.- An electronics that is responsible for performing the aforementioned mapping in order to convert the initial circular crown into a rectangle that shows the surrounding space of our system. Electronics can be based on algorithms that run on a processor or consist of specific hardware. In our preferred implementation, this functionality is obtained from a programmed fpga circuit of Ki.ntex type to which the signal from the camera sensor arrives and at whose output thanks to the interconnections made within it, the desired rectangular image is obtained directly . The result is a stretch that allows images to be obtained without the deformation introduced by the lens.
8.- Una electrónica que se encarga de aumentar la resolución mediante técnicas de "super resolución" basadas en el hecho de que nuestro sistema está sometido a una constante vibración que permite obtener pixel.es· adicionales de cada punto de la imagen a lo largo de cuadros o trames consecutivos y que nos permite por ende aumentar e! número de estos píxeies por unidad de superficie, generando mediante ei uso de los recursos de la fpga una Imagen de mayor resolución que la obtenida por métodos tradicionales. 8.- An electronics that is responsible for increasing the resolution through "super resolution" techniques based on the fact that our system is subjected to a constant vibration that allows us to obtain additional pixel.es · of each point of the image along of consecutive frames or frames and that allows us to increase e! number of these pixels per unit area, generating a higher resolution image using the resources of the fpga than that obtained by traditional methods.
7.~ Una electrónica de transmisión y comunicaciones que se encarga de enviar ios 7. ~ A transmission and communications electronics that is responsible for sending ios
-6 - -6 -
HOJA DE REEMPLAZO (REGLA 26) sucesivos cuadros de la imagen a un punto remoto en otro lugar del avión. Preferentemente esta electrónica dispone además de un convertidor a fibra óptica que permite enviar sin pérdidas apreciables, las imágenes obtenidas con la calidad de origen amén de las correspondientes adaptadores de tensión y proíecciones para suministrar energía a las distintas etapas de ia electrónica descrita. REPLACEMENT SHEET (RULE 26) successive pictures of the image to a remote point in another place of the plane. Preferably, this electronics also has an optical fiber converter that allows to send without appreciable losses, the images obtained with the quality of origin in addition to the corresponding voltage adapters and projections to supply power to the different stages of the described electronics.
Todo es sistema aquí descrito va dentro de la caja explicada en el punto 1 y sujeta en ia parte inferior del avión tanquero, desde donde tendrá visión de toda la periferia de este último durante el vuelo. Everything is described here goes inside the box explained in point 1 and held in the lower part of the tanker plane, from where you will have a view of the entire periphery of the latter during the flight.
DESCRIPCIÓN DE LOS DIBUJOS DESCRIPTION OF THE DRAWINGS
Para complementar la descripción que seguidamente se va a realizar y con objeto de ayudar a una mejor comprensión de las características del invento, de acuerdo con un ejemplo preferente de realización práctica del mismo, se acompaña como parte integrante de dicha descripción, un juego de dibujos en donde con carácter ilustrativo y no limitativo, se ha representado ío siguiente: To complement the description that will then be made and in order to help a better understanding of the features of the invention, according to a preferred example of practical implementation thereof, a set of drawings is attached as an integral part of said description. Where illustrative and not limiting, the following has been represented:
La figura 1.- Muestra el esquema correspondiente a un avión tanquero con la ubicación del sistema de la invención, en correspondencia con la parte inferior de dicho avión. Figure 1 shows the scheme corresponding to a tanker aircraft with the location of the system of the invention, in correspondence with the lower part of said aircraft.
La figura 2.~ Muestra el esquema correspondiente ai sistema de la invención. Figure 2. ~ Shows the scheme corresponding to the system of the invention.
REALIZACIÓN PREFERENTE PE LA INVENCIÓN PREFERRED EMBODIMENT FOR THE INVENTION
Como se puede ver en las figuras referidas, el sistema de la Invención, aplicable a un avión tanquero (1 ), corno se representa en la figura 1 , está previsto para su ubicación en la parte inferior (2) de dicho avión. As can be seen in the aforementioned figures, the system of the Invention, applicable to a tanker aircraft (1), as shown in Figure 1, is provided for its location in the lower part (2) of said aircraft.
Concretamente, el sistema comprende una cala de configuración cilindrica (3), de manera que dicho cuerpo cilindrico (3) está unido a otro cuerpo cilindrico (4) de menor longitud y Specifically, the system comprises a cylindrical configuration (3), so that said cylindrical body (3) is connected to another cylindrical body (4) of shorter length and
HOJA DE REEMPLAZO (REGLA 26) que esta afectado de orificios {5} a través de los cuales se lleva la fijación o agarre del conjunto del sistema a la parte inferior (2) del avión íanquero (i)., realizándose esa fijación mediante tomillos, remaches o elementos similares. REPLACEMENT SHEET (RULE 26) that is affected by holes {5} through which the fixation or grip of the system assembly is carried to the lower part (2) of the ianquero plane (i). This fixing is carried out by means of thymes, rivets or similar elements.
El conjunto referido constituye una plataforma giratoria que corresponde a la unión entre el propio sistema y el punto donde se desee instalar el mismo, tratándose de una pieza giratoria que permite al conjunto orientarse con un giro determinado. The referred assembly constitutes a rotating platform that corresponds to the union between the system itself and the point where it is desired to be installed, being a rotating part that allows the assembly to orient itself with a specific turn.
En el cuerpo cilindrico (3) se establecen una o dos cámaras completas (6) que enfocan a direcciones opuestas, concretamente hacia respectivas lentes compuestas formadas por una lente de ajuste (7) y una lente bi~pseudoparabóííca (8) sobre la que se ha añadido un tratamiento de espejo que permite ver a las cámaras, reflejada en su superficie cualquier objeto (9) de su alrededor. In the cylindrical body (3) one or two complete chambers (6) are established that focus in opposite directions, specifically towards respective composite lenses formed by an adjustment lens (7) and a bi-pseudoparabic lens (8) on which has added a mirror treatment that allows to see the cameras, reflected on its surface any object (9) around it.
Ádícíonalmente, el sistema se complementa con la electrónica encargada de "mapear" la superficie de la lenta para, mediante una transformación geométrica, obtener un rectángulo de Imagen (10), siendo capaz de mejorar la resolución mediante un algoritmo dé super- resolución y de transmisión y comunicaciones, todas ellas junto con sus respectivas alimentaciones. In addition, the system is complemented by the electronics in charge of "mapping" the surface of the slow motion to obtain, by means of a geometric transformation, obtaining an Image rectangle (10), being able to improve the resolution through a super-resolution algorithm and transmission and communications, all of them along with their respective feeds.
~8 - ~ 8 -
HOJA DE REEMPLAZO (REGLA 26) REPLACEMENT SHEET (RULE 26)

Claims

R E I V I N D I C A C I O N E S  R E I V I N D I C A C I O N E S
Ia.- Sistema de visión panorámica con corrección de imagen, que estando ideada para obtener una visión continua de! entorno, por ejemplo en operaciones de repostaje y en operaciones críticas, caracterizado porque comprende al menos una cámara (8) dispuesta de forma vertical, enfocando en forma perpendicular a la dirección de vuelo de la correspondiente aeronave (1), en combinación con una lente (7) proyectando la imagen sobre un sensor, obteniendo una imagen en lodo el entorno con un campo de visión vertical determinado por la forma de ia lente (7), en donde la visión periférica es susceptible de alcanzar hasta los 360° alrededor dei propio sistema; habiéndose previsto una electrónica de mapeado de la imagen obtenida a través de ia lente, con el fin de eliminar cualquier distorsión y mejorar a la vez su resolución y calidad. I a .- Panoramic vision system with image correction, which being designed to obtain a continuous vision of! environment, for example in refueling operations and in critical operations, characterized in that it comprises at least one chamber (8) arranged vertically, focusing perpendicularly to the direction of flight of the corresponding aircraft (1), in combination with a lens (7) projecting the image on a sensor, obtaining an image in mud around the environment with a vertical field of view determined by the shape of the lens (7), where the peripheral vision is capable of reaching up to 360 ° around its own system; having planned an electronic mapping of the image obtained through the lens, in order to eliminate any distortion and improve both its resolution and quality.
2a.--Sistema de visión panorámica con corrección de Imagen, según reivindicación Ia, caracterizado porque los elementos que participan en el conjunto de! sistema, están dispuestos en el interior de un cuerpo cilindrico (3), 2 .-- System overview image correction according to claim I, wherein the elements involved in the set! system, are arranged inside a cylindrical body (3),
3a - Sistema de visión panorámica con correcció de imagen, según reivindicación 1a, caracterizado porque comprende dos cámaras (6), Iguales pero orientadas en sentidos contrarios, con sus correspondientes lentes (7) alojadas axíaimente en el interior del cuerpo cilindrico (3), complementándose con la electrónica de transmisión de las señales de las cámaras (6). 3 - System overview with correcció image, according to claim 1, characterized in that it comprises two chambers (6), yr oriented in opposite directions, with their corresponding lenses (7) housed axíaimente inside the cylindrical body (3 ), complementing with the transmission electronics of the camera signals (6).
4a.- Sistema de visión panorámica con corrección de imagen, según reivindicación 1a, caracterizado porque ia lente (7) de ia cámara (8) está formada por un espejo de forma cónica y una iente adiciona! para enfocar la imagen obtenida sobre el sensor de ia cámara. 4 .- System overview corrected image according to claim 1, characterized in that the lens (7) of the chamber (8) is formed by a mirror conical and iente added! to focus the image obtained on the camera sensor.
58.- Sistema de visión panorámica con corrección de imagen, según reivindicación 1a, caracterizado porque ia lente (7) de ia cámara (8) está formada por un espejo de forma parabólica, complementándose con una iente adiciona! para enfocar la imagen obtenida sobre el sensor de la cámara. May 8 .- System overview corrected image according to claim 1, characterized in that the lens (7) of the chamber (8) is formed by a parabolic mirror so, complemented with a iente added! to focus the image obtained on the camera sensor.
HOJA DE REEMPLAZO (REGLA 26) 8s.-- Sistema de visión panorámica con corrección de imagen, según reivindicación Ia, caracterizado porque la lente (7) de la cámara (6) está formada por un espejo de formada por un espejo de forma hiperbólica, complementándose con una lente adicional para enfocar la imagen obtenida sobre e! sensor de la cámara. REPLACEMENT SHEET (RULE 26) 8 s .-- System overview corrected image according to claim I, wherein the lens (7) of the chamber (6) is formed by a mirror formed by a mirror hyperbolically, complemented by a lens additional to focus the image obtained on e! camera sensor
7a.- Sistema de visión panorámica con corrección de imagen, según reivindicación 1a, caracterizado porque la lente (7) de la cámara (6) está formada por un espejo en forma de paraboloide, complementándose con una lente adicional para enfocar la imagen obtenida sobre el sensor de la cámara. 7 .- System overview corrected image according to claim 1, wherein the lens (7) of the chamber (6) is formed by a shaped mirror paraboloid, complemented by an additional lens to focus the image obtained on the camera sensor.
88.- Sistema de visión panorámica con corrección de imagen, según reivindicación Ia, caracterizado porque la lente (7) de la cámara (6) está formada por un espejo de forma esférica, complementándose con una lente adiciona! para enfocar ja imagen obtenida sobre ei sensor de la cámara. August 8 .- System overview corrected image according to claim I, wherein the lens (7) of the chamber (6) is formed by a spherical mirror, complemented with a lens adds! to focus the image obtained on the camera sensor.
9a.- Sistema de visión panorámica con corrección d imagen, según reivindicación Ia, caracterizado porque la lente (7) de la cámara (6) es una lente compuesta, de gran angular. 9 .- System overview image correction d according to claim I, wherein the lens (7) of the chamber (6) is a compound lens, wide angle.
10a.- Sistema de visión panorámica con corrección de imagen, según reivindicación 1a, caracterizado porque la transmisión de la señal por parte del sistema es de tipo óptico por fibra. 10 .- System overview corrected image according to claim 1, wherein the signal transmission by the system is optical fiber.
11a'.- Sistema de visión panorámica con corrección de imagen, según reivindicación 1a, caracterizado porque la electrónica se complementa con un sub-sistema de mejora de la resolución de la imagen obtenida por medio de un circuito programabie FPGA. 11 '.- System overview corrected image according to claim 1, wherein the electronics is complemented with a sub-system improvement in resolution of the image obtained by a circuit programabie FPGA.
12a.~ Sistema de visión panorámica con corrección d imagen, según reivindicación 1a, caracterizado porque los algoritmos a emplear se impiementan en una electrónica basada en circuitos programados (FPGAS). 12. ~ System overview image correction d, according to claim 1, characterized in that the algorithms to be employed in an electronic impiementan based on programmed circuits (FPGAs).
13a.- Sistema de visión panorámica con corrección de imagen, según reivindicación 1a, caracterizado porque ios algoritmos a emplear se impiementan mediante software y ejecutados mediante procesadores previstos al efecto. 13 .- System overview corrected image according to claim 1, characterized in that ios algorithms to be used is impiementan by software and executed by processors provided for the purpose.
-10 -10
HOJA DE REEMPLAZO (REGLA 26) 14a.- Sistema de visión panorámica con corrección de imagen, según reivindicación 1a, caracterizado porque ei sistema es susceptible de incluir mas de dos cámaras (8). REPLACEMENT SHEET (RULE 26) 14 .- System overview corrected image according to claim 1, characterized in that ei system is susceptible to include more than two chambers (8).
15a.- Sistema de visión panorámica con corrección de imagen, según reivindicación 1a, caracterizado porque una de las cámaras (8) es de visión y color normal mientras que ía otra es de visión en el espectro fuera del visible por ei ojo humano. 15 .- System overview corrected image according to claim 1, characterized in that one chamber (8) is of normal color vision and while the other one is viewing in the visible spectrum outside the human eye ei .
16a.- Sistema de visión panorámica con corrección de imagen, según reivindicación Ia, caracterizado porque ei mapeado de ia imagen se realiza mediante un procesador complementado con un ¡software especifico. 16 .- System overview corrected image according to claim I, wherein ei ai image mapping is made using a supplemented with specific software processor.
17a.- Sistema de visión panorámica con corrección de imagen, según reivindicación 1a, caracterizado porque el cuerpo cilindrico (3) es susceptible de rotar a través de un eje vertical, orientando ei sistema en ei piano horizontal paralelo al avión. 17 .- System overview corrected image according to claim 1, wherein the cylindrical body (3) is able to rotate through a vertical axis, orienting ei ei system in horizontal plane parallel to the plane.
-1 -one
HOJA DE REEMPLAZO (REGLA 26) REPLACEMENT SHEET (RULE 26)
PCT/ES2015/070172 2014-03-11 2015-03-11 Panoramic viewing system with image correction in refuelling and similar operations WO2015136138A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
ESP201400189 2014-03-11
ES201400189A ES2545542B1 (en) 2014-03-11 2014-03-11 Panoramic vision system with image correction in refueling operations and the like

Publications (1)

Publication Number Publication Date
WO2015136138A1 true WO2015136138A1 (en) 2015-09-17

Family

ID=54062549

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/ES2015/070172 WO2015136138A1 (en) 2014-03-11 2015-03-11 Panoramic viewing system with image correction in refuelling and similar operations

Country Status (2)

Country Link
ES (1) ES2545542B1 (en)
WO (1) WO2015136138A1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107358579A (en) * 2017-06-05 2017-11-17 北京印刷学院 A kind of game war dense fog implementation method
CN113989166A (en) * 2021-12-27 2022-01-28 贝壳技术有限公司 Panorama vertical correction method and device, electronic device and storage medium

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5691765A (en) * 1995-07-27 1997-11-25 Sensormatic Electronics Corporation Image forming and processing device and method for use with no moving parts camera
US6201574B1 (en) * 1991-05-13 2001-03-13 Interactive Pictures Corporation Motionless camera orientation system distortion correcting sensing element
US6831680B1 (en) * 1999-11-18 2004-12-14 Coastal Optical Systems, Inc. Method and system of monitoring an aircraft using a fisheye lens system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6201574B1 (en) * 1991-05-13 2001-03-13 Interactive Pictures Corporation Motionless camera orientation system distortion correcting sensing element
US5691765A (en) * 1995-07-27 1997-11-25 Sensormatic Electronics Corporation Image forming and processing device and method for use with no moving parts camera
US6831680B1 (en) * 1999-11-18 2004-12-14 Coastal Optical Systems, Inc. Method and system of monitoring an aircraft using a fisheye lens system

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107358579A (en) * 2017-06-05 2017-11-17 北京印刷学院 A kind of game war dense fog implementation method
CN113989166A (en) * 2021-12-27 2022-01-28 贝壳技术有限公司 Panorama vertical correction method and device, electronic device and storage medium
CN113989166B (en) * 2021-12-27 2022-03-15 贝壳技术有限公司 Panorama vertical correction method and device, electronic device and storage medium

Also Published As

Publication number Publication date
ES2545542A1 (en) 2015-09-11
ES2545542B1 (en) 2016-06-21

Similar Documents

Publication Publication Date Title
US10992847B2 (en) Image device for generating a 360 degree depth map
US9052571B1 (en) Wide-area aerial camera systems
JP5349055B2 (en) Multi-lens array system and method
US8482595B2 (en) Methods of obtaining panoramic images using rotationally symmetric wide-angle lenses and devices thereof
JP6483492B2 (en) Aerial equipment
KR100988872B1 (en) Method and imaging system for obtaining complex images using rotationally symmetric wide-angle lens and image sensor for hardwired image processing
ES2633742T3 (en) System for panoramic image processing
US8798451B1 (en) Methods of obtaining panoramic images using rotationally symmetric wide-angle lenses and devices thereof
CN101271187B (en) Non-dead angle binocular solid all-directional vision sensing equipment
ES2763366T3 (en) Environment representation device, as well as a vehicle with this environment representation device and procedure to represent a panoramic image
US20170293216A1 (en) Aerial panoramic oblique photography apparatus
ES2515468T3 (en) Optical device for capturing images according to a 360º field
ES2824049T3 (en) System and method for remote monitoring of at least one observation area
WO2018077139A1 (en) Unmanned aerial vehicle
CN104469283B (en) The micro-unmanned airborne real-time omnidirectional imaging system of one kind and equipment
CN103338333B (en) Optimal configuration method for orientation element of aerial camera
WO2015136138A1 (en) Panoramic viewing system with image correction in refuelling and similar operations
JP2021521045A (en) Unmanned aerial vehicles and related systems and methods for stereoscopic imaging
CN108629732B (en) Vehicle panoramic image generation method and device and vehicle
JP2015032936A (en) Imaging apparatus
CN111128052A (en) Large-view-field visual system based on rotary linear array display image source
RU2009121313A (en) Multi-angle Television System
WO2015136139A1 (en) Viewing system for in-flight refuelling
CN203758509U (en) Four-camera large breadth load sensing system based on unmanned aerial vehicle platform
ES2654598T3 (en) System to generate a composite video image and procedure to obtain a composite video image

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15761550

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15761550

Country of ref document: EP

Kind code of ref document: A1