Search Images Maps Play YouTube News Gmail Drive More »
Sign in
Screen reader users: click this link for accessible mode. Accessible mode has the same essential features but works better with your reader.

Patents

  1. Advanced Patent Search
Publication numberDE69433042 T2
Publication typeGrant
Application numberDE1994633042
Publication date17 Jun 2004
Filing date3 Oct 1994
Priority date1 Oct 1993
Also published asCA2173204A1, CA2173204C, CA2173209A1, CA2173209C, DE69426456D1, DE69426456T2, DE69428725D1, DE69428725T2, DE69429684D1, DE69429684T2, DE69430272D1, DE69430272T2, DE69431525D1, DE69431525T2, DE69431536D1, DE69431536T2, DE69432803D1, DE69432803T2, DE69433042D1, DE69434762D1, DE69434762T2, DE69435132D1, EP0721725A1, EP0721725B1, EP0721726A1, EP0721726B1, EP0898424A2, EP0898424A3, EP0898424B1, EP0899952A2, EP0899952A3, EP0899952B1, EP0899953A2, EP0899953A3, EP0899953B1, EP0899954A2, EP0899954A3, EP0899954B1, EP0912055A2, EP0912055A3, EP0912055B1, EP0912056A2, EP0912056A3, EP0912056B1, EP0955765A1, EP1307038A2, EP1307038A3, EP1307038B1, EP1705913A1, EP1705913B1, US5617539, US5689641, US5758079, US5802294, US5854893, US5867654, US5884039, US5896500, US5915091, US5978835, US6212547, US6237025, US6343314, US6351762, US6426769, US6437818, US6583806, US20020154210, WO1995010157A1, WO1995010158A2, WO1995010158A3
Publication number1994633042, 94633042, DE 69433042 T2, DE 69433042T2, DE-T2-69433042, DE1994633042, DE69433042 T2, DE69433042T2, DE94633042
InventorsGerald J. Burnett, Emmett Jackson Burns, Keith A. Lantz, Chris J. Lauwers, Lester F. Hillsborough Ludwig
ApplicantCollaboration Properties, Inc., Incline Village
Export CitationBiBTeX, EndNote, RefMan
External Links: DPMA, Espacenet
Multimedia-Post in Telekonferenzsystem Multimedia mail in teleconferencing system translated from German
DE 69433042 T2
Abstract  available in
Claims(38)  translated from German
  1. Telekonferenzsystem zum Durchführen einer Telekonferenz unter einer Mehrzahl von Teilnehmern, wobei das System Folgendes umfasst: (a) eine Mehrzahl von Arbeitsplätzen ( A teleconferencing system for conducting a teleconference among a plurality of subscribers, the system comprising: (a) a plurality of workstations ( 12 12 ), jeweils mit assoziierten Monitoren ( ), Each with associated monitors ( 200 200 ) zum Anzeigen visueller Bilder und mit Fähigkeiten ( ) For displaying visual images and Skills ( 500 500 , . 600 600 , . 200 200 , . 700 700 ) zum Erfassen von Videobildern und zum Erfassen und Wiedergeben von gesprochenem Audio der Teilnehmer, (b) wenigstens ein Netz ( ) To capture video images and capturing and reproducing spoken audio of the participants, (b) at least one network ( 902 902 ), das einen Datenweg ( ), The data path ( 13a 13a , . 13b 13b , . 14 14 ) zum Übertragen von Signalen zwischen den Arbeitsplätzen ( ) For transmitting signals between the workstations ( 12 12 ) bereitstellt, (c) eine oder mehrere Speichervorrichtungen; ) Provides, (c) one or more storage devices; und wobei das System zu Folgendem konfiguriert ist: (i) zum Managen einer Datenkonferenz, während der Text- oder Graphikdaten unter einer Mehrzahl der Teilnehmer gemeinsam genutzt und datenbezogene Bilder auf den Monitoren ihrer betreffenden Arbeitsplätze angezeigt werden; and wherein the system is configured to: (i) for managing a data conference, while the text or graphic data shared among a plurality of participants and data-related images are displayed on the monitors of their respective workstations; (ii) zum Managen einer Videokonferenz, während der das Videobild und das gesprochene Audio von einem der Teilnehmer an dem Arbeitsplatz eines anderen der Teilnehmer wiedergegeben wird, und (iii) zum Erfassen und Speichern des Videobilds und des gesprochenen Audios der Teilnehmer, die während der Videokonferenz angezeigt werden, und der datenbezogenen Bilder, die während der Datenkonferenz gemeinsam genutzt werden, in der einen oder den mehreren Speichervorrichtung(en), sodass die Video- und die Datenkonferenz später einschließlich des Abspielens von Audio/Video und datenbezogenen Bildern abgespielt werden kann. (Ii) for managing a video conference during which play the video image and spoken audio from one of the participants in the work of another of the participants, and (iii) to collect and store the video image and the spoken audio of the participants during the in which one or more storage device (s) so that the video and data conferencing can videoconferencing be displayed and the data-related images, which are shared during the data conference play later including playback of audio / video and data-related images.
  2. Telekonferenzsystem nach Anspruch 1, bei dem das System konfiguriert ist, um (i) es einem Teilnehmer zu erlauben, die angezeigten datenbezogenen Bilder während einer Telekonferenz durch elektronisches Ändern der angezeigten datenbezogenen Bilder zu annotieren, (ii) die annotierten datenbezogenen Bilder zu erfassen und (iii) die erfassten annotierten datenbezogenen Bilder mit dem während der Konferenz angezeigten Videobild und gesprochenen Audio zu speichern. Teleconferencing system according to claim 1, wherein the system is configured to (i) to allow a participant to annotate the displayed data-related images during a teleconference by electronically modifying the displayed data-related images, (ii) to capture the annotated data-related images and ( iii) to store the captured annotated data-related images with the video image and spoken audio displayed during the conference.
  3. Telekonferenzsystem nach Anspruch 1 oder Anspruch 2, bei dem die erfassten datenbezogenen Bilder oder die erfassten annotierten datenbezogenen Bilder in einer von dem assoziierten, während der Telekonferenz an dem Arbeitsplatz des Teilnehmers erfassten Teilnehmeraudio und -video separaten Datei gespeichert werden. The teleconferencing system of claim 1 or claim 2, wherein the captured data-related images or the captured annotated data-related images in an associated from that during the teleconference in the workplace of the user detected participant audio and video are stored separate file.
  4. Telekonferenzsystem nach einem der Ansprüche 1, 2 oder 3, bei dem das Telekonferenzsystem ferner konfiguriert ist, um die Aufzeichnung der datenbezogenen Bilder, der Videobilder und des gesprochenen Audios, die während der Telekonferenz erfasst werden, so zu synchronisieren, dass späteres Abspielen der/des gespeicherten Daten, Videos und Audios die Beziehung repräsentiert, in der sie ursprünglich erstellt wurden. The teleconferencing system of any of claims 1, 2 or 3, wherein the teleconferencing system is further configured to synchronize the recording of the data-related images, the video images and spoken audio which are detected during the teleconference so that subsequent playback of the / of stored data, videos and audios represents the relationship in which they were originally created.
  5. System nach einem der vorhergehenden Ansprüche, ferner umfassend ein Multimedia-Mail-System zum Weiterleiten der/des erfassten datenbezogenen Bilder und assoziierten Teilnehmeraudios und -videos als eine Multimedia-Mail-Mitteilung. System according to any preceding claim, further comprising a multimedia mail system to forward the / of the captured data-related images and associated participant audios and videos as a multimedia mail message.
  6. System nach Anspruch 5, bei dem das System ferner Folgendes kann: eine Liste gespeicherter Multimedia-Mail-Mitteilungen anfertigen und einem Mitteilungsempfänger wenigstens eines der Folgenden erlauben: (i) Zugriff auf die Mitteilungsliste, (ii) Durchsuchen der Liste, (iii) Auswählen einer der Mitteilungen und (iv) Abrufen der ausgewählten Mitteilung. The system of claim 5, wherein the system further can: make a list of stored multimedia mail messages and allow a message recipient at least one of: (i) access to the message list, (ii) through the list, (iii) selecting one of the releases and (iv) retrieving the selected message.
  7. System nach Anspruch 5 oder Anspruch 6, ferner umfassend Suchtools ( The system of claim 5 or claim 6, further comprising search tools ( 520 520 ), wobei die Suchtools in einer einzelnen Multimedia-Mail-Mitteilung suchen können oder über eine Mehrzahl von Multimedia-Mail-Mitteilungen hinweg. ), The search tools to find in a single multimedia mail message or a plurality of multimedia mail messages across.
  8. System nach Anspruch 7, bei dem die Suchtools ein Spracherkennungssystem aufweisen. The system of claim 7, wherein the search tools comprise a speech recognition system.
  9. System nach einem der Ansprüche 5 bis 8, bei dem eine von einem ersten Arbeitsplatz ( System according to one of claims 5 to 8, wherein one of a first job ( 12 12 ) gesendete Mail-Mitteilung komprimiert werden kann, bevor sie zu einem zweiten abgesetzten Arbeitsplatz ( ) Sent mail message can be compressed before a second off work ( 12 12 ) gesendet wird, und an oder nahe dem zweiten Arbeitsplatz ( ) Is sent, and at or near the second workstation ( 12 12 ) dekomprimiert werden kann. ) Can be decompressed.
  10. System nach einem der Ansprüche 5 bis 9, wobei das System einen Mail-Prioritätsanzeiger ( System according to one of claims 5 to 9, wherein the system includes a mail priority indicator ( 234 234 ) hat, der, wenn er mit einer Multimedia-Mail-Mitteilung assoziiert wird, bewirkt, dass die Multimedia-Mail-Mitteilung auf beschleunigter Basis. ) Which, when it is associated with a multimedia mail message, causes the multimedia mail message on an expedited basis. an den empfangenden Teilnehmer weitergeleitet wird, und zum Hinweisen des empfangenden Teilnehmers auf das Bestehen der auf einer beschleunigten Basis gelieferten Mitteilung. is forwarded to the receiving party, and for notifying the receiving participant on the existence of the message delivered on an accelerated basis.
  11. System nach einem der Ansprüche 2 bis 10, ferner umfassend eine Einrichtung zum weiteren Annotieren und Bearbeiten der/des erfassten datenbezogenen Bilder und assoziierten Teilnehmeraudios und -videos. System according to one of claims 2 to 10, further comprising means for further annotate, and edit the / of the captured data-related images and associated participant audios and videos.
  12. System nach einem der vorhergehenden Ansprüche, wobei das System ferner konfiguriert ist, um einen Teil des/der Teilnehmervideos und -audios und assoziierten erfassten datenbezogenen Bilder oder annotierten datenbezogenen Bilder zu markieren, sodass der markierte Teil selektiv angezeigt werden kann. System according to one of the preceding claims, wherein the system is further configured to determine a part of / the subscriber videos and audios and associated captured data-related images or annotated mark, so that the marked portion can be displayed selectively data-related images.
  13. System nach einem der vorhergehenden Ansprüche, bei dem die eine oder mehreren Speichervorrichtung/en eine erste Speichervorrichtung zum Speichern der datenbezogenen oder annotierten datenbezogenen Bilder und eine zweite Speichervorrichtung zum Speichern des Audios und Videos aufweist/aufweisen. System according to one of the preceding claims, wherein the one or more memory device / s having a first memory device for storing the data-related or annotated data-related images and a second storage device for storing the audio and video / have.
  14. System nach Anspruch 13, bei dem die zweite Speichervorrichtung zum. The system of claim 13, wherein said second memory device for. Speichern des Audios und Videos ein AV-Speicherserver ( Save the audio and video AV storage server ( 502 502 ) ist und (i) die von den Arbeitsplätzen zu dem AV-Speicherserver ( ), And (i) of the workstations to the AV storage server ( 502 502 ) übertragenen AV-Signale entweder analoge oder digitale Signale sein können; May be) transmitted AV signals, either analog or digital signals; (ii) die von dem AV-Speicherserver ( (Ii) from the AV storage server ( 502 502 ) zu den Arbeitsplätzen ( ) To workplaces ( 12 12 ) übertragenen AV-Signale entweder analoge oder digitale Signale sein können oder (iii) die AV-Signale entweder als analoge oder als digitale Signale in dem AV-Speicherserver ( May be) transmitted AV signals, either analog or digital signals, or (iii) the AV signals as either analog or digital signals in the AV storage server ( 502 502 ) gespeichert werden können. ) Can be stored.
  15. System nach einem der vorhergehenden Ansprüche, bei dem Teilnehmeraudio und -video repräsentierende Signale auf einem Weg ( System according to one of the preceding claims, representing the participant audio and video signals on a path ( 13b 13b , . 14 14 ) zwischen Arbeitsplätzen transportiert werden, der von dem Weg ( ) Are transported between jobs, by the way ( 13a 13a , . 14 14 ), auf dem erfasste datenbezogene Bilder repräsentierende Daten übertragen werden, separat ist. ), Representing data are transmitted on the captured data-related images, is separate.
  16. System nach Anspruch 15, bei dem die separaten Wege ( The system of claim 15, wherein the separate paths ( 13a 13a , . 13b 13b , . 14 14 ) mit ungeschirmten verdrillten Zweidrahtleitungen realisiert sind. ) Are implemented with unshielded twisted pair cables.
  17. System nach einem der vorhergehenden Ansprüche, bei dem die datenbezogenen Bilder Nicht-Video-Informationen aufweisen. System according to one of the preceding claims, wherein the data-related images comprise non-video information.
  18. System nach einem der Ansprüche 2 bis 17, ferner umfassend eine Annotations-GUI, die auf wenigstens einem der Arbeitsplätze abgearbeitet wird, die Tools für einen Teilnehmer bereitstellt zum elektronischen Ändern angezeigter datenbezogener Bilder, wobei das System so konfiguriert ist, dass ein Teilnehmer die angezeigten datenbezogenen Bilder während einer Telekonferenz annotieren kann, indem er die angezeigten datenbezogenen Bilder mit Hilfe der Annotations-GUI elektronisch ändert. System according to one of claims 2 to 17, further comprising an annotation GUI, which is executed on at least one of the workstations, the tools for a participant provides for electronic Changing the displayed data-related images, the system is configured so that a participant displayed data-related images can annotate during a teleconference by modifying the displayed data-related images electronically using the annotation GUI.
  19. System nach einem der Ansprüche 2 bis 18, wobei das genannte System konfiguriert ist, um es zwei oder mehr Teilnehmern zu erlauben, die angezeigten datenbezogenen Bilder und die annotierten datenbezogenen Bilder während einer Telekonferenz zu annotieren, und die annotierten Daten von allen Konferenzteilnehmern während der Telekonferenz betrachtet werden können. System according to one of claims 2 to 18, wherein said system is configured to allow two or more participants to annotate the displayed data-related images and the annotated data-related images during a teleconference, and the annotated data by all conference participants during the teleconference can be considered.
  20. Verfahren zum Durchführen einer Telekonferenz unter einer Mehrzahl von Teilnehmern, umfassend die folgenden Schritte: Bereitstellen einer Mehrzahl von Arbeitsplätzen ( A method of conducting a teleconference among a plurality of subscribers, comprising the steps of: providing a plurality of workstations ( 12 12 ), jeweils mit assoziierten Monitoren ( ), Each with associated monitors ( 200 200 ) zum Anzeigen visueller Bilder und mit Fähigkeiten ( ) For displaying visual images and Skills ( 500 500 , . 600 600 , . 200 200 , . 700 700 ) zum Erfassen von Videobildern und zum Erfassen und Wiedergeben von gesprochenem Audio der Teilnehmer; ) To capture video images and capturing and reproducing spoken audio of the participants; Bereitstellen von wenigstens einem Netz ( Providing at least one network ( 902 902 ), das einen Datenweg ( ), The data path ( 13a 13a , . 13b 13b , . 14 14 ) zum Übertragen von Signalen zwischen den Arbeitsplätzen ( ) For transmitting signals between the workstations ( 12 12 ) bereitstellt, Managen einer Datenkonferenz, während der Text- oder Graphikdaten unter einer Mehrzahl der Teilnehmer gemeinsam genutzt und datenbezogene Bilder auf den Monitoren ihrer betreffenden Arbeitsplätze angezeigt werden; ) Provides, managing a data conference, while the text or graphic data shared among a plurality of participants and data-related images are displayed on the monitors of their respective workstations; Managen einer Videokonferenz, während der das Videobild und das gesprochene Audio von einem der Teilnehmer am Arbeitsplatz eines anderen Teilnehmers wiedergegeben wird, und Erfassen von Videobildern und gesprochenem Audio eines Teilnehmers; Managing a video conference, during the video image and the spoken audio from one of the participants is reproduced at work of another participant, and capture video images and spoken audio of a participant; Erfassen der gemeinsam genutzten datenbezogenen Bilder und Aufzeichnen des Videobildes und des gesprochenen Audios der Teilnehmer, die während der Videokonferenz angezeigt werden, und der datenbezogenen Bilder, die während der Datenkonferenz gemeinsam genutzt werden, sodass die Video- und Datenkonferenzen später einschließlich des Abspielens von Video/Audio und datenbezogenen Bilder abgespielt werden können. Detecting the shared data-related images and recording the video image and the spoken audio of the participants displayed during the video conference, and the data-related images, which are shared during the data conference allowing video and data conferences later including the playback of video / Audio and data-related images can be played.
  21. Verfahren nach Anspruch 20, ferner umfassend die folgenden Schritte: Bereitstellen einer Einrichtung, die es jedwedem Teilnehmer erlaubt, die angezeigten datenbezogenen Bilder, die auf seinem Monitor angezeigt werden, durch elektronisches Ändern der angezeigten datenbezogenen Bilder zu annotieren, Erfassen der annotierten datenbezogenen Bilder, die auf dem Monitor des Teilnehmers angezeigt werden, und Speichern der erfassten datenbezogenen oder annotierten datenbezogenen Bilder und das an dem Arbeitsplatz des Teilnehmers erfasste assoziierte Teilnehmeradio und -video. The method of claim 20, further comprising the steps of: providing a device that allows jedwedem participants, the displayed data-related images that appear on his monitor, annotate by electronically modifying the displayed data-related images, detecting the annotated data-related images be displayed on the monitor of the subscriber, and store the captured data-related or annotated data-related images and recorded in the workplace of the subscriber associated subscriber radio and video.
  22. Verfahren nach Anspruch 20 oder Anspruch 21, bei dem die datenbezogenen Bilder in einer von dem Audio und Video separaten Datei gespeichert werden. The method of claim 20 or claim 21, wherein the data-related images are stored in a separate file from the audio and video.
  23. Verfahren nach einem der Ansprüche 20, 21 oder 22, ferner umfassend den Schritt der Synchronisierung der datenbezogenen Bilder und der Videobilder und des gesprochenen Audios für die Speicherung, sodass das Abspielen der/des datenbezogenen Bilder, des Videos und des Audios die Beziehung repräsentiert, in der sie ursprünglich erstellt wurden. Method according to one of claims 20, 21 or 22, further comprising the step of synchronizing the data-related images and the video images and spoken audio for storage such that playback of the / of the data-related images, the video and the audio represents the relationship in which they were originally created.
  24. Verfahren nach einem der Ansprüche 20 bis 23, ferner umfassend den Schritt des Weiterleitens von erfassten datenbezogenen Bilder und Teilnehmeraudio und -video, die in Multimedia-Format gespeichert sind, als eine Multimedia-Mail-Mitteilung. Method according to one of claims 20 to 23, further comprising the step of forwarding captured data-related images and participant audio and video stored in multimedia format as a multimedia mail message.
  25. Verfahren nach Anspruch 24, umfassend die folgenden Schritte: Anfertigen einer Liste gespeicherter Multimedia-Mail-Mitteilungen und Bereitstellen der Mittel, um einem Mitteilungsempfänger wenigstens eines der Folgenden zu erlauben: (i) Zugriff auf die Mitteilungsliste, (ii) Durchsuchen der Liste, (iii) Auswählen einer der Mitteilungen und (iv) Abrufen der ausgewählten Mitteilung. The method of claim 24, comprising the steps of preparing a list of stored multimedia mail messages and providing the means to allow a message recipient at least one of: (i) access to the message list, (ii) searching the list ( iii) selecting one of the messages, and (iv) retrieving the selected message.
  26. Verfahren nach Anspruch 24 oder Anspruch 25, ferner umfassend die Suche in einer Multimedia-Aufzeichnung oder über eine Mehrzahl von Multimedia-Mail-Mitteilungen hinweg. The method of claim 24 or claim 25, further comprising searching in a multimedia recording or across a plurality of multimedia mail messages of time.
  27. Verfahren nach Anspruch 26, bei dem die Suche das Suchen mit einem Spracherkennungssystem aufweist. The method of claim 26, wherein said search comprises searching with a speech recognition system.
  28. Verfahren nach einem der Ansprüche 24 bis 27, das die folgenden Schritte aufweist: Komprimieren einer Multimedia-Mail-Mitteilung, bevor sie von einem ersten Arbeitsplatz ( Method according to one of claims 24 to 27, comprising the steps of: compressing a multimedia mail message before it by a first job ( 12 12 ) zu einem zweiten abgesetzten Arbeitsplatz ( ) To a second remote workstation ( 12 12 ) gesendet wird, und Dekomprimieren der komprimierten Mitteilung an oder nahe dem zweiten Arbeitsplatz ( ) Is sent and decompressing the compressed message at or near the second workstation ( 12 12 ). ).
  29. Verfahren nach einem der Ansprüche 24 bis 28, das die folgenden Schritte aufweist: Weiterleiten der Multimedia-Mail-Mitteilung an den empfangenden Teilnehmer auf beschleunigter Basis, und Hinweisen des empfangenden Teilnehmers auf das Bestehen der auf beschleunigter Basis gelieferten Mitteilung. Method according to one of claims 24 to 28, comprising the steps of: forwarding the multimedia mail message to the receiving participant on an expedited basis, and references the receiving participant of the existence of the message delivered on an expedited basis.
  30. Verfahren nach einem der Ansprüche 21 bis 29, ferner umfassend das Bearbeiten und weitere Annotieren der/des erfassten datenbezogenen Bilder und assoziierten Teilnehmeraudios und -videos. The method of any of claims 21 to 29 further comprising machining and other annotate / the captured data-related images and associated participant audios and videos.
  31. Verfahren nach einem der Ansprüche 21 bis 30, ferner umfassend den Schritt des Markierens eines Teils des/der erfassten datenbezogenen oder annotierten datenbezogenen Bilder und Teilnehmervideos und -audios, die in Multimedia-Format gespeichert sind, sodass der markierte Teil selektiv angezeigt werden kann. A method according to any one of claims 21 to 30, further comprising the step of marking a portion of / the detected data-related or annotated data-related images and participant videos and audios that are stored in multimedia format, so that the marked part can be selectively displayed.
  32. Verfahren nach einem der Ansprüche 21 bis 31, bei dem im Speicherschritt die datenbezogenen oder annotierten datenbezogenen Bilder in einer von dem Audio und Video separaten Speichervorrichtung gespeichert werden. A method according to any one of claims 21 to 31, are stored in the memory in step, the data-related or annotated data-related images in a separate from the audio and video storage device.
  33. Verfahren nach Anspruch 32, bei dem das Audio und Video im Speicherschritt mittels eines AV-Speicherservers gespeichert werden, wobei (i) die von den Arbeitsplätzen ( The method of claim 32, wherein the audio and video in the memory step by means of an AV storage server are stored, wherein (i) from workstations ( 12 12 ) zu dem AV-Speicherserver ( ) To the AV storage server ( 502 502 ) übertragenen AV-Signale entweder analoge oder digitale Signale sind; ) Transmitted AV signals, either analog or digital signals; (ii) die von dem AV-Speicherserver ( (Ii) from the AV storage server ( 502 502 ) zu den Arbeitsplätzen ( ) To workplaces ( 12 12 ) übertragenen AV-Signale entweder analoge oder digitale Signale sind und (iii) die AV-Signale entweder als analoge oder als digitale Signale in dem AV-Speicherserver ( ) Transmitted AV signals, either analog or digital signals, and (iii) the AV signals as either analog or digital signals in the AV storage server ( 502 502 ) gespeichert werden können. ) Can be stored.
  34. Verfahren nach einem der Ansprüche 22 bis 33, das den Schritt des Transportierens von Teilnehmeraudio und -video repräsentierenden Signalen zwischen Arbeitsplätzen auf einem Weg ( A method according to any one of claims 22 to 33, comprising the step of transporting participants audio and video signals representing between workstations on a path ( 13b 13b , . 14 14 ) aufweist, der von dem Weg ( ) Which is on the route ( 13a 13a , . 14 14 ), auf dem erfasste und datenbezogene Bilder repräsentierende Daten übertragen werden, separat ist. ), On the captured data-related images and representing data are transmitted separately.
  35. Verfahren nach Anspruch 34, bei dem die separaten Wege mit ungeschirmten verdrillten Zweidrahtleitungen realisiert sind. The method of claim 34, wherein the separate paths are implemented with unshielded twisted pair cables.
  36. Verfahren nach einem der Ansprüche 21 bis 35, bei dem die datenbezogenen Text- oder graphischen Bilder Nicht-Video-Informationen aufweisen. A method according to any one of claims 21 to 35, wherein the data-related text or graphic images have non-video information.
  37. Verfahren nach Anspruch 21, bei dem die Einrichtung, die bereitgestellt wird, um es jedwedem Teilnehmer zu erlauben, die angezeigten datenbezogenen Bilder zu annotieren, eine auf wenigstens einem der Arbeitsplätze abgearbeitete Annotations-GUI ist, die Tools für einen Teilnehmer bereitstellt zum elektronischen Ändern angezeigter datenbezogener Bilder, wobei das System so konfiguriert ist, dass der Teilnehmer die angezeigten datenbezogenen Bilder während einer Telekonferenz annotieren kann, indem er die angezeigten datenbezogenen Bilder mit Hilfe der Annotations-GUI elektronisch ändert. The method of claim 21, wherein said means is provided to allow jedwedem participants to annotate the displayed data-related images, a worn-in at least one of the workstations annotation GUI, the tools for a participant provides for electronic Changing Displayed data-related images, the system is configured so that the participants can annotate the displayed data-related images during a teleconference by modifying the displayed data-related images electronically using the annotation GUI.
  38. Verfahren nach Anspruch 21, wobei der Schritt des Bereitstellens einer Einrichtung, um Teilnehmern das Annotieren von Daten zu erlauben, es aufweist, dass zwei oder mehr Teilnehmer die datenbezogenen Bilder elektronisch ändern dürfen und die elektronisch geänderten Daten von allen Konferenzteilnehmern während der Telekonferenz betrachtet werden können. The method of claim 21, wherein the step of providing means to allow participants to annotate data, it, in that two or more participants, the data-related images are allowed to change electronically and be considered the electronically modified data by all conference participants during the teleconference can ,
Description  translated from German
  • HINTERGRUND DER ERFINDUNG BACKGROUND OF THE INVENTION
  • [0001] [0001]
    Die vorliegende Erfindung betrifft computergestützte Systeme zur Verbesserung der Zusammenarbeit zwischen und unter Einzelpersonen, die durch Entfernung und/oder Zeit getrennt sind (im folgenden "verteilte Zusammenarbeit" genannt). The present invention relates to computer-based systems to improve cooperation between and among individuals who are separated by distance and / or time (hereinafter "distributed collaboration" called). Die Erfindung zielt in erster Linie darauf ab, in einer Computer-Arbeitsplatzumgebung im größtmöglichen Umfang das vollständige Spektrum, das vollständige Niveau und die volle Intensität der Kommunikation und des Informationsaustausches zwischen Personen zu replizieren, die auftreten würden, wenn alle Teilnehmer zur gleichen Zeit im gleichen Raum zusammen wären, (im folgenden "persönliche Zusammenarbeit" genannt). The invention is directed to primarily intended to replicate in a computer workplace environment to the maximum extent the full spectrum, the full level and the full intensity of communication and exchange of information between people that would occur if all participants at the same time in the same space would be together, (hereinafter referred to as "personal cooperation").
  • [0002] [0002]
    Verhaltensforschern ist gut bekannt, daß die Kommunikation zwischen Personen eine große Anzahl von feinen und komplexen visuellen Hinweisen beinhaltet, die mit Begriffen wie "Augenkontakt" und "Körpersprache" bezeichnet werden, die zusätzliche Informationen über die gesprochenen Wörter und ausdrückliche Mimik hinaus liefern. Behavioral scientists is well known that the communication between people includes a large number of fine and complex visual cues, which are referred to by terms such as "eye contact" and "body language" that provide additional information about the spoken words and express facial expressions beyond. Diese Hinweise werden zum größten Teil im Unterbewußtsein der Teilnehmer verarbeitet und bestimmen oft den Verlauf einer Tagung. This information is handled in the subconscious of the participants for the most part and often determine the course of a meeting.
  • [0003] [0003]
    Zusätzlich zu gesprochenen Wörtern, demonstrativer Mimik und Verhaltenshinweisen beinhaltet die Zusammenarbeit oft auch das gemeinsame Nutzen visueller Informationen – zB Druckmaterial, wie Artikel, Zeichnungen, Fotografien, Schaubilder und graphische Darstellungen sowie Videos und computergestützte Animationen, Darstellungen und andere Vorführungen – auf eine Weise, die es den Teilnehmern ermöglicht, die Informationen kollektiv und interaktiv zu untersuchen, zu diskutieren, mit Annotationen zu beschriften und zu überarbeiten. In addition to spoken words, demonstrative expressions and behavior clues often involves collaboration and the sharing of visual information - such as paper, such as articles, drawings, photographs, charts and graphics and videos and computer animations, images, and other demonstrations - in a way that enables participants to examine the collective information and interactive discussion to label annotation and revise. Diese Kombination aus gesprochenen Worten, Mimik, visuellen Hinweisen und interaktivem Informationsaustausch verbessert die Effektivität der Zusammenarbeit in einer Vielfalt verschiedener Zusammenhänge bedeutend, zB "Brainstorming"-Sitzungen unter Fachleuten eines bestimmten Bereichs, Konsultationen zwischen einem oder mehreren Experten und einem oder mehreren Kunden, empfindliche geschäftliche oder politische Verhandlungen und dergleichen. This combination of spoken words, facial expressions, visual cues and interactive exchange of information improves the effectiveness of cooperation in a variety of different contexts significantly, eg "brainstorming" sessions among professionals a certain range, consultations between one or more experts and one or more clients, sensitive business or political negotiations and the like. In Situationen für die verteilte Zusammenarbeit, bei denen die Teilnehmer nicht gleichzeitig am gleichen Ort sein können, werden dann die nützlichen Wirkungen einer persönlichen Zusammenarbeit nur in dem Maße realisiert, in dem jeder der entfernt befindlichen Teilnehmer an jeder Kollaborationsstation "rekonstruiert" werden Um die der Reproduktion der nützlichen Wirkungen persönlicher Zusammenarbeit in einem Umfeld der verteilten Zusammenarbeit eigenen Probleme zu illustrieren, betrachte man den Fall der Entscheidungsbildung in den umsatzintensiven Warenmärkten, wo Gewinne (oder Verluste) in Höhe von vielen Tausenden von Dollar von der richtigen Entscheidung eines Wertpapierhandelsexperten innerhalb von Stunden oder sogar von Minuten nach dem Erhalt einer Aufforderung von einem fernen Kunden abhängen können. In situations for distributed collaboration, in which participants can not be both at the same location, then the beneficial effects of a personal collaboration can be realized only in the extent to which each of the remotely located participants "reconstructed" at each collaboration station will order the Reproduction of the beneficial effects of personal collaboration in an environment of distributed collaboration to illustrate own problems, consider the case of decision-making in the sales-intensive goods markets where profits (or losses) in the amount of thousands of dollars from the correct decision of a securities expert within hours may depend on, or even minutes after the receipt of a request from a remote client. Der Experte braucht sofortigen Zugriff auf ein breites Spektrum von potentiell relevanten Informationen, wie zB finanzielle Daten, historische Preisinformationen, aktuelle Kursnotizen, Nachrichtendienste, staatliche Richtlinien und Programme, Konjunkturprognosen, Wetterberichte usw. Viele dieser Informationen können vom Experten allein verarbeitet werden. The expert needs immediate access to a wide range of potentially relevant information, such as financial data, historical price information, current course notes, intelligence, government policies and programs, economic forecasts, weather reports, etc. Much of this information can be processed by experts alone. Bevor er aber eine Kauf- oder Verkaufsentscheidung trifft, müssen die Informationen häufig mit anderen Experten, die geographisch verstreut sein können, und mit dem Kunden besprochen werden. But before making a purchase or sale decision, the information must be frequently discussed with other experts who may be geographically dispersed, and with the customer. Es kann sein, daß einer oder mehrere dieser anderen Experten in einer Versammlung sind oder ein anderes Telefongespräch führen oder sonst irgendwie vorübergehend nicht erreichbar sind. It may be that one or more of these other experts are in a meeting or in a different telephone conversation or otherwise temporarily not reachable. In diesem Fall muß der Experte "asynchron" kommunizieren – um sowohl Zeit als auch Entfernung zu überbrücken. In this case, the expert must "asynchronous" communicate - to bridge both time and distance.
  • [0004] [0004]
    Wie unten besprochen, stellen Desktop-Videokonferenzsysteme vom Stand der Technik bestenfalls eine teilweise Lösung der Herausforderungen einer verteilten Kollaboration in Echtzeit bereit, vor allem wegen ihres Mangels an hochwertigem Video (das zum Erfassen der oben besprochenen visuellen Hinweise notwendig ist) und ihrer begrenzten Datenverbundfähigkeiten. As discussed below, provide desktop video conferencing systems of the prior art at best a partial solution to the challenges of a distributed real-time collaboration prepared, mainly because of their lack of high-quality video (which is necessary for detecting the above-discussed visual cues) and their limited data sharing capabilities. Desgleichen stellen Anrufbeantworter, Voice-Mail, Faxgeräte und konventionelle Electronic-Mail-Systeme unvollständige Lösungen für die Probleme bereit, die die indirekte (asynchrone) Zusammenarbeit bietet, da sie völlig unfähig sind, visuelle Hinweise, Mimik usw. mitzuteilen, und wie konventionelle Videokonferenzsysteme allgemein in der Reichhaltigkeit der Daten, die ausgetauscht werden können, begrenzt sind. Similarly provide voice mail, voice mail, fax machines, and conventional electronic mail systems incomplete solutions to the problems ready that provides indirect (asynchronous) cooperation, as they are completely unable to visual cues, facial expressions, etc. to communicate and how conventional video conferencing systems are generally limited in the richness of the data that can be exchanged.
  • [0005] [0005]
    Es wurde vorgeschlagen, traditionelle Videokonferenzfähigkeiten von Konferenzzentren – wo sich Gruppen von Teilnehmern im gleichen Raum versammeln müssen, auf den Computer-Arbeitsplatz auszudehnen – wo einzelne Teilnehmer in ihrem Büro oder ihrer Wohnung bleiben können. It was suggested that traditional videoconferencing capabilities of conference centers - to extend where groups of participants must gather in the same room on the computer workstation - where individual participants can remain in their office or their home. Ein derartiges System wird in US-Patent Nr. Such a system is described in US patent no. 4.710.917 4710917 für ein Videokonferenznetz (Video Conferencing Network) beschrieben, das am 1. Dezember 1987 Tompkins et al. of a videoconferencing network (Video Conferencing Network) described the December 1, 1987 Tompkins et al. gewährt wurde. was granted. Es wurde auch vorgeschlagen, derartige Videokonferenzsysteme mit begrenzten "Video-Mail"-Leistungsmerkmalen aufzubessern. It was also suggested to supplement such video conferencing systems with limited "Video Mail" -Leistungsmerkmalen. Derartige dedizierte Videokonferenzsysteme (und Erweiterungen dieser} nutzen aber die Investitionen in bestehende eingebettete Informationsinfrastrukturen nicht effektiv aus – wie Desktop-Personalcomputer und Computerarbeitsplätze, lokale Netz- (LAN) und Fernnetz(WAN)-Umgebungen, Gebäudeverkabelung usw. – um das interaktive gemeinsame Nutzen von Daten in der Form von Text, Bildern, Schaubildern, graphischen Darstellungen, aufgezeichnetem Video, Bildschirmanzeigen und dergleichen zu ermöglichen. Das heißt, sie versuchen Datenverarbeitungsfähigkeiten zu einem Videokonferenzsystem hinzuzufügen, anstatt Multimedia- und Kollaborationsfähigkeiten zum bestehenden Computersystem des Anwenders hinzuzufügen. Derartige Systeme können also zwar in begrenztem Kontext nützlich sein, sie stellen aber die für die maximal effektive Zusammenarbeit erforderlichen Fähigkeiten nicht bereit und sind nicht kosteneffektiv. Such dedicated video conferencing systems (and but extensions of these} use the investment in existing embedded information infrastructures not effectively from - such as desktop personal computers and workstations, local area network (LAN) and wide area network (WAN) environments, building wiring, etc. - to the interactive sharing can of data in the form of text, images, charts, graphs, recorded video screen displays and the like to enable. That is, they try data processing capabilities to a videoconferencing system directory, instead of adding multimedia and collaboration capabilities to the existing computer system of the user. Such systems Thus, while useful in a limited context, but they are necessary for the maximum effective collaboration skills are not willing and not cost effective.
  • [0006] [0006]
    Umgekehrt wurden in jüngster Zeit Audio- und Videoerfassungs- und -verarbeitungsfähigkeiten in Desktop- und tragbare Personalcomputer und Computerarbeitsplätze (Workstations) (im folgenden mit dem Oberbegriff "Arbeitsplätze" bezeichnet) integriert. Were Conversely, recent audio and video capture and processing capabilities into desktop and portable personal computers and workstations (workstations) (hereinafter referred to by the generic term "jobs") is integrated. Diese Fähigkeiten werden hauptsächlich in Desktop-Multimedia-Autorensystemen für die Produktion von Werken auf CD-ROM verwendet. These skills are mainly used in desktop multimedia authoring systems for the production of works on CD-ROM. Derartige Systeme können zwar Audio, Video und Daten lokal (dh am Desktop-Computer) verarbeiten, kombinieren und aufzeichnen, unterstützen aber vernetzte Kollaborationsumgebungen nicht ausreichend, was in erster Linie auf dem beträchtlichen Bandbreitenbedarf für die Echtzeitübertragung von hochwertigem digitalisiertem Audio und von Bewegtbild-Kommunikation beruht, die konventionelle LAN am Unterstützen von mehr als einigen Arbeitsplätzen hindern. Although such systems can process audio, video and data locally (ie at desktop computers), combine and record, but support networked collaborative environments not sufficient due primarily to the significant bandwidth requirements for real-time transmission of high-quality digitized audio and moving image communication based, prevent the conventional LAN on Support of more than a few jobs. Obwohl zur Zeit erhältliche Desktop-Multimedia-Computer häufig Videokonferenz- oder andere Multimedia- oder Kollaborationsfähigkeiten in ihrer angepriesenen Ausstattung aufweisen (siehe zB A. Reinhardt, "Video Conquers the Desktop" (Video erobert den Desktop-Computer), BYTE, September 1993, pp. 64–90), haben derartige Systeme aber bisher die vielen Probleme, die jeder praktischen Umsetzung eines skalierbaren Kollaborationssystems eigen sind, noch nicht gelöst. Although currently available desktop multimedia computers often have video conferencing and other multimedia and collaboration capabilities in their advertised amenities (see, eg, A. Reinhardt, "Video Conquers the Desktop" (video captures the desktop computer), BYTE, September 1993 pp. 64-90), such systems have been the many problems that are of any practical implementation of a scalable collaboration system intrinsically not yet been solved.
  • [0007] [0007]
    Weitere Konferenzsysteme werden in "Video Conferencing, File Storage and Management in Multimedia Computer Systems", Venkat Rangan P., Computer Networks and ISDN Systems, Bd. 25, Nr. 8, 1. März 1993, Seiten 901–919; More conferencing systems are in "Video conferencing, file storage and management in multimedia computer system," Venkat Rangan P., Computer Networks and ISDN Systems, Vol 25, No. 8, March 1st, 1993, pages 901-919..; in der internationalen Patentanmeldung in International Patent Application WO 92 21211 A WO 92 21211 A (Videotelecom Corp.) und in der europäischen Patentanmeldung (Video Telecom Corp.), and in European patent application EP-A-0 453 128 EP-A-0453128 (American Telephone & Telegraph) offengelegt. (American Telephone & Telegraph) disclosed.
  • ZUSAMMENFASSUNG DER ERFINDUNG SUMMARY OF THE INVENTION
  • [0008] [0008]
    Gemäß der vorliegenden Erfindung, wie in den Ansprüchen 1 und 20 definiert, beinhalten Desktop-Telekonferenzen Audio- und/oder Video-Telekonferenzen in Echtzeit sowie den Echtzeitaustausch von Daten (Datenkonferenz – Data Conferencing). According to the present invention as defined in claims 1 and 20 include desktop teleconferencing audio and / or video teleconferencing, as well as in real time the real-time exchange of data (conference data - Data Conferencing). Die Datenkonferenz wiederum weist Snapshot-Sharing (gemeinsames Nutzen von "Schnappschüssen" ausgewählter Bereiche des Bildschirms des Benutzers), Application-Sharing (gemeinsame Bedienung geöffneter Anwendungen), Whiteboard (entspricht dem gemeinsamen Nutzen eines "leeren" Fensters) und assoziierte Telezeige- und Annotationsfähigkeiten auf. The data conference in turn has snapshot Sharing (common benefit of "snapshots" of selected areas of the user's screen), application sharing (joint operation of open applications), Whiteboard (equivalent to the common benefit of an "empty" window) and associated Telezeige- and Annotationsfähigkeiten on. Telekonferenzen können aufgezeichnet und zur späteren Wiedergabe gespeichert werden, einschließlich Audio/Video und alle Dateninteraktionen. Teleconferencing can be recorded and stored for later playback, including audio / video and all data interactions.
  • [0009] [0009]
    Während Desktop-Telekonferenzen Echtzeit-Interaktionen unterstützen, erlaubt Multimedia-Mail den asynchronen Austausch arbiträrer Multimediadokumente, einschließlich zuvor aufgezeichneter Telekonferenzen. While desktop teleconferencing supports real-time interactions, multimedia mail permits the asynchronous exchange of arbitrary multimedia documents, including previously recorded teleconferences. Es versteht sich auch wirklich, daß die Desktop-Telekonferenzen und Multimedia-Mail zugrundeliegenden Multimedia-Fähigkeiten auch die Erstellung, das Anzeigen und die Manipulation hochwertiger Multimediadokumente im allgemeinen stark fördern kann, einschließlich Animationen und Darstellungen, die zB im Lauf von Informationsanalyse und Modellierung entwickelt werden könnten. It is also understood really that the desktop teleconferencing and multimedia mail can promote strong underlying multimedia capabilities and the creation, viewing and manipulation of high-quality multimedia documents in general, including animations and illustrations that have developed eg in the course of information analysis and modeling could be. Des weiteren können diese Animationen und Darstellungen für individuellen anstatt für kollaborativen Gebrauch erzeugt werden, so daß das bevorzugte System über einen Zusammenarbeitskontext hinaus Nützlichkeit hat. Furthermore, these animations and illustrations for individual rather than for collaborative use can be generated so that the preferred system via a cooperation context also has utility.
  • [0010] [0010]
    Das bevorzugte System sieht ein Kollaborations-Multimedia-Arbeitsplatzsystem (CMW – Collaborative Multimedia Workstation) vor, bei dem Audio- und Videofähigkeiten sehr hoher Qualität leicht auf die bestehende Datenverarbeitungs- und Netzinfrastruktur eines Unternehmens, einschließlich Arbeitsplätze, LAN, WAN und Gebäudeverkabelung, überlagert werden können. The preferred system provides a collaborative multimedia workstation system (CMW - Collaborative Multimedia Workstation) before, in which audio and video capabilities of very high quality easy on the existing computing and network infrastructure of a company, including workstations, LAN, WAN and building wiring, are superimposed can.
  • [0011] [0011]
    In einer bevorzugten Ausgestaltung setzt die Systemarchitektur separate Echtzeit- und asynchrone Netzwerke ein – erstere für Echtzeit-Audio und -Video und letztere für Nicht-Echtzeit-Audio und -Video, Text, Grafiken und andere Daten sowie Kontrollsignale. In a preferred embodiment, the system architecture of separate real-time and asynchronous networks uses - former for real-time audio and video, and the latter for non-real-time audio and video, text, graphics and other data, and control signals. Diese Netzwerke sind zwischen verschiedenen Computern (zB Macintosh, Intel-gestützten PC und Sun-Workstations), Betriebssystemen (zB Apple System 7, DOS/Windows und UNIX) und Netzbetriebssystemen (zB Novell Netware und Sun ONC+) kompatibel. These networks are between different computers (eg, Macintosh Intel-based PCs and Sun workstations), operating systems (eg Apple System 7, DOS / Windows and UNIX), and network operating systems (eg Novell Netware and Sun ONC +) compatible. In vielen Fällen können die beiden Netzwerke sogar die gleiche Verkabelung und den gleichen Wandklinkenstecker haben. In many cases, both networks can actually have the same wiring and the same wall jack.
  • [0012] [0012]
    Die Systemarchitektur akkomodiert auch die Situation, in der die Desktop-Computer- und/oder -Kommunikationsausrüstung des Benutzers variierende Grade von Media-Verarbeitungsfähigkeiten bereitstellt. The system architecture also akkomodiert the situation in which the desktop computer and / or -Kommunikationsausrüstung the user provides varying levels of media-processing capabilities. Beispielsweise kann eine Kollaborationssitzung – in Echtzeit oder asynchron – Teilnehmer einbeziehen, deren Ausrüstung Fähigkeiten bereitstellt, die von nur Audio- (ein Telefon) oder nur Daten- (Personalcomputer mit Modem) bis hin zu einem kompletten Satz von Echtzeit-Hifi-Audio- und -Bewegtbildvideo- und Hochgeschwindigkeits-Datennetzeinrichtungen reicht. For example, a collaboration session - include participants whose equipment provides capabilities that only audio (telephone) or data (personal computer with a modem) to a complete set of real-time hi-fi audio and - in real time or asynchronously -Bewegtbildvideo- and high-speed data network equipment ranges.
  • [0013] [0013]
    Die CMW-Systemarchitektur ist leicht auf sehr große unternehmensweite Netzwerkumgebungen mit Tausenden von Benutzern skalierbar. The CMW system architecture is easily scalable to very large enterprise network environments with thousands of users. Des weiteren ist sie eine offene Architektur, die den einschlägigen Standards angepaßt werden kann. Furthermore, it is an open architecture that can be adapted to the relevant standards. Schließlich beinhaltet das CMW-System eine intuitive – aber doch leistungsstarke – Benutzeroberfläche, die das System leicht erlernbar und anwenderfreundlich macht. Finally, the CMW system includes an intuitive - but powerful - user interface that makes the system easy to learn and easy to use.
  • [0014] [0014]
    Das System stellt also eine verteilte Multimedia-Kollaborationsumgebung bereit, die dem Erreichen der Vorteile persönlicher Zusammenarbeit so nahe wie möglich kommt, bestehende Computer- und Netzinfrastruktur im größtmöglichen Grad optimal nutzt ("optimal ausschöpft"), sieh auf sehr große Netzwerke vergrößern läßt, die aus Tausenden von Arbeitsplätzen bestehen, mit aufkommenden Standards kompatibel ist und leicht zu erlernen und zu bedienen ist. Thus, the system provides a distributed multimedia collaboration environment that is as close as possible to achieve the benefits of personal cooperation, existing computer and network infrastructure to the maximum extent optimally utilized ("optimum use"), check can be increased to very large networks consist of thousands of jobs, with emerging standards compatible and is easy to learn and use.
  • KURZE BESCHREIBUNG DER ZEICHNUNGEN BRIEF DESCRIPTION OF THE DRAWINGS
  • [0015] [0015]
    1 1 ist eine Diagrammdarstellung des bevorzugten Multimedia-Kollaborationssystems. is a diagrammatic representation of the preferred multimedia collaboration system.
  • [0016] [0016]
    2A 2A und and 2B 2B sind Darstellungen eines Computerbildschirms, der, in dem in einem Standbild möglichen Grad, das Bewegtbildvideo und verwandte Benutzeroberflächenanzeigen veranschaulicht, die während des Betriebs des Systems von are illustrations of a computer screen, which, in the potential in a still image degrees, the motion video and related user interface displays illustrated by during operation of the system 1 1 erzeugt werden können. can be produced.
  • [0017] [0017]
    3 3 ist ein Bloick- und Prinzipdiagramm eines "lokalen Multimedia-Netzes" (MLAN). is a Bloick- and principle diagram of a "local multimedia network" (MLAN).
  • [0018] [0018]
    4 4 ist ein Block- und Prinzipdiagramm, das veranschaulicht, wie eine Mehrzahl geographisch verbreiteter MLAN der in is a block and schematic diagram illustrating how a plurality of geographically widespread MLANs in 3 3 gezeigten An über ein Fernnetz (WAN) verbunden werden können. shown at over a wide area network (WAN) can be connected.
  • [0019] [0019]
    5 5 ist ein Prinzipdiagramm, das illustriert, wie Kollaborationsstationen an entfernten Standorten L1–L8 konventionell über ein Fernnetz miteinander verbunden werden, indem jede Station einzeln mit jeder anderen Station verbunden wird. is a schematic diagram illustrating how collaboration stations are connected conventionally in remote locations L1-L8 via a trunk network with each other by each station is individually connected to any other station.
  • [0020] [0020]
    6 6 ist ein Prinzipdiagramm, das illustriert, wie Kollaborationsstationen an entfernten Standorten L1–L8 mit Hilfe eines Mehrsprungkonzeptes (Multi-Hopping-Konzept) über ein Fernnetz miteinander verbunden werden. is a conceptual diagram illustrating how collaboration stations in remote locations L1-L8 using a multi-hop concept (multi-hopping concept) are connected via a wide area network.
  • [0021] [0021]
    7 7 ist ein Blockdiagramm, das die im MLAN von is a block diagram showing the in the MLAN of 3 3 bereitgestellte Videomosaikschaltungsanordnung illustriert. provided video mosaicing circuitry illustrated.
  • [0022] [0022]
    8A 8A , . 8B 8B und and 8C 8C illustrieren das Videofenster eines typischen Computerbildschirms, das während des Betriebs des bevorzugten Systems erzeugt werden kann und das bei Zweiparteienrufen ( illustrate the video window of a typical computer screen that can be generated during the operation of the preferred system and the case of two-party call ( 8A 8A ) nur den Angerufenen ( ) Only the called party ( 8A 8A ) und zB für Vierparteien- ( ) And eg for Vierparteien- ( 8B 8B ) oder Achtparteien- ( ) Or Achtparteien- ( 8C 8C ) -Konferenzrufe ein Videomosaik aller Teilnehmer enthält. ) -Konferenzrufe Contains a video mosaic of all participants.
  • [0023] [0023]
    9 9 ist ein Blockdiagramm, das eine Ausgestaltung der im MLAN von is a block diagram of an embodiment of the MLAN 3 3 bereitgestellten Audiomischschaltungsanordnung illustriert. provided audio mixing circuitry illustrated.
  • [0024] [0024]
    10 10 ist ein Blockdiagramm, das die im MLAN von is a block diagram showing the in the MLAN of 3 3 bereitgestellte Video-Cut-and-Paste-Schaltungsanordnung (Schaltungsanordnung zum Ausschneiden und Einfügen von Videoabschnitten) illustriert. provided video cut-and-paste circuitry (circuitry to cut and paste video sections) illustrates.
  • [0025] [0025]
    11 11 ist ein Prinzipbild, das den typischen Betrieb der Video-Cut-and-Paste-Schaltungsanordnung in is a principle diagram in the typical operation of the video cut-and-paste circuitry 10 10 illustriert. illustrated.
  • [0026] [0026]
    12 12 - 17 17 (bestehend aus (Consisting of 12A 12A , . 12B 12B , . 13A 13A , . 13B 13B , . 14A 14A , . 14B 14B , . 15A 15A , . 15B 15B , . 16 16 , . 17A 17A und and 17B 17B ) illustrieren verschiedene Beispiele, wie das vorliegende System Videomosaiken, Video-Cut-and-Paste und Audiomischen an einer Mehrzahl von entfernten Standorten zur Übertragung über ein Fernnetz bereitstellt, um an der CMW jedes Konferenzteilnehmers bei den anderen Konferenzteilnehmern erfaßte Videobilder und Audio bereitzustellen. ) Illustrate various examples of how the present system video mosaics, video cut-and-paste and audio mixing provides at a plurality of remote locations for transmission over a wide area network to provide detected at the CMW each conference participant in the other conference participants video images and audio.
  • [0027] [0027]
    18A 18A und and 18B 18B illustrieren zwei verschiedene Formen einer CMW, die gemäß dem vorliegenden System eingesetzt werden können. illustrate two different forms of a CMW which may be employed in accordance with the present system.
  • [0028] [0028]
    19 19 ist ein Prinzipbild einer Ausgestaltung eines CMW-Zusatzgeräts, das eine integrierte Audio- und Video-Ein/Ausgabe-Schaltungsanordnung enthält. is a basic diagram of an embodiment of a CMW auxiliary device, the / includes an integrated audio and video An output circuitry.
  • [0029] [0029]
    20 20 illustriert CMW-Software, die auf ein standardmäßiges Multitasking-Betriebssystem und Anwendersoftware abgestimmt ist. illustrates CMW software, which is matched to a standard multitasking operating system and application software.
  • [0030] [0030]
    21 21 illustriert Softwaremodule, die bereitgestellt werden können, um zum Steuern des Betriebs der AV- und Datennetze auf dem MLAN-Server im MLAN von illustrates software modules that may be provided for controlling the operation of the AV and Data Networks on the MLAN Server in the MLAN of 3 3 zu laufen. to run.
  • [0031] [0031]
    22 22 illustriert ein vergrößertes Beispiel von "Kurzwahl"-Gesichtssymbolen bestimmter Kollaborationsteilnehmer in einem Kollaborationsinitiator-Fenster auf einem typischen CMW-Bildschirm, die während des Betriebs des Systems erzeugt werden können. illustrates a magnified example of "Speed Dial" -Gesichtssymbolen certain participants in a collaboration Collaboration Initiator window on a typical CMW screen that can be generated during the operation of the system.
  • [0032] [0032]
    23 23 ist eine Diagrammdarstellung der grundlegenden Betriebsereignisse, die während der Einleitung eines Zweiparteienrufs in einem bevorzugten System auftreten. is a diagrammatic representation of the basic operating events occurring during the initiation of a Zweiparteienrufs in a preferred system.
  • [0033] [0033]
    24 24 ist ein Block- und Prinzipbild, das illustriert, wie physische Verbindungen im MLAN von is a block and schematic diagram illustrating how physical connections in MLANs of 3 3 zum physischen Verbinden des ersten und des zweiten Arbeitsplatzes für einen Zweiparteienvideokonferenzruf aufgebaut werden. be established for physically connecting the first and second job for a Zweiparteienvideokonferenzruf.
  • [0034] [0034]
    25 25 ist ein Block- und Prinzipbild, das illustriert, wie physische Verbindungen in MLAN wie den in is a block and schematic diagram illustrating how physical connections in MLANs as in the 3 3 illustrierten für einen Zweiparteienvideokonferenzruf zwischen einer ersten, an einer Station befindlichen CMW und einer zweiten, an einer fernen Station befindlichen CMW aufgebaut werden: illustrated are built for a Zweiparteienvideokonferenzruf between a first, located at a station CMW and a second, located at a remote station CMW:
  • [0035] [0035]
    26 26 und and 27 27 sind Block- und Prinzipbilder, die illustrieren, wie im MLAN von are block and block diagrams that illustrate how the MLANs of 3 3 eine Konferenzbrücke bereitgestellt wird. a conference bridge is provided.
  • [0036] [0036]
    28 28 illustriert schaubildhaft, wie beim gemeinsamen Nutzen von Daten (Data-Sharing) ein Snapshot mit Annotationen in einer Mehrzahl von Bitmaps gespeichert werden kann. illustrated pictorially show how the sharing of data (data-sharing) a snapshot with annotations in a plurality can be stored bitmaps.
  • [0037] [0037]
    29 29 ist eine Prinzip- und Diagrammdarstellung der Interaktion zwischen den Leistungsmerkmalen Multimedia-Mail (MMM), Multimedia-Ruf-/Konferenz-Aufzeichnung (MMCR – Multimedia Call/Conference Recording) und Multimediadokumentenverwaltung (MMDM – Multimedia Document Management). is a Prinzip- and diagrammatic representation of the interaction between the features Multimedia Mail (MMM), multimedia call / conference recording (MMCR - Multimedia Call / Conference Recording) and multimedia document management (MMDM - Multimedia Document Management).
  • [0038] [0038]
    30 30 ist eine Prinzip- und Diagrammdarstellung der eingesetzten Multimediadokumentenarchitektur. is a Prinzip- and graph representation of multimedia document architecture used.
  • [0039] [0039]
    31A 31A illustriert einen zentralisierten Audio-/Videospeicherserver. illustrates a centralized audio / video storage server.
  • [0040] [0040]
    31B 31B ist eine Prinzip- und Diagrammdarstellung der Interaktionen zwischen dem Audio-/Videospeicherserver und dem Rest des CMW-Systems. is a Prinzip- and diagrammatic illustration of the interactions between the Audio / Video Storage Server and the remainder of the CMW System.
  • [0041] [0041]
    31C 31C illustriert eine alternative Form der in illustrates an alternative form of the in 31B 31B dargestellten Interaktionen. interactions shown.
  • [0042] [0042]
    31D 31D ist eine Prinzip- und Diagrammdarstellung der Integration von MMM-, MMCR- und MMDM-Leistungsmerkmalen. is a Prinzip- and diagrammatic representation of the integration of MMM, MMCR- and MMDM features.
  • [0043] [0043]
    32 32 illustriert eine verallgemeinerte Hardwareausführung eines skalierbaren Audio-/Videospeicherservers. illustrates a generalized hardware implementation of a scalable audio / video storage server.
  • [0044] [0044]
    33 33 illustriert eine Version des in illustrates a version of the in 32 32 illustrierten Servers mit größerem Durchsatz, die SCSI-gestütztes Koppelpunktschalten verwendet, um die Anzahl möglicher simultaner Datenübertragungen zu vergrößern. illustrated server with greater throughput, the SCSI-based crosspoint switch used to increase the number of possible simultaneous data transfers.
  • [0045] [0045]
    34 34 illustriert die resultierende Multimedia-Kollaborationsumgebung, die durch die Integration von Audio/Video/Telekonferenz und MMCR, MMM und MMDM erzielt wird. illustrates the resulting multimedia collaboration environment, which is achieved through the integration of audio / video / teleconferencing and MMCR, MMM and MMDM.
  • [0046] [0046]
    35 35 - 42 42 illustrieren eine Reihe von CMW-Bildschirmen, die während des Betriebs des bevorzugten Systems für ein typisches Szenario erzeugt werden können, an dem ein ferner Experte beteiligt ist, der viele der vom vorliegenden System bereitgestellten Leistungsmerkmale nutzt. illustrate a series of CMW screens which may be generated during the operation of the preferred system for a typical scenario where a remote expert is involved, which uses many of the features provided by the present system.
  • AUSFÜHRLICHE BESCHREIBUNG DER BEVORZUGTEN AUSGESTALTUNGEN GESAMTSYSTEMARCHITEKTUR DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS OVERALL SYSTEM ARCHITECTURE
  • [0047] [0047]
    Anfänglich wird auf Initially on 1 1 Bezug genommen, in der eine allgemeine graphische Ansicht eines Multimedia-Kollaborationssystems dargestellt wird. Reference is made, in a general diagrammatic view of a multimedia collaboration system is represented. Wie abgebildet, verbindet jedes einer Mehrzahl von "lokalen Multimedia-Netzen" (MLAN) As shown, connecting each of a plurality of "local multimedia networks" (MLAN) 10 10 über Leitungen via lines 13 13 eine Mehrzahl von CMW (Kollaborations-Multimedia-Arbeitsplätze) a plurality of CMW (collaborative multimedia workstations) 12-1 12-1 bis to 12-10 12-10 und stellt Audio-/Video-/Datenvernetzung zum Unterstützen der Zusammenarbeit unter CMW-Benutzern bereit. and provides audio / video / data networking to support collaboration among users CMW ready. Das WAN The WAN 15 15 wiederum verbindet mehrere MLAN in turn connects multiple MLANs 10 10 und weist im typischen Fall geeignete Kombinationen von öffentlichen analogen und digitalen Übertragungsnetzen auf. and typically includes appropriate combinations of public on analog and digital transmission networks. Mehrere MLAN Several MLANs 10 10 auf dem gleichen physischen Gelände können über Brücken/Routen on the same physical site can Bridges / routes 11 11 , wie gezeigt, mit Fernnetzen und miteinander verbunden werden. , As shown, with wide area networks and interconnected.
  • [0048] [0048]
    Das System von The system of 1 1 ermöglicht "Echtzeit"-Verzögerungs- und -Jitter-empfindliche Signale (zB Audio- und Video-Telekonferenzen in Echtzeit) und klassische asynchrone Datenübermittlung (zB Datenkontrollsignale sowie gemeinsam genutzte Text-, Grafik- und andere Medien) unter mehreren CMW enables "real time" -Verzögerungs- and -Jitter-sensitive signals (eg audio and video teleconferencing in real time) and classical asynchronous data transfer (eg, data control signals and shared text, graphics and other media) under several CMW 12 12 , ungeachtet ihrer räumlichen Position. Regardless of their geographic location. In In 1 1 sind zwar nur zehn CMW Although only ten CMW 12 12 abgebildet, es versteht sich aber, daß noch viel mehr bereitgestellt werden könnten. but ready, it will be appreciated that a lot more could be provided. Wie in How to 1 1 auch angedeutet, sind mehrere Multimedia-Ressourcen Also indicated are several multimedia resources 16 16 (zB Videogeräte, Laserplatten, Fernseheinspeisungen usw.) ebenfalls an die lokalen Multimedia-Netze (Eg, video equipment, laser discs, television feeds, etc.) also to local media networks 10 10 angeschlossen und dadurch von einzelnen CMW connected and thus of individual CMW 12 12 aus zugänglich. accessible.
  • [0049] [0049]
    CMW CMW 12 12 in in 1 1 kann jedweden einer Vielzahl von Betriebssystemtypen verwenden, wie zB Apple System 7, UNIX, DOS/Windows und OS/2. may use any of a variety of types of operating systems such as Apple System 7, UNIX, DOS / Windows and OS / 2. Die CMW können auch verschiedene Arten von Fenstersystemen haben. The CMW that different types of window systems have. Spezifische Beispiele einer CMW Specific examples of CMW 12 12 werden im folgenden in Verbindung mit den are hereinafter referred to in conjunction with the 18A 18A und and 18B 18B beschrieben. described. Es ist zu beachten, daß dieses System eine Mischung aus Betriebssystemen und Fenstersystemen bei einzelnen CMW zuläßt. It should be noted that this system allows for a mix of operating systems and window systems at each CMW.
  • [0050] [0050]
    Die CMW The CMW 12 12 stellt Echtzeit-Audio-/Video-/Datenfähigkeiten zusammen mit den üblichen Datenverarbeitungsfähigkeiten bereit, die von ihrem Betriebssystem bereitgestellt werden. provides real-time audio / video / data capabilities along with the usual data processing capabilities ready to be provided by your operating system. Beispielsweise illustriert For example illustrates 2A 2A einen CMW-Bildschirm, der Live-Bewegtbildvideo von drei Konferenzteilnehmern enthält, während a CMW-screen, live-motion video of three conferees contains, while 2B 2B von diesen Konferenzteilnehmern gemeinsam genutzte und annotierte Daten darstellt (Fenster unten links). of this conference participants shared and annotated data represents (lower left window). CMW CMW 12 12 sorgt für Duplexkommunikation über Leitungen provides duplex communication over lines 13 13 innerhalb des MLAN within the MLANs 10 10 für Audio-/Videosignale sowie für Datensignale. for audio / video signals and data signals. Von einer CMW From a CMW 12 12 übertragene Audio-Videosignale umfassen typischenfalls ein hochwertiges Live-Videobild und Audio des CMW-Bedieners. transmitted audio-video signals include typical if a high-quality live video and audio of the CMW operator. Diese Signale werden von einer Videokamera und einem Mikrofon an der CMW beschafft (über ein Zusatzgerät oder teilweise oder völlig in die CMW integriert), verarbeitet und dann für kostengünstigere Netzsendeuntereinheiten verfügbar gemacht. These signals are obtained from a video camera and a microphone to the CMW (via an accessory or partly or completely integrated into the CMW), processed and then made available for cost-effective network end subunits.
  • [0051] [0051]
    Von einer CMW From a CMW 12 12 vom MLAN from MLANs 10 10 empfangene Audio/Videosignale können im typischen Fall folgendes aufweisen: Videobilder von einem oder mehreren Konferenzteilnehmern und assoziiertes Audio, Video und Audio von Multimedia-Mail, zuvor aufgezeichnetes Audio/Video von früheren Rufen und Konferenzen und Standardfernsehen (zB CNN). received audio / video signals may typically comprise: Video images from one or more conference participants and associated audio, video and audio from multimedia mail, pre-recorded audio / video from earlier calls and conferences and standard channels (eg CNN). Empfangene Videosignale werden auf dem CMW-Bildschirm oder auf einem angrenzenden Monitor angezeigt, und das Begleitaudio wird von einem Lautsprecher, der in der CMW oder in ihrer Nähe bereitgestellt ist, wiedergegeben. Received video signals are displayed on the CMW-screen or on an adjacent monitor and the accompanying audio is of a loudspeaker, which is provided in the CMW or near them, are listed. Im allgemeinen könnten die benötigten Wandler und Signalverarbeitungshardware in die CMW integriert oder über ein CMW-Zusatzgerät bereitgestellt werden, wie angebracht. In general, the required converter and signal processing hardware could be integrated into the CMW or provided via a CMW accessory, as appropriate.
  • [0052] [0052]
    Es wurde als besonders vorteilhaft festgestellt, das oben beschriebene Video mit standardmäßiger Fernsehleistung von NTSC-Qualität bereitzustellen (dh 30 Rahmen pro Sekunde bei 640×480 Pixel pro Rahmen und der Entsprechung von 24 Farbbits pro Pixel) mit begleitendem Hifi-Audio (typisch zwischen 7 und 15 kHz). It has been found to be particularly advantageous to provide the video above with standard TV output NTSC quality (ie, 30 frames per second at 640 × 480 pixels per frame and the equivalent of 24 color bits per pixel) with accompanying hi-fi audio (typically between 7 and 15 kHz).
  • LOKALES MULTIMEDIA-NETZ (MLAN) LOCAL MEDIA NETWORK (MLAN)
  • [0053] [0053]
    Im folgenden wird Bezug genommen auf In the following reference is made to 3 3 , in der ein MLAN In which a MLAN 10 10 mit zehn CMW ( with ten CMW ( 12-1 12-1 ... ... 12-10 12-10 ) abgebildet ist, die über Leitungen ) Is shown, which via lines 13a 13a und and 13b 13b in ihm gekoppelt sind. are coupled in him. Das MLAN The MLANs 10 10 erstreckt sich im typischen Fall über eine Entfernung von einigen hundert Metern bis zu einigen Kilometern und ist gewöhnlich in einem Gebäude oder einer Gruppe nahe beieinanderliegender Gebäude angeordnet. extends typically over a distance of several hundred meters to several kilometers and is usually located in a building or a group of closely spaced buildings.
  • [0054] [0054]
    Angesichts des aktuellen Stands der Vernetzungstechnologien ist es nützlich (für die Erhaltung der Qualität und die Kostenminimierung), separate Signalwege für Echtzeit-Audio/Video und klassische asynchrone Datenübermittlung (einschließlich digitalisierter Audio- und Video-Anlagen für Multimedia-Mail-Mitteilungen, die frei von Beschränkungen der Echtzeit-Bereitstellung sind) bereitzustellen. Given the current state of networking technologies, it is useful (for the preservation of the quality and cost minimization), separate signal paths for real-time audio / video and classic asynchronous data transfer (including digitized audio and video systems for multimedia mail messages free are restrictions of the real-time deployment) provide. Zur Zeit werden analoge Verfahren zum Tragen von Echtzeit-Audio/Video bevorzugt. Currently analogous methods for carrying real-time audio / video are preferred. Eventuell werden in Zukunft digitale Verfahren angewendet werden. Any digital techniques will be used in the future. Digitale Audio- und Videosignalwege werden schließlich eventuell mit dem Datensignalweg als ein gemeinsamer digitaler Strom multiplexiert werden. Digital audio and video signal paths will eventually be multiplexed with the data signal path may as a common digital stream. Eine weitere Alternative ist, Echtzeit- und asynchrone Datenwege mit Hilfe von analogen Multiplexverfahren zusammen zu multiplexieren. Another alternative is to multiplex real-time and asynchronous data paths with the aid of analog multiplexed together. Zum Zweck der Veranschaulichung werden diese beiden Signalwege aber als physisch separate Kabel behandelt. For purposes of illustration, however, these two signal paths are treated as physically separate cables. Des weiteren trennt dieses System, da es analoge Vernetzung für Audio und Video verwendet, auch die Echtzeit- und asynchronen Vermittlungsmedien physisch voneinander und setzt im besonderen einen analogen Audio/Video-Schalt(verteil)er (-Switch) voraus. Furthermore separates this system because it uses analog networking for audio and video, the real-time and asynchronous switching media physically apart and puts in a special analog audio / video switching (distributing) he advance (-Switch). In Zukunft könnte ein gemeinsames Vermittlungsmedium (zB ATM) verwendet werden. In the future, a common exchange medium (eg ATM) could be used.
  • [0055] [0055]
    Das MLAN The MLANs 10 10 kann also unter Verwendung konventioneller Technologie realisiert werden, wie zB mit typischen Daten-LAN-Hubs So can be realized using conventional technology, such as with typical data-LAN hubs 25 25 und einer A/V-Vermittlungsschaltungsanordnung and an A / V Switching Circuitry 30 30 (wie in Fernsehstudios und anderen Betriebsfernsehnetzen verwendet), die über geeignete Sende-Empfänger und ungeschirmte verdrillte Zweidrahtleitungen (UTP-Kabel) mit den CMW (As used in television studios and other operating television networks), using proper transceiver and unshielded twisted pair cables (UTP) cable with the CMW 12 12 verbunden sind. are connected. In In 1 1 ist zu beachten, daß die Leitungen Note that the lines 13 13 , die jede CMW That each CMW 12 12 innerhalb ihres betreffenden MLAN within their respective MLANs 10 10 verknüpfen, zwei Leitungssätze link, two sets of lines 13a 13a und and 13b 13b umfassen: Leitungen include: lines 13a 13a sorgen für Audio/Video-Duplexkommunikation innerhalb des MLAN provide audio / video-duplex communication within the MLANs 10 10 , während die Leitungen , While the lines 13b 13b für die Daten-Duplexkommunikation sorgen. ensure data-duplex communication. Diese Trennung erlaubt, daß konventionelle lokale Netze (LAN) für die Datenkommunikation verwendet werden und ein ergänzendes Netzwerk für die Audio/Video-Kommunikation verwendet wird. This separation allows that conventional local networks (LAN) used for data communication and a complementary network for audio / video communication is used. Diese Trennung ist zwar in dem illustrierten System vorteilhaft, es versteht sich aber auch hier, daß die Audio-Video/Daten-Vernetzung über eine sehr große Vielfalt von analogen und digitalen Multiplexsystemen auch mit einem einzigen Leitungspaar für Audio-/Video- und Datenkommunikation ausgeführt werden kann. This separation is indeed in the illustrated system advantageous, but it should also be understood here that the audio-video / data networking over a very wide variety of analog and digital multiplexing systems running with a single pair of wires for audio / video and data communications can be.
  • [0056] [0056]
    Die Leitungen The lines 13a 13a und and 13b 13b können zwar auf verschiedene Weisen ausgeführt werden, zur Zeit wird aber die Verwendung von üblicherweise installierten vierpaarigen UTP-Telefonkabeln bevorzugt, bei der ein Paar für ankommendes Video mit einmultiplexiertem Begleitaudio (mono oder stereo) verwendet wird, das andere Paar für abgehendes multiplexiertes Audio/Video verwendet wird und die übrigen beiden Paare zum Tragen ankommender und abgehender Daten auf Weisen verwendet werden, die mit bestehenden LAN konform sind. Although can be performed in different ways, at the time but the use of four-pair UTP telephone cables usually installed is preferred, in which a pair of incoming video with einmultiplexiertem accompanying audio (mono or stereo) is used, the other pair for outgoing multiplexed audio / video is used and the other two pairs are used to support incoming and outgoing data in ways that are consistent with existing LAN. Beispielsweise benutzt 10BaseT Ethernet RJ-45-Kontaktstifte For example, using 10BaseT Ethernet RJ-45 pins 1 1 , . 2 2 , . 4 4 und and 6 6 , so daß Kontaktstifte So that the contact pins 3 3 , . 5 5 , . 7 7 und and 8 8 für die beiden A/V-UTP-Kabelleitungen verfügbar sind. are available for the two A / V UTP cable lines. Das resultierende System ist mit standardmäßiger (AT&T 258A, EIA/TIA 568, 8P8C, 10BaseT, ISDN, 6P6C usw.) Telefonverkabelung kompatibel, die in Telefon- und LAN-Kabelanlagen in den meisten Bürogebäuden weltweit allgemein anzutreffen sind. The resulting system is compatible with standard (AT & T 258A, EIA / TIA 568, 8P8C, 10BaseT, ISDN, 6P6C, etc.) telephone wiring, which are generally to be found worldwide in most office buildings in telephone and LAN cable systems. Diese UTP-Kabel werden in Hierarchie- oder Peer-Anordnungen von Sterntopologien verwendet, um das unten beschriebene MLAN These UTP cables are used in hierarchical or peer-arrangements of star topologies to the MLANs described below 10 10 zu schaffen. to accomplish. Es ist zu beachten, daß der Entfernungsbereich der Datenkabel oft dem von Video und Audio gleichkommen muß. It should be noted that the distance range of the data cables often must come from the same video and audio. Diverse UTP-kompatible Daten-LAN-Netzwerke können verwendet werden, wie zB Ethernet, FDDI, ATM usw. Für größere Entfernungen als die vom LAN-Protokoll spezifizierte maximale Entfernung können Datensignale für richtigen UTP-Betrieb zusätzlich verarbeitet werden. Various UTP-compatible data-Fi networks can be used, such as Ethernet, FDDI, ATM, etc. For longer distances than the specified maximum distance from the LAN protocol data signals for proper operation UTP can also be processed.
  • [0057] [0057]
    Wie in How to 3 3 gezeigt, sind die Leitungen shown, the lines are 13a 13a von jeder CMW of each CMW 12 12 an einen konventionellen Daten-LAN-Hub to a conventional data-LAN hub 25 25 gekoppelt, was die Übermittlung von Daten (einschließlich Kontrollsignalen) unter derartigen CMW ermöglicht. coupled, which enables the transmission of data (including control signals) under such CMW. Die Leitungen The lines 13b 13b in in 3 3 sind an die A/V-Vermittlungsschaltungsanordnung are connected to the A / V Switching Circuitry 30 30 angeschlossen. connected. Eine oder mehr Konferenzbrücken One or more conference bridges 35 35 sind zum Bereitstellen von Mehrparteienkonferenzen auf eine besonders vorteilhafte Weise, wie sie im folgenden ausführlicher beschrieben wird, über Leitungen are for providing multi-party conferencing in a particularly advantageous manner, as will be described in more detail hereinafter, via lines 35b 35b bzw. and 35a 35a an AV-Vermittlungsschaltungsanordnung to AV Switching Circuitry 30 30 und möglicherweise (falls benötigt) den Daten-LAN-Hub and possibly (if required) the data-LAN hub 25 25 gekoppelt. coupled. Ein WAN-Gateway A WAN gateway 40 40 sorgt für die Duplexkommunikation zwischen MLAN provides for duplex communication between MLANs 10 10 und WAN and WAN 15 15 in in 1 1 . , Zu diesem Zweck sind der Daten-LAN-Hub For this purpose, the Data LAN hub 25 25 und die A/V-Vermittlungsschaltungsanordnung and the A / V Switching Circuitry 30 30 über Ausgänge on outputs 25a 25a bzw. and 30a 30a an WAN-Gateway to WAN gateway 40 40 gekoppelt. coupled. Andere Vorrichtungen sind an die A/V-Vermittlungsschaltungsanordnung Other devices are connected to the A / V Switching Circuitry 30 30 und den Daten-LAN-Hub and the Data LAN hub 25 25 angeschlossen, um zusätzliche Merkmale hinzuzufügen (wie Multimedia-Mail, Konferenzaufzeichnung usw.), wie unten besprochen. connected to add additional features (such as multimedia mail, conference recording, etc.), as discussed below.
  • [0058] [0058]
    Die Steuerung der A/V-Vermittlungsschaltungsanordnung The control of the A / V Switching Circuitry 30 30 , der Konferenzbrücken , The conference bridges 35 35 und des WAN-Gateway and the WAN gateway 40 40 in in 3 3 wird vom MLAN-Server is from MLANs server 60 60 über die Leitungen via lines 60b 60b bzw. and 60c 60c bzw. and 60d 60d bereitgestellt. provided. Vorzugsweise unterstützt der MLAN-Server Preferably, the MLANs server support 60 60 die TCP/IP-Netzprotokollfamilie. the TCP / IP network protocol family. Dementsprechend kommunizieren Softwareprozesse auf den CMW Accordingly, software processes communicate to the CMW 12 12 mit Hilfe dieser Protokolle über MLAN using these protocols over MLANs 10 10 miteinander und mit dem MLAN-Server with each other and with the MLAN Server 60 60 . , Es könnten auch andere Netzprotokolle verwendet werden, wie zB IPX. There could be other network protocols are used, such as IPX. Die An und Weise, in der auf MLAN-Server At the ways in which to MLANs server 60 60 laufende Software den Betrieb des MLAN software running on the operation of the MLANs 10 10 steuert, wird im folgenden ausführlich beschrieben. controls, is described in detail in the following.
  • [0059] [0059]
    In In 3 3 ist zu beachten, daß der Daten-LAN-Hub Note that the Data LAN hub 25 25 , die A/V-Vermittlungsschaltungsanordnung The A / V Switching Circuitry 30 30 und MLAN-Server and MLANs server 60 60 auch jeweils Leitungen also each line 25b 25b bzw. and 30b 30b und and 60e 60e zum Koppeln zusätzlicher Multimedia-Ressourcen for coupling of additional multimedia resources 16 16 ( ( 1 1 ) bereitstellen, wie zB Multimediadokumentenverwaltung, Multimedia-Dateisysteme, Radio-/Fernsehkanäle usw. Der Daten-LAN-Hub ) Provide, such as multimedia document management, multimedia file systems, radio / TV channels, etc. The data LAN Hub 25 25 (über Brücken/Router (Bridges / routers 11 11 in in 1 1 ) und die A/V-Vermittlungsschaltungsanordnung ) And the A / V Switching Circuitry 30 30 stellen zusätzlich die Leitungen provide additional lines 25c 25c und and 30c 30c zum Koppeln an ein oder mehrere MLAN for coupling to one or more MLAN 10 10 , die sich am gleichen Ort befinden (dh nicht weit genug entfernt, um die Verwendung von WAN-Technologie zu erfordern), bereit. Which is at the same site (ie, not far enough away to require the use of WAN technology), ready. Wo Fernnetze benötigt werden, werden WAN-Gateways Where remote networks, will be distributed WAN gateway 40 40 verwendet, um Kompressionsverfahren und -standards höchster Qualität auf eine Ressourcen gemeinsam nutzende Weise bereitzustellen, wodurch die Kosten am Arbeitsplatz für ein bestimmtes WAN-Qualitätsniveau reduziert werden, wie unten beschrieben. used to provide compression methods and standards of the highest quality on a shared resource-use manner, thereby reducing costs in the workplace for a particular WAN quality, as described below.
  • [0060] [0060]
    Als nächstes werden die grundlegenden Betriebsfunktionen des in den Next, the basic operating functions of the 1 1 und and 3 3 gezeigten bevorzugten Kollaborationssystems betrachtet. preferred collaboration system shown considered. Wichtige Merkmale des vorliegenden Systems liegen nicht nur im Bereitstellen von Mehrparteien-Desktop-Audio/Video/Daten-Telekonferenzen in Echtzeit unter geographisch verteilten CMW vor, sondern auch im Bereitstellen von Audio/Video/Daten/Text/Grafik-Mail-Fähigkeiten vom gleichen Desktop-Computer aus sowie Zugang zu anderen Ressourcen, wie zB Dateisystemen, Audio- und Videodateien, Übersichtkameras, Standard-Fernsehkanäle usw. Important features of this system are not only in providing multi-party desktop audio / video / data teleconferencing available in real time with geographically dispersed CMW, but also in providing audio / video / data / text / graphic-mail capabilities from the same desktop computer and access to other resources, such as file systems, audio and video files, summary cameras, standard TV channels, etc. 2B 2B illustriert einen CMW-Bildschirm, der eine Mailbox für Multimedia-E-Mail (Fenster oben links) zeigt, die Hinweise auf eine Anzahl von empfangenen Mitteilungen zusammen mit einer Videoanlage (Fenster oben rechts) zur ausgewählten Mitteilung enthält. illustrates a CMW screen of a mailbox for multimedia E-mail (top left window) shows the evidence of a number of received messages together with a video system includes (top right window) for the selected message.
  • [0061] [0061]
    Die A/V-Vermittlungsschaltungsanordnung The A / V Switching Circuitry 30 30 (digital oder analog, wie im bevorzugten System), wieder bezugnehmend auf (Digital or analog as in the preferred system), again with reference to 1 1 und and 3 3 , stellt gemeinsame Audio/Videovermittlung für die CMW , Provides common audio / video switch for the CMW 12 12 , die Konferenzbrücken The conference bridge 35 35 , den WAN-Gateway , The WAN gateway 40 40 und die Multimedia-Ressourcen and the multimedia resources 16 16 bereit, wie von MLAN-Server prepared as described by MLANs server 60 60 bestimmt, der wiederum die Konferenzbrücken determined, in turn, the conference bridges 35 35 und WAN-Gateway and WAN gateway 40 40 steuert. controls. Desgleichen werden asynchrone Daten innerhalb des MLAN Likewise, be asynchronous data within the MLANs 10 10 unter Verwendung allgemein üblicher Datenübermittlungsformate, wenn möglich (zB für das Snapshot-Sharing), übermittelt, so daß das System derartige Daten ungeachtet ihres Ursprungs auf eine gemeinschaftliche Weise bearbeiten kann, wodurch Multimedia-Mail und das gemeinsame Nutzen von Daten (Data-Sharing) sowie Audio/Videoübermittlung ermöglicht werden. using data generally used transmission formats, if possible (eg for the snapshot sharing), transmitted, so that the system can regardless of its source edit such data in a collaborative way, making multimedia mail and the sharing of data (data sharing) and audio / video transmission are possible.
  • [0062] [0062]
    Zum Beispiel sendet zum Bereitstellen einer Mehrparteien-Telekonferenz eine einleitende CMW For example, sends for providing a multi-party teleconferencing an introductory CMW 12 12 über Daten-LAN-Hub About Data LAN hub 60 60 Signale an MLAN-Server Signals to MLANs server 60 60 , mit denen die gewünschten Konferenzteilnehmer identifiziert werden. With which the desired conference members are identified. Nachdem bestimmt worden ist, welche dieser Konferenzteilnehmer den Ruf akzeptieren werden, steuert der MLAN-Server After determining which of these conference participants accept the call, controls the MLANs server 60 60 die A/V-Vermittlungsschaltungsanordnung the A / V Switching Circuitry 30 30 (und CMW-Software über das Datennetz) zum Einrichten der erforderlichen Audio/Video- und Datenwege zu den Konferenzteilnehmern, die am gleichen Standpunkt wie die einleitende CMW sind. (CMW and software over the data network) to set up the necessary audio / video and data paths to the conference participants who are in the same position as the introductory CMW.
  • [0063] [0063]
    Wenn sich einer oder mehrere der Konferenzteilnehmer an fernen Standorten befinden, steuern die betreffenden MLAN-Server If one or more of the conference participants are in remote areas to control the MLANs server in question 60 60 der beteiligten MLAN the participating MLANs 10 10 auf Peer-to-Peer-Basis ihre betreffende A/V-Vermittlungsschaltungsanordnung peer-to-peer basis of their respective A / V Switching Circuitry 30 30 , Konferenzbrücken , Conference bridges 35 35 und WAN-Gateways and WAN gateway 40 40 zum Einrichten geeigneter Übermittlungswege (über WAN to set up a suitable transmission (over WAN 15 15 in in 1 1 ), wie sie zum Verbinden der Konferenzteilnehmer miteinander benötigt werden. ), Such as are required for interconnecting the conferees. Die MLAN-Server The MLANs server 60 60 kommunizieren über Datenwege auch miteinander, so daß jedes MLAN communicating over data paths with each other and so that each MLAN 10 10 aktualisierte Informationen zu den Fähigkeiten aller der System-CMW updated information on the capabilities of all the system CMW 12 12 enthält und auch die aktuellen Standorte aller für Telekonferenzen verfügbaren Parteien. and also includes the current locations of all parties available for teleconferencing.
  • [0064] [0064]
    Die Echtzeit-Datenkonferenzkomponente (Data Conferencing) des oben beschriebenen Systems unterstützt die gemeinsame Nutzung von visuellen Informationen an einer oder mehreren CMW (wie unten ausführlicher beschrieben). The real-time data conferencing component (Data Conferencing) of the above-described system supports the sharing of visual information at one or more CMWs (as more fully described below). Das umfaßt "Snapshot-Sharing" (gemeinsames Nutzen von "Schnappschüssen" vollständiger oder teilweiser Bildschirme oder von einem oder mehreren ausgewählten Fenstern) und "Application-Sharing" (gemeinsames Bedienen und Anzeigen geöffneter Anwendungen). This includes "snapshot Sharing" (common benefit of "snapshots" of complete or partial screens or from one or more selected windows) and "Application Sharing" (joint operation and display open applications). Beim Übertragen von Bildern kann verlustlose oder leicht verlustbehaftete Bildkompression verwendet werden, um unter Beibehaltung einer hohen Bildqualität die Netzbandbreitenerfordernisse und von Benutzern empfundene Verzögerung zu reduzieren. When transferring images to lossless or lossy image compression easily be used to reduce while maintaining high image quality, the network bandwidth requirements and perceived by users delay.
  • [0065] [0065]
    In allen Fällen kann jeder Teilnehmer auf die gemeinsam genutzten Daten zeigen oder sie mit Anmerkungen versehen. In all cases, each participant can point to the shared data or they annotate. Diese assoziierten Telezeigerhinweise und Annotationen erscheinen auf dem CMW-Bildschirm jedes Teilnehmers, während sie gezeichnet werden (dh effektiv in Echtzeit). These associated tele-pointer notes and annotations appear on the CMW screen of each participant as they are drawn (ie effectively in real time). Es ist beispielsweise It is, for example, 2B 2B zu beachten, die einen typischen CMW-Bildschirm während einer Mehrparteien-Telekonferenzsitzung darstellt, bei der der Bildschirm annotierte gemeinsam genutzte Daten sowie Videobilder der Konferenzteilnehmer enthält. Note that represents a typical CMW screen during a multi-party teleconferencing session, in which the screen contains annotated shared data and video images of conference participants. Wie unten ausführlicher beschrieben, können sämtliches Audio/Video und alle Daten der Telekonferenz oder Teile davon an einer CMW (oder innerhalb von MLAN As described below, sämtliches audio / video and all the data of the teleconference or parts thereof, may at a CMW (or within MLANs 10 10 ) komplett mit allen Dateninteraktionen aufgezeichnet werden. ) Are completely recorded using all data interactions.
  • [0066] [0066]
    In der oben beschriebenen Anordnung können Audio-/Videodateiendienste entweder an den einzelnen CMW In the above arrangement, audio / video files can either disable the individual CMW 12 12 oder durch Einsetzen eines zentralisierten Audio-/Videospeicherserver implementiert werden. be implemented or by inserting a centralized audio / video storage server. Das ist ein Beispiel der vielen Arten zusätzlicher Server, die zum grundlegenden System von MLAN This is an example of the many kinds of additional servers to the basic system of MLANs 10 10 hinzugefügt werden können. can be added. Ein ähnlicher Ansatz wird zum Einbinden anderer Multimedia-Dienste, wie kommerzieller Fernsehkanäle, Multimedia-Mail, Multimediadokumentenverwaltung, Multimedia-Konferenz-Aufzeichnung, Darstellungsserver usw. (wie unten ausführlicher beschrieben), verwendet. A similar approach is used to include other multimedia services, such as commercial TV channels, multimedia mail, multimedia document management, multimedia conference recording, presentation server, etc. (as more fully described below). Anwendungen, die auf einer CMW unabhängig laufen, können zwar mit Sicherheit leicht hinzugefügt werden, aber in der Art und Weise, in der das MLAN Applications that run independently on a CMW can be easily added though for sure, but in the manner in which the MLANs 10 10 , der Speicher und andere Funktionen ausgeführt und optimal genutzt werden, wird diese Fähigkeit von der Erfindung stark ausgedehnt. , Memory and other functions are performed and optimal use of this ability is greatly extended by the invention.
  • [0067] [0067]
    Insbesondere können Standardsignalformate, Netzschnittstellen, Benutzeroberflächen-Mitteilungen und Rufmodelle die reibungslose Integration praktisch jeder Multimedia-Ressource in das System zulassen. In particular, standard signal formats, network interfaces, user messages and Rufmodelle can practically allow the seamless integration of each multimedia resource in the system. Eine solche reibungslose Integration fördernde Faktoren sind ua: (i) ein gemeinsamer Mechanismus für Benutzerzugang im ganzen Netzwerk; Such a smooth integration promoting factors include: (i) A common mechanism for user access across the network; (ii) eine gemeinsame Metapher (zB Durchführen eines Rufs) für den Benutzer zum Einleiten der Benutzung einer derartigen Ressource, (iii) die Fähigkeit einer Funktion (zB einer Multimedia-Konferenz oder eines Multimedia-Dateisystems) zum Zugang zu und zum Austauschen von Informationen mit einer anderen Funktion (zB Multimedia-Mail) und (iv) die Fähigkeit zum Erweitern eines solchen Zugangs einer vernetzten Funktion durch eine weitere vernetzte Funktion auf relativ komplexe Verschachtelungen einfacherer Funktionen (zB Aufzeichnen einer Multimediakonferenz, bei der eine Gruppe von Benutzern auf Multimedia-Mail-Mitteilungen zugegriffen hat und sie auf ein Multimedia-Dateisystem übertragen hat, und dann Senden eines Teils der gerade erstellten Konferenzaufzeichnung als eine neue Multimedia-Mail-Mitteilung, gegebenenfalls unter Einsatz eines Multimedia-Mail-Editors). (Ii) a common metaphor (for example, performing a call) for the user to initiate use of such resource, (iii) the ability of a function (for example, a multimedia conference or multimedia file system) for access to and for exchanging information another function (eg multimedia mail) and (iv) the ability to expand this type of access a networked function by another networked function on relatively complex nesting of simpler functions (eg recording a multimedia conference in which a group of users to multimedia mail messages accessed and transferred to a multimedia file system, and then sending a part of the conference record just created as a new multimedia mail message, possibly making use of a Multimedia Mail editor).
  • [0068] [0068]
    Ein einfaches Beispiel der reibungslosen Integration von Funktionen, die durch den oben beschriebenen Ansatz ermöglicht wird, ist, daß die zum Snapshot-Sharing (unten beschrieben) verwendete Software für eine graphische Benutzeroberfläche auch als eine Ein-/Ausgabe-Schnittstelle für Multimedia-Mail und allgemeinere Formen von Multimediadokumenten verwendet werden kann. A simple example of the smooth integration of functions which is provided by the above approach is that the snapshot for sharing (described below) used software for a graphical user interface as an input / output interface for multimedia mail and more general forms of multimedia documents can be used. Dies kann bewerkstelligt werden, indem die Protokolle für die Kommunikation zwischen Prozessen so strukturiert werden, daß sie bei allen diesen Anwendungen einheitlich sind. This can be accomplished using the protocols for the communication between processes can be structured so that they are identical for all these applications. Kompliziertere Beispiele – speziell Multimedia-Konferenz-Aufzeichnung, Multimedia-Mail und Multimediadokumentenverwaltung – werden im folgenden detailliert dargelegt. More complicated examples - especially multimedia conference recording, multimedia mail and multimedia document management - are detailed in the following.
  • FERNNETZ – WAN REMOTE NETWORK - WAN
  • [0069] [0069]
    In Verbindung mit Combined with 4 4 wird als nächstes die vorteilhafte Methode beschrieben, mit der das vorliegende System Echtzeitübermittlung von Audio/Video/Daten unter geographisch verstreuten MLAN will be described next advantageous method by which the present system real-time transmission of audio / video / data scattered among geographically MLANs 10 10 über WAN over WAN 15 15 ( ( 1 1 ) bereitstellt, wodurch Übermittlungsverzögerungen, Kosten und Verschlechterung der Videoqualität gegenüber dem, was man anderweitig erwarten würde, beträchtlich minimiert werden. ) Provides, making transmission delays, costs and degradation of the video quality compared to what you would expect otherwise be considerably minimized.
  • [0070] [0070]
    Vier MLAN Four MLANs 10 10 sind an den Standorten A, B, C und D dargestellt. are illustrated at locations A, B, C and D. CMW CMW 12-1 12-1 bis to 12-10 12-10 , A/V-Vermittlungsschaltungsanordnung A / V Switching Circuitry 30 30 , Daten-LAN-Hub , Data LAN hub 25 25 und WAN-Gateway and WAN gateway 40 40 an jedem Standort entsprechen den in den meet at any location specified in the 1 1 und and 3 3 gezeigten. shown. Es ist zu sehen, daß jedes WAN-Gateway It can be seen that each WAN gateway 40 40 in in 4 4 einen über WAN-Vermittlungsmultiplexer a WAN switching multiplexer 44 44 an WAN to WAN 15 15 gekoppelten Router/Codec-(R&C)-Block coupled router / codec (R & C) block 42 42 umfaßt. includes. Der Router wird für den Datendurchgang und der Codec für den Audio/Video-Durchgang (für die Übertragung von Multimedia-Mail- und Dokumenten sowie für Videokonferenzen) verwendet. The router is used for the data throughput and the codec for the audio / video passage used (for the transmission of multimedia mail, documents and video conferencing). Es können Codecs verwendet werden, die von mehreren Händlern sind oder verschiedene Kompressionsalgorithmen unterstützen. It can be used codecs from several dealers or support different compression algorithms. Im bevorzugten System sind der Router und der Codec mit dem Vermittlungsmultiplexer kombiniert, so daß sie eine integrierte Einheit bilden. In the preferred system, the router and codec are combined with the switching multiplexer, so that they form an integrated unit.
  • [0071] [0071]
    Meist setzt sich das WAN In most cases, the WAN is 15 15 aus von öffentlichen T1- oder ISDN-Netzen bereitgestellten digitalen (Wähl- oder Stand-) Strecken zusammen, in welchem Fall WAN-Vermittlungsmultiplexer provided by the public from T1 or ISDN digital networks (dial-up or stand) routes together, in which case WAN switching multiplexer 44 44 von der geeigneten Art sind (T1, ISDN, Fractional-T1, T3, Switched 56 Kbps usw.). of the appropriate type (T1, ISDN, fractional T1, T3, switched 56 Kbps, etc.). Es ist zu beachten, daß der WAN-Vermittlungsmultiplexer It should be noted that the WAN switching multiplexer 44 44 unter den T1-, T3- oder ISDN-Trägern typisch Subkanäle schafft, deren Bandbreite ein Mehrfaches von 64 kbit/s ist (dh 256 kbit/s, 384, 786 usw.). among the T1, T3 or ISDN carriers typically creates subchannels whose bandwidth is a multiple of 64 kbit / s (ie, 256 kbit / s, 384, 786, etc.). Beim Verwenden von Stand- oder Wähldiensten von 56 kbit/s von diesen Trägern werden eventuell Umkehr-Multiplexer benötigt. When using still or Wähldiensten of 56 kbit / s inverse multiplexer may be required by these carriers.
  • [0072] [0072]
    In der Richtung von MLAN In the direction of MLANs 10 10 zu WAN to WAN 15 15 stellt der Router/Codec-Block The router / codec block 42 42 in in 4 4 konventionelle Analog-Digital-Umwandlung und Komprimierung von aus der A/V-Vermittlungsschaltungsanordnung Conventional analog-to-digital conversion and compression of the A / V Switching Circuitry 30 30 empfangenen Audio-/Video-Signalen zur Übertragung über WAN-Vermittlungsmultiplexer received audio / video signals for transmission over WAN switching multiplexer 44 44 an WAN to WAN 15 15 bereit sowie die Übertragung und die Lenkung (Routing) von aus dem Daten-LAN-Hub ready, transmission and steering (routing) of data from the LAN hub 25 25 empfangenen Datensignalen. received data signals. In der Richtung von WAN In the direction from the WAN 15 15 zu MLAN to MLANs 10 10 stellt jeder Router/Codec-Block , each router / codec block 42 42 in in 4 4 Digital- Analog-Umwandlung und Expansion von über WAN-Vermittlungsmultiplexer Digital to analog conversion and expansion of over WAN switching multiplexer 44 44 aus WAN from WAN 15 15 empfangenen digitalen Audio-/Videosignalen zur Übertragung an die A/V-Vermittlungsschaltungsanordnung received digital audio / video signals for transmission to the A / V Switching Circuitry 30 30 bereit sowie die Übertragung von aus WAN ready and the transfer of from WAN 15 15 empfangenen Datensignalen zum Daten-LAN-Hub received data signals for data-LAN hub 25 25 . ,
  • [0073] [0073]
    Das System stellt auch optimale Routen für Audio/Video-Signale durch das WAN bereit. The system also provides optimal routes for audio / video signals through the WAN ready. Beispielsweise kann Standort A in For example, Site A in 4 4 entweder eine direkte Route zu Standort D über Weg either a direct route to site D on way 47 47 oder eine Zwei-Sprung-Route durch Standort C über Wege or a two-hop route by Site C on ways 48 48 und and 49 49 nehmen. take. Wenn der direkte Weg If the direct path 47 47 , der Standort A und Standort D verbindet, nicht verfügbar ist, könnte die Mehrwegroute über Standort C und die Wege That Site A and Site D links is not available, could the multipath route on Site C and the ways 48 48 und and 49 49 verwendet werden. be used.
  • [0074] [0074]
    In einem komplexeren Netzwerk sind meist mehrere Mehrsprungrouten verfügbar, wobei in diesem Fall das Routingsystem die Entscheidungsfindung übernimmt, die zB auf Fragen der Netzbelastung basieren kann. In a more complex network, several multi-hop routes are usually available, in which case the routing system adopts the decision may be based on issues of network load, for example. Die resultierende Zwei-Ebenen-Netzhierarchie ist zu beachten: ein Dienst von MLAN The resulting two-level network hierarchy is observed: a service of MLANs 10 10 zu MLAN to MLANs 10 10 (dh Station-zu-Station), der Codecs nur an Verbindungsendpunkten miteinander verbindet. (Ie station-to-station) connecting codecs with one another only at connection endpoints.
  • [0075] [0075]
    Die Kosteneinsparungen, die durch Bereitstellen der oben beschriebenen Mehrsprungfähigkeit (mit Zwischen-Codec-Umgehung) ermöglicht werden, sind sehr beträchtlich, wie beim Beachten der Beispiele von The cost savings made possible by providing the multi-hop capability described above (with intermediate codec bypass), are very considerable, as in the observance of the examples of 5 5 und and 6 6 offensichtlich wird. is obvious. 5 5 zeigt, daß die Verwendung des konventionellen "vollvermaschten" Standort-zu-Standort-Ansatzes sechsunddreißig WAN-Strecken für das Verbinden der neun Standorte L1 bis L8 miteinander erfordert. shows that the use of the conventional "fully meshed" site-to-site approach L1 to L8 requires thirty-six WAN connections for connecting the nine sites with each other. Andererseits sind unter Verwendung der obigen Mehrsprungfähigkeiten nur neun WAN-Strecken erforderlich, wie in On the other hand, only nine WAN connections are required, using the above multi-hop skills, such as in 6 6 gezeigt. shown. Mit zunehmender Standortzahl wird der Kostenunterschied noch größer. With an increasing number of sites the cost difference is even greater. Beispielsweise würde der konventionelle Ansatz für 100 Standorte ungefähr 5.000 WAN-Strecken benötigen, während der Mehrsprungansatz des vorliegenden Systems typisch 300 oder weniger (möglicherweise beträchtlich weniger) WAN-Strecken erfordern würde. For example, the conventional approach for 100 sites would need about 5,000 WAN connections, while the multi-hop approach of the present system would typically 300 or less (perhaps considerably less) require WAN connections. Spezifische WAN-Strecken für den Mehrsprungansatz des Systems würden zwar zum Tragen des zusätzlichen Verkehrs eine höhere Bandbreite benötigen, die damit verbundenen Kosten sind aber verglichen mit den Kosten für die vom konventionellen Ansatz benötigte sehr viel größere Anzahl von WAN-Strecken viel kleiner. Specific WAN connections for multi-hop system approach would indeed need to carry the additional traffic a higher bandwidth, the associated costs are but compared to the cost of the conventional approach required much larger number of WAN connections much smaller.
  • [0076] [0076]
    An den Endpunkten eines Weitverkehrsrufes lenkt der WAN-Vermittlungsmultiplexer Audio-/Video-Signale direkt von der WAN-Netzschnittstelle durch einen verfügbaren Codec zu MLAN At the end points of a long-distance call WAN switching multiplexer audio / video signals draws directly from the WAN interface through an available codec MLANs 10 10 und umgekehrt. and vice versa. An Zwischensprungstellen im Netzwerk werden Videosignale aber von einer Netzschnittstelle am WAN-Vermittlungsmultiplexer zu einer anderen Netzschnittstelle gelenkt. An intermediate discontinuities in the network video signals but is directed by a network interface to the WAN switching multiplexer to another network interface. Für diesen Zweck könnte zwar A/V-Vermittlungsschaltungsanordnung Although A could for this purpose / V Switching Circuitry 30 30 verwendet werden, aber das bevorzugte System stellt Vermittlungsfunktionalität im WAN-Vermittlungsmultiplexer bereit. be used, but the preferred system provides mediation functionality in the WAN switching multiplexer. Dadurch vermeidet es, Audio-/Videosignale durch Codecs zur analogen Vermittlungsschaltungsanordnung lenken zu müssen, wodurch zusätzliche Codec-Verzögerungen an den Zwischenstandorten vermieden werden. Thus, it avoids having to steer audio / video signals to codec for analog switching circuitry, which provides additional codec to avoid delays at intermediate locations.
  • [0077] [0077]
    Ein zum Durchführen der oben für WAN-Vermittlungsmultiplexer A to perform the above for WAN switching multiplexer 44 44 beschriebenen grundlegenden Vermittlungsfunktionen fähiges Produkt ist von der Teleos Corporation, Eatontown, New Jersey (USA), erhältlich. described basic switching functions enabled product is Teleos Corporation, Eatontown, New Jersey (USA), available. Von diesem Produkt ist nicht bekannt, daß es zum Bereitstellen von dynamischer und Mehrsprung-Audio/Video-Vermittlung unter verschiedenen WAN-Strecken, wie oben beschrieben, verwendet wurde. This product has not known that it was used to provide dynamic and multi-hop audio / video switching among different WAN connections, as described above.
  • [0078] [0078]
    Zusätzlich zu dem oben beschriebenen Mehrsprungansatz sieht das vorliegende System eine besonders vorteilhafte Methode zum Minimieren von Verzögerung, Kosten und Verschlechterung der Videoqualität in einer geographisch verteilte Stationen einbeziehenden Mehrparteien-Video-Telekonferenz vor, während es immer noch vollständige Konferenzansichten von allen Teilnehmern liefert. In addition to the multi-hop approach described above, the present system provides a particularly advantageous method for minimizing delay, cost and degradation of the video quality inclusive in a geographically distributed stations multi-party video-teleconferencing, while it still provides full conference views of all participants. Normalerweise muß jede Station jedem Teilnehmer einen separaten Codec zuteilen (in Router/Codec-Block Normally, each station each participant must allocate a separate codec (in router / codec block 42 42 in in 4 4 ) sowie eine gleiche Anzahl von WAN-Linien (über WAN-Vermittlungsmultiplexer ) And an equal number of WAN lines (over WAN switching multiplexer 44 44 in in 4 4 ), damit für die CMW an allen Stationen gleichzeitig Live-Audio/Video jedes Teilnehmers an einer Telekonferenz bereitgestellt wird. ), At the same time live audio / video of each participant is provided in a teleconference for the CMW at all stations.
  • [0079] [0079]
    Wie als nächstes beschrieben werden wird, erlaubt das illustrierte System aber vorteilhafterweise jeder Fern-Audio/Video-Telekonferenz die Verwendung nur eines Codecs an jeder Station und eine minimale Anzahl von WAN-Digitallinien. As will be described next, the illustrated system advantageously each remote audio / video teleconferencing but allowed to use only one codec at each station and a minimal number of WAN digital lines. Im Grunde erzielt das illustrierte System dieses wichtigste Ergebnis, indem es "verteilte" Videomosaikbearbeitung über eine "Cut-and-Paste"-Technologie zusammen mit verteiltem Audiomischen einsetzt. Basically, the illustrated system achieves this important result by "distributed" video mosaicing have a "cut-and-paste" technology used together with a distributed audio mixing.
  • VERTEILTE VIDEOMOSAIKBEARBEITUNG DISTRIBUTED VIDEO PROCESSING MOSAIC
  • [0080] [0080]
    7 7 veranschaulicht eine bevorzugte Methode zum Bereitstellen von Videomosaikbearbeitung im MLAN von illustrates a preferred method for deploying video mosaicing in MLANs of 3 3 – dh durch Kombinieren der einzelnen analogen Videobilder von den an einer Telekonferenz teilnehmenden Einzelpersonen in einem einzelnen analogen Mosaikbild. - Ie by combining the individual analog video from participating in a teleconference individuals in a single analog mosaic image. Wie in How to 7 7 gezeigt, werden analoge Videosignale shown, analog video signals 112-1 112-1 bis to 112-n 112-n von den Teilnehmern einer Telekonferenz an Videomosaikschaltungsanordnung by the participants of teleconferencing video mosaicing circuitry 36 36 gelegt, die als Teil von Konferenzbrücke specify the conference bridge as part of 35 35 in in 3 3 bereitgestellt wird. is provided. Diese analogen Videoeingänge These analog video inputs 112-1 112-1 bis to 112-n 112-n werden von der A/V-Vermittlungsschaltungsanordnung are of the A / V Switching Circuitry 30 30 ( ( 3 3 ) erhalten und können Videosignale von CMW an einer oder mehreren fernen Stationen (über WAN-Gateway And receive) to video signals from CMWs at one or more remote stations (via WAN gateway 40 40 empfangen) sowie von anderen CMW an der lokalen Station beinhalten. received), and include other CMW at the local station.
  • [0081] [0081]
    Die als Block dargestellte Videomosaikschaltungsanordnung The video mosaicing circuitry illustrated as a block 36 36 kann N einzelne analoge Videobildsignale empfangen (wobei N eine ganze Quadratzahl ist, dh 4, 9, 16 usw.). N can receive individual analog video signals (where N is an integer square number, ie, 4, 9, 16, etc.). Schaltungsanordnung Circuitry 36 36 reduziert zunächst die Größe der N Eingangsvideosignale, indem es die Auflösungen jeder um einen Faktor M reduziert (wobei M die Quadratwurzel von N (dh 2, 3, 4 usw.) ist) und sie dann in einem M-für-M-Mosaik aus N Bildern anordnet. first reduces the size of the N input video signals, by each reduces the resolution by a factor of M (where M is the square root of N (ie, 2, 3, 4, etc.)), and then out in a M-by-M mosaic N images orders. Das aus Videomosaikschaltungsanordnung The mosaic of video circuitry 36 36 erhaltene resultierende eine analoge Mosaik obtained resulting analog mosaic 36a 36a wird dann an die einzelnen CMW zur Anzeige auf deren Bildschirmen übertragen. is then transmitted to the individual CMWs for display on the screens.
  • [0082] [0082]
    Wie im folgenden offensichtlich werden wird, ist es eventuell vorzuziehen, ein anderes Mosaik an ferne Stationen zu senden, wobei Videomosaikschaltungsanordnung As will hereinafter become apparent, it may be preferable to send another mosaic of distant stations, video mosaicing circuitry 36 36 in diesem Fall ein zusätzliches Mosaik In this case, an additional mosaic 36b 36b für diesen Zweck bereitstellen würde. would provide for this purpose. Ein typisches angezeigtes Mosaikbild (N=4, M=2), das drei Teilnehmer zeigt, ist in A typical displayed mosaic image (N = 4, M = 2), showing three participants in 2A 2A dargestellt. shown. Ein vier Teilnehmer enthaltendes Mosaik wird in A four participants containing mosaic is in 8B 8B gezeigt. shown. Es versteht sich, daß nur ein Codec und eine Digitallinie benötigt werden, da ein Mosaik ( It is understood that only one codec and digital line are needed since a mosaic ( 36a 36a oder or 36b 36b ) über WAN ) Over WAN 15 15 ( ( 1 1 und and 4 4 ) als ein einzelnes Videobild zu einer weiteren Station übertragen werden kann. ) Can be transmitted as a single video frame to another station. Wenn nur ein einzelnes Videobild von einer Station gesendet werden muß, kann es selbstverständlich direkt gesendet werden, ohne in ein Mosaik eingebunden zu werden. If only a single video frame must be transmitted by a station, it can be sent directly of course, without being involved in a mosaic.
  • [0083] [0083]
    Es ist zu beachten, daß für große Konferenzen mehrere Videomosaiken eingesetzt werden können, eine für jedes von den CMW unterstützte Videofenster (siehe zB It should be noted that for large conferences several video mosaics can be used, one for each supported by the CMW video window (see, eg, 8C 8C ). ). In sehr großen Konferenzen ist es auch möglich, nur von einer ausgewählten Schwerpunktgruppe Video anzuzeigen, deren Mitglieder durch dynamische "Parkettsteuerungs"-Mechanismen ausgewählt werden. In very large conferences, it is also possible to display only from a selected focus group video, whose members are selected by dynamic "floor control" mechanisms. Es ist auch zu beachten, daß es mit zusätzlicher Mosaik-Hardware möglich ist, jeder CMW ihr eigenes Mosaik zu geben. It should also be noted that it is possible with additional hardware mosaic to give each CMW their own mosaic. Das kann in kleinen Konferenzen verwendet werden, um die maximale Teilnehmerzahl (von M 2 auf M 2 + 1 – dh 5, 10, 17 usw.) zu vergrößern oder um in einer großen Konferenz jedem seine eigene "Schwerpunktgruppen"-Ansicht zu geben. This can be used in small conferences to the maximum number of participants (M 2 to M 2 + 1 - ie, 5, 10, 17, etc.) to enlarge or to give in a major conference each his own "cluster" view.
  • [0084] [0084]
    Es ist außerdem zu beachten, daß das bisher beschriebene und unten fortgesetzte gesamte Videomosaikbearbeitungskonzept zutrifft, wenn anstelle analoger Übertragung digitale Videoübertragung verwendet wird, besonders deshalb, weil Mosaik- und Videofensterimplementierungen intern digitale Formate verwenden und in derzeitigen Produkten für externe Schnittstellen in analoges Format und aus analogem Format umgewandelt werden. It should also be noted that the previously described and below continued entire video mosaicing concept applies if, instead of analog transmission digital video transmission is used, especially as mosaic and video window implementations internally use digital formats and current products for external interfaces to analog format and from analog format to be converted. Insbesondere ist zu beachten, daß die Mosaikbearbeitung mit vielen bestehenden Komprimierungssystemen digital ohne Expansion durchgeführt werden kann. In particular, note that mosaicing can be carried out with many existing compression systems digitally without expansion. Des weiteren kann die Mosaikbearbeitung bei einem vollkommen digitalen Ansatz nach Bedarf direkt auf der CMW vorgenommen werden. Furthermore, the mosaic processing can be carried out directly on the CMW in a completely digital approach as needed.
  • [0085] [0085]
    9 9 illustriert als Block dargestellte Audiomischschaltungsanordnung Audio mixing circuit arrangement shown illustrated as a block 38 38 zur Verwendung in Verbindung mit der Videomosaikschaltungsanordnung for use in conjunction with the video mosaicing circuitry 36 36 in in 7 7 , die beide Teil von Konferenzbrücken Which are both part of the conference bridge 35 35 in in 3 3 sein können. can be. Wie in How to 9 9 gezeigt, werden Audiosignale shown, audio signals 114-1 114-1 bis to 114-n 114-n zum Kombinieren an Audiosummierungsschaltungsanordnung for combining at Audiosummierungsschaltungsanordnung 38 38 gelegt. down. Diese Eingangsaudiosignale These input audio signals 114-1 114-1 bis to 114-n 114-n können Audiosignale von lokalen Teilnehmern wie auch Audiosummen von Teilnehmern an fernen Stationen aufweisen. can output audio signals of local participants as well as audio sums of participants at remote stations have. Audiomischschaltungsanordnung Audio mixing circuitry 38 38 stellt für jeden Teilnehmer jeweils einen "minus 1"-Summenausgang provides each participant on a "minus 1" -Summenausgang 38a-1 38a-1 , . 38a-2 38a-2 usw. bereit. etc. ready. Jede/r Teilnehmerin hört also das Audio jedes Konferenzteilnehmers außer sein/ihr eigenes. Thus, each / r participant hears the audio of each conference participant except his / her own.
  • [0086] [0086]
    In bevorzugten System werden Summen zerlegt und in einer verteilten Weise geformt, wobei an einer Station Teilsummen erstellt werden, die an anderen Stationen durch Einfügen entsprechender Signale vervollständigt werden. In preferred system totals are broken and formed in a distributed manner, at a station subtotals are created that are completed at other stations by inserting corresponding signals. Dementsprechend kann die Audiomischschaltungsanordnung Accordingly, the audio mixing circuitry 38 38 eine oder mehr zusätzliche Summen zum Senden an andere Stationen mit Konferenzteilnehmern bereitstellen, wie durch Ausgang provide one or more additional sums for sending to other stations with conference participants, as output by 38b 38b angedeutet. indicated.
  • [0087] [0087]
    Als nächstes ist zu betrachten, wie Video-Cut-and-Paste-Verfahren vorteilhaft – eingesetzt werden. Next, look at, such as video cut-and-paste method advantageous - are used. Da Videomosaiken und/oder einzelne Videobilder von einer oder mehreren Stationen gesendet werden können, versteht es sich, daß das Problem aufgeworfen wird, wie diese Situationen zu behandeln sind. Because video mosaics and / or individual video images can be transmitted from one or more stations, it is understood that the problem is raised of how these situations are dealt with. Für diesen Zweck wird Video-Cut-and-Paste-Schaltungsanordnung For this purpose, video cut-and-paste circuitry 39 39 , wie in As shown in 10 10 illustriert, bereitgestellt und kann auch in die Konferenzbrücken illustrated, and can also be provided in the conference bridges 35 35 in in 3 3 eingebunden werden. be integrated.
  • [0088] [0088]
    Video-Cut-and-Paste-Schaltungsanordnung Video cut-and-paste circuitry 39 39 , bezugnehmend auf , Referring to 10 10 , empfängt analoge Videoeingänge Receives analog video inputs 116 116 , die aus einem oder mehr Mosaiken oder einzelnen Videobildern, die von einer oder mehr fernen Stationen empfangen wurden, und einem Mosaik oder einzelnen Videobild, das von der lokalen Station produziert wurde, zusammengesetzt sind. Consisting of one or more mosaics or individual video frames that have been received from one or more remote stations, and are a mosaic or a single video image, which was produced by the local station assembled. Es wird davon ausgegangen, daß die lokale Videomosaikschaltungsanordnung It is assumed that the local video mosaicing circuitry 36 36 ( ( 7 7 ) und die Video-Cut-and-Paste-Schaltungsanordnung ) And the video cut-and-paste circuitry 39 39 die Fähigkeit zum Handhaben aller der angelegten einzelnen Videobilder haben oder auf Basis bestehender verfügbarer Signale zumindest wählen können, welche anzuzeigen sind. have the ability to handle all of the created video frames or on the basis of available existing signals at least be able to choose which are to be reported.
  • [0089] [0089]
    Die Video-Cut-and-Paste-Schaltungsanordnung The video cut-and-paste circuitry 39 39 digitalisiert die ankommenden analogen Videoeingänge digitizes the incoming analog video inputs 116 116 , ordnet die digitalen Signale selektiv bereichsweise neu an, um ein einzelnes digitales M-für-M-Mosaik zu produzieren, das einzelne Bilder in ausgewählten Bereichen hat, und wandelt das resultierende digitale Mosaik dann wieder in analoge Form um, um ein einzelnes analoges Mosaikbild The digital signals assigned selectively in some areas new to to produce a single digital M-by-M-mosaic that has individual images in selected areas, and then converts the resulting digital mosaic back into analog form to a single analog mosaic image 39a 39a zum Senden an lokale Teilnehmer (und gegebenenfalls andere Stationen) bereitzustellen, bei dem die einzelnen Eingangsvideobilder in den entsprechenden Bereichen sind. provide for transmission to local participants (and possibly other stations), in which the individual input video images in the corresponding areas are. Dieses resultierende analoge Cut-and-Paste-Mosaik This resulting analog cut-and-paste mosaic 39a 39a stellt den gleichen Anzeigentyp wie in provides the same display type as in 8B 8B bereit. ready. Wie im folgenden offensichtlich werden wird, ist es manchmal von Nutzen, verschiedene Cut-and-Paste-Mosaiken an verschiedene Stationen zu senden, wobei die Video-Cut-and-Paste-Schaltungsanordnung As will become apparent in the following, it is sometimes useful to send different cut-and-paste mosaics on various stations, the video cut-and-paste circuitry 39 39 in diesem Fall zusätzliche Cut-and-Paste-Mosaiken In this case, additional cut-and-paste mosaics 39b-1 39b-1 , . 39b-2 39b-2 usw. für diesen Zweck bereitstellt. etc. provides for this purpose.
  • [0090] [0090]
    11 11 illustriert graphisch ein Beispiel, wie Video-Cut-and-Paste-Schaltungsanordnungen funktionieren können, um das analoge Cut-and-Paste-Mosaik graphically illustrates an example of how to do video cut-and-paste circuitry to convert the analog cut-and-paste mosaic 39a 39a bereitzustellen. provide. Wie in How to 11 11 gezeigt, werden vier digitalisierte einzelne Signale shown, four individual digitized signals 116a 116a , . 116b 116b , . 116c 116c und and 116d 116d , die von den Eingangsvideosignalen abgeleitet sind, in ausgewählte Bereiche eines digitalen Vollbildpufferspeichers Derived from the input video signals into selected regions of a digital frame buffer 17 17 "eingefügt" (Paste), um ein digitales 2×2-Mosaik zu bilden, das in ein analoges Ausgangsvideomosaik "Inserted" (paste) to form a digital 2 × 2 mosaic into an analog output video mosaic 39a 39a oder or 39b 39b in in 10 10 umgewandelt wird. is converted. Die erforderlichen Audioteilsummen können auf gleiche Weise von der Audiomischschaltungsanordnung The audio portion of sums required can in the same way from the audio mixer circuit arrangement 39 39 in in 9 9 bereitgestellt werden, wobei jeder Cut-and-Paste-Video-Vorgang durch einen Teilsummenvorgang ersetzt wird. are provided, each cut-and-paste video-operation is replaced by a partial sum process.
  • [0091] [0091]
    Nachdem in Verbindung mit den After in conjunction with the 7 7 - 11 11 beschrieben wurde, wie Videomosaikbearbeitung, Audiomischen, Video-Cut-and-Paste und verteiltes Audiomischen durchgeführt werden können, veranschaulicht die folgende Beschreibung der was described as mosaic video editing, audio mixing, video cut-and-paste and distributed audio mixing can be done illustrates the following description of the 12 12 - 17 17 , wie diese Fähigkeiten im Kontext der Fern-Videokonferenzen kombiniert vorteilhaft verwendet werden können. How these skills can be combined used in the context of remote video conferencing advantageous. Für dieser Beispiele wird davon ausgegangen, daß die Telekonferenz vier Teilnehmer hat, die mit A, B, C und D bezeichnet werden, wobei in diesem Fall 2×2-(Quadrat-)Mosaiken eingesetzt werden. For these examples, it is assumed that the teleconference has four participants who are designated A, B, C and D, with 2 × 2 (square) mosaics are used in this case. Es versteht sich, daß größere Teilnehmerzahlen bereitgestellt werden könnten. It is understood that larger numbers of participants could be provided. Auch könnten zwei oder mehr gleichzeitig stattfindende Telekonferenzen gehandhabt werden, wobei in diesem Fall an den verschiedenen Stationen zusammen mit zusätzlichen WAN-Wegen zusätzliche Mosaik-, Cut-and-Paste- und Audiomischschaltungsanordnungen bereitgestellt würden. Two or more concurrent teleconferencing could be handled and, in this case would be provided at the various stations along with additional WAN for securing additional mosaic, cut-and-paste and mixed audio circuitry. Für jedes Beispiel illustriert die Figur "A" das bereitgestellte Videomosaikbearbeiten und Cut-and-Paste und die entsprechende Figur "B" (mit der gleichen Figurnummer) illustriert das bereitgestellte assoziierte Audiomischen. For each example, the character "A" the provided video mosaic edit and cut-and-paste and the corresponding figure "B" illustrates (with the same figure number) illustrates the provided associated audio mixing. Es ist zu beachten, daß diese Figuren typische Verzögerungen, die angetroffen werden könnten, für jedes Beispiel andeuten (wobei eine einzelne Verzögerungs-⌷EINHEIT⌷ von 0 = 450 Millisekunden reicht, je nach der verfügbaren Kompressionstechnologie). It should be noted that these figures, typical delays that might be encountered for each example indicate (wherein a single delay ⌷EINHEIT⌷ of 0 = 450 milliseconds is sufficient, depending on the available compression technology).
  • [0092] [0092]
    12A 12A und and 12B 12B illustrieren ein Zwei-Stationen-Beispiel mit zwei Teilnehmern A und B an Station Nr. 1 und zwei Teilnehmern C und D an Station Nr. 2. Es ist zu beachten, daß dieses Beispiel Mosaikbearbeitung und Cut-and-Paste an beiden Stationen benötigt. illustrate a two-station embodiment with two participants A and B at Site #. 1 and two participants C and D at station # 2. It should be noted that this example requires mosaicing and cut-and-paste at both sites.
  • [0093] [0093]
    13A 13A und and 13B 13B illustrieren ein weiteres Zwei-Stationen-Beispiel, aber mit drei Teilnehmern A, B und C an Station Nr. 1 und einem Teilnehmer an Station Nr. 2. Es ist zu beachten, daß dieses Beispiel Mosaikbearbeitung an beiden Stationen, Cut-and-Paste aber nur an Station Nr. 2 benötigt. illustrate a further two-station example, but having three participants A, B and C at Site #. 1 and a subscriber station in # 2. It should be noted that this example mosaicing at both sites, cut-and-paste but requires only at station no. 2.
  • [0094] [0094]
    14A 14A und and 14B 14B illustrieren ein Drei-Stationen-Beispiel mit Teilnehmern A und B an Station Nr. 1, Teilnehmer C an Station Nr. 2 und Teilnehmer D an Station Nr. 3. An Station Nr. 1 werden die beiden lokalen Videos A und B in ein Mosaik gesteckt, das sowohl an Station Nr. 2 als auch an Station Nr. 3 gesendet wird. illustrate a three-station example with participants A and B at station no. 1, station C to station no. 2 D and participants at Station # 3. At station no. 1, the two local video A and B in a mosaic inserted, which is sent to both Site #. 2 as well as at Site #. 3. An Station Nr. 2 und an Station Nr. 3 wird das einzelne Video (C oder D) an dieser Station mit Hilfe von Cut-and-Paste in den leeren Bereich im importierten A-, B- und D- bzw. C-Mosaik, wie gezeigt, eingefügt. At station Nos. 2 and at station no. 3, the single video (C or D) is at this station by using cut-and-paste in the empty area in the imported A-, B- and D- and C-mosaic , as shown, is inserted. Dementsprechend wird die Mosaikbearbeitung an allen drei Stationen benötigt und Cut-and-Paste wird nur für Station Nr. 2 und Station Nr. 3 benötigt. Accordingly, the mosaic processing is required at all three stations and cut-and-paste is only required for station no. 2 and station no. 3.
  • [0095] [0095]
    15A 15A und and 15B 15B illustrieren ein weiteres Drei-Stationen-Beispiel mit Teilnehmer A an Station Nr. 1, Teilnehmer B an Station Nr. 2 und Teilnehmer C und D an Station Nr. 3. Es ist zu beachten, daß die Mosaikbearbeitung und Cut-and-Paste an allen Stationen benötigt wird. illustrate a further three-station example with user A to station no. 1, station B to station no. 2, and Party C and D at station no. 3. It should be noted that the mosaicing and cut-and-paste of all stations is required. Station Nr. 2 hat außerdem die Fähigkeit, verschiedene Cut-and-Paste-Mosaiken an Station Nr. 2 und Station Nr. 3 zu senden. Station no. 2 also has the ability to use different cut-and-paste mosaics at station no. 2 and station no. 3 to send. Des weiteren ist bezüglich Further, with respect to 15B 15B zu beachten, daß Station Nr. 2 Minus-1-Audiomischungen für Station Nr. 1 und Station Nr. 2 erstellt, für Station Nr. 3 aber nur eine teilweise Audiomischung (A & B) bereitstellt. Note that station no. 2 minus 1 audio mixes for Station Nos. 1 and station no. 2 created 3 but (A & B) provides for station no. only a partial audio mix. Diese teilweisen Mischungen werden an Station Nr. 3 durch Einmischen des Signals von C zum Vervollständigen der Mischung von D (A+B+C) und des Signals von D zum Vervollständigen der Mischung von C (A+B+D) vervollständigt. These partial mixes are completed at Site #. 3 by mixing the signal from C to complete the mixture of D (A + B + C) and the signal from D to complete the mixture of C (A + B + D).
  • [0096] [0096]
    16 16 illustriert ein Vier-Stationen-Beispiel, das eine Sterntopologie verwendet, mit einem Teilnehmer an jeder Station; illustrates a four-station example using a star topology, having one participant at each station; dh Teilnehmer A ist an Station Nr. 1, Teilnehmer B ist an Station Nr. 2, Teilnehmer C ist an Station Nr. 3 und Teilnehmer D ist an Station Nr. 4. Eine Audioimplementierung ist für dieses Beispiel nicht illustriert, da an Station Nr. 1 standardmäßiges Minus-1-Mischen durchgeführt werden kann und die entsprechenden Summen an die anderen Stationen übertragen werden können. ie subscriber A is at station no. 1, station B is at station no. 2, participants C at station no. 3 and subscriber D is at station # 4. An audio implementation is not illustrated in this example, as at Site # . 1 standard Minus 1 mixing can be performed and the corresponding sums can be transferred to other stations.
  • [0097] [0097]
    17A 17A und and 17B 17B illustrieren ein Vier-Stationen-Beispiel, das ebenfalls nur einen Teilnehmer an jeder Station hat, aber anstelle einer Sterntopologie, wie im Beispiel von illustrate an example of four-station, which also has only one participant at each station, but rather than a star topology as in the example of 16 16 , eine Linientopologie verwendet. A line topology used. Es ist zu beachten, daß bei diesem Beispiel an allen Stationen Mosaikbearbeitung und Cut-and-Paste erforderlich sind. It is important to note that mosaicing and cut-and-paste are required in this example at all stations. Außerdem ist zu beachten, daß Station Nr. 2 und Station Nr. 3 jeweils zwei verschiedene Arten von Cut-and-Paste-Mosaiken übertragen müssen. Note also that station Nos. 2 and station no. 3 must transmit two different types of cut-and-paste mosaics respectively.
  • [0098] [0098]
    Die bevorzugte Ausgestaltung stellt auch die Fähigkeit bereit, einem Konferenzteilnehmer die Auswahl einer Nahaufnahme eines in einem Mosaik angezeigten Teilnehmers zu erlauben. The preferred embodiment also provides the capability to allow a conferee selection of a closeup of a displayed in a mosaic participant. Diese Fähigkeit wird immer dann bereitgestellt, wenn ein einzelnes Videovollbild an der Station dieses Benutzers verfügbar ist. This ability will always be provided if a single video frame at the station this user is available. In einem solchen Fall vermittelt die A/V-Vermittlungsschaltungsanordnung In such a case provides the A / V Switching Circuitry 30 30 ( ( 3 3 ) das ausgewählte Videovollbild (vor Ort beschafft oder von einer anderen Station erhalten) zu der CMW, die die Nahaufnahme anfordert. ) The selected video frame (obtained locally or received from another station) to the CMW requesting the close-up.
  • [0099] [0099]
    Als nächstes werden in Verbindung mit Next, in connection with 18A 18A , . 18B 18B , . 19 19 und and 20 20 diverse Formen einer CMW beschrieben. described various forms of CMW.
  • HARDWARE DES KOLLABORATIVEN MULTIMEDIA-ARBEITSPLATZES HARDWARE OF COLLABORATIVE MULTIMEDIA WORKPLACE
  • (CMW) (CMW)
  • [0100] [0100]
    Eine Form einer CMW One form of CMW 12 12 wird in is in 18A 18A illustriert. illustrated. Derzeit erhältliche Personalcomputer (zB ein Apple Macintosh oder ein TBM-kompatibler PC, Desktop- oder Laptop-Computer) und Computerarbeitsplätze (zB eine Sun SPARCstation Workstation) können zum Arbeiten mit dem vorliegenden System angepaßt werden, um Merkmale wie Echtzeit-Videokonferenzen, -Datenkonferenzen (Data Conferencing), Multimedia-Mail usw. bereitzustellen. Currently available personal computer (eg an Apple Macintosh or a TBM-compatible PC, desktop or laptop computer) and computer workstations (eg, a Sun SPARCstation workstation) can be adapted to work with the present system features such as real-time video conferencing, -Datenkonferenzen (Data Conferencing) to provide multimedia mail, etc.. In Geschäftssituationen kann es vorteilhaft sein, einen Laptop-Computer für Betrieb mit reduzierter Funktionalität über Zellulartelefonverbindungen und entfernbare Speichermedien (zB CD-ROM, Videoband mit Zeitcode-Unterstützung usw.) einzurichten, im Büro dann aber wieder über eine an das MLAN In business situations, it may be advantageous to set up a laptop computer for operation with reduced functionality via Zellulartelefonverbindungen and removable storage media (eg CD-ROM, video tape with timecode support, etc.), in the office but then again a to the MLANs 10 10 gekoppelte Dockingstation eine uneingeschränkte Kapazität anzunehmen. coupled docking station to accept an unlimited capacity. Hierfür wird ein Sprach- und Datenmodem als weiterer, an das MLAN angeschlossener Funktionsserver benötigt. For this, a voice and data modem as another, connected to the server MLANs function is needed.
  • [0101] [0101]
    Die derzeit erhältlichen Personalcomputer und Computerarbeitsplätze dienen als grundlegende Arbeitsplatzplattform. The personal computer and computer workstations available today serve as a basic workstation platform. Durch Hinzufügen bestimmter Audio- und Video-Ein-/Ausgabegeräte zu den Standardkomponenten der grundlegenden Plattform By adding certain audio and video input / output devices to the standard components of the basic platform 100 100 (wobei die Standardkomponenten den Monitor (Where the standard components of the monitor 200 200 , die Tastatur The keyboard 300 300 und die Maus oder das Tablett (oder eine andere Zeigevorrichtung) and mouse or tablet (or other pointing device) 400 400 aufweisen), die alle durch Standardperipherieanschlüsse have), all by standard peripheral connections 101 101 , . 102 102 und and 103 103 an das grundlegende Plattformgehäuse angeschlossen werden, kann die CMW Echtzeit-Audio- und -Videosignale generieren und empfangen. be connected to the basic platform housing, can generate and receive the CMW real-time audio and video signals. Zu diesen Geräten gehört eine Videokamera These devices include a video camera 500 500 zum Erfassen des Bilds, der Mimik und der Umgebung des Benutzers (insbesondere das Gesicht und den Oberkörper des Benutzers), ein Mikrofon for detecting the image of the facial expressions and the user's environment (especially the face and the user's upper body), a microphone 600 600 zum Erfassen der gesprochenen Worte des Benutzers (und aller anderen an der CMW erzeugten Geräusche), ein Lautsprecher for detecting the user's spoken words (and any other sounds generated at the CMW), a speaker 700 700 zum Präsentieren ankommender Audiosignale (wie die gesprochenen Worte eines anderen Teilnehmers einer Videokonferenz oder Audioannotationen zu einem Dokument), eine Videoeingabekarte to present incoming audio signals (such as the spoken words of another participant of a video conference or Audioannotationen to a document), a video input board 130 130 in der Grundplattform in the base platform 100 100 zum Erfassen ankommender Videosignale (zB das Bild eines anderen Teilnehmers, einer Videokonferenz oder Videomail) und eine Videoanzeigekarte for detecting incoming video signals (eg the image of another user, a video conferencing or video mail) and a video display card 120 120 zum Anzeigen von Video- und Grafikausgaben auf Monitor for displaying video and graphics output on monitor 200 200 (wobei Video meist in einem separaten Fenster angezeigt wird). (Where video is usually displayed in a separate window).
  • [0102] [0102]
    Diese Audio- und Video-Ein-/Ausgabeperipherien sind bei einer Vielzahl verschiedener Händler leicht erhältlich und fangen gerade an zu Standardmerkmalen in bestimmten Personalcomputern und Arbeitsplätzen (Workstations) (und oft physisch in den Monitor und/oder die Grundplattform von diesen integriert) zu werden. These audio and video input / output peripherals are readily available at a variety of retailers and are just beginning to standard features in certain personal computers and workstations (workstations) (and often physically integrated into the monitor and / or the base platform of these) to be , Siehe zB den oben erwähnten BYTE-Artikel ("Video Conquers the Desktop" – "Video erobert den Desktop-Computer"), der die aktuellen Modelle der Apple Macintosh Personalcomputer der AV-Serie und der Indy Workstations von Silicon Graphic beschreibt. See, eg, the above-mentioned BYTE article ("Video Conquers the Desktop" - "Video conquered the desktop computer"), the current models of the Apple Macintosh personal computer describes the AV Series and Indy workstations from Silicon Graphics.
  • [0103] [0103]
    Zusatzgerät Attachment 800 800 (in (In 18A 18A gezeigt und in and shown in 19 19 detaillierter illustriert) integriert zusätzliche Funktionen (wie zB adaptive Echokompensation und Signalvermittlung (Switching)) in diese Audio- und Video-Ein-/Ausgabegeräte und bildet die Schnittstelle zum AV-Netzwerk illustrated in more detail) integrated additional functions (such as adaptive echo cancellation and signal switching (switching)) in these audio and video input / output devices and provides the interface to the AV network 901 901 . , AV-Netzwerk AV network 901 901 ist Teil des MLAN is part of the MLANs 10 10 , das bidirektionale Audio- und -Videosignale unter den CMW und der A/V-Vermittlungsschaltungsanordnung , The bi-directional audio and video signals among the CMW and the A / V Switching Circuitry 30 30 trägt – zB unter Nutzung bestehender UTP-Kabel zum Tragen von Audio- und Videosignalen (digitalen oder analogen). bears - for example, using existing UTP cable to carry audio and video signals (digital or analog).
  • [0104] [0104]
    Das AV-Netzwerk The AV network 901 901 ist separat und unterscheidet sich vom Datennetzwerkteil is separate and distinct from data network part 902 902 des MLAN the MLANs 10 10 , das bidirektionale Datensignale unter den CMW und dem Daten-LAN-Hub trägt (zB ein Ethernet-Netzwerk, das im bevorzugten System mit einer Netzschnittstellenkarte , The bidirectional data signals among the CMWs and the Data LAN hub carries (for example, an Ethernet network, which in the preferred system with a network interface card 110 110 in jeder CMW auch UTP-Kabel nutzt). uses in each CMW also UTP) cable. Es ist zu beachten, daß jede CMW typisch ein Netzknoten am AV- und am Datennetz ist. It should be noted that each CMW is typically a network node on the AV network and the data.
  • [0105] [0105]
    Es gibt mehrere Ansätze für die Implementierung von Zusatzgerät There are several approaches to the implementation of accessory 800 800 . , In einer typischen Videokonferenz erfassen die Videokamera In a typical video conferencing video camera capture 500 500 und das Mikrofon and the microphone 600 600 abgehende Video- und Audiosignale und übertragen sie in die Porte outgoing video and audio signals and transmit them to the Porte 801 801 bzw. and 802 802 von Zusatzgerät of accessory 800 800 . , Diese Signale werden durch Audio-/Video-Ein-/Ausgabeport These signals are audio / video input / output port 805 805 über das AV-Netzwerk via the AV network 901 901 übertragen. transmitted. Ankommende Video- und Audiosignale (von einem anderen Videokonferenzteilnehmer) werden über das AV-Netzwerk Incoming video and audio signals (from another video conference participants) are on the AV network 901 901 durch Audio-/Video-Ein-/Ausgabeport by audio / video input / output port 805 805 empfangen. received. Die Videosignale werden aus dem V-OUT-Port The video signals are from the V-OUT port 803 803 des CMW-Zusatzgeräts the CMW auxiliary device 800 800 heraus zur Videoeingabekarte out to the video input board 130 130 der Grundplattform the basic platform 100 100 gesendet, wo sie mit Hilfe der standardmäßigen Grundplattform-Videoanzeigekarte sent where they use the standard basic platform video display card 120 120 (meist in einem separaten Videofenster) auf dem Monitor (Usually in a separate video window) on the monitor 200 200 angezeigt werden. are displayed. Die Audiosignale werden aus dem A-OUT-Port The audio signals are out of the A-OUT port 804 804 des CMW-Zusatzgeräts the CMW auxiliary device 800 800 heraus gesendet und durch Lautsprecher sent out and Speakers 700 700 gespielt, während die Videosignale auf dem Monitor played while the video signals on the monitor 200 200 angezeigt werden. are displayed. Der gleiche Signalfluß erfolgt bei anderen Audio- und Videoanwendungen außerhalb des Videokonferenzbereichs. The same signal flow occurs for other audio and video applications outside of the video conference area.
  • [0106] [0106]
    Zusatzgerät Attachment 800 800 kann von CMW-Software (in can of CMW software (in 20 20 illustriert) gesteuert werden, die von Grundplattform illustrated) are controlled by the base platform 100 100 ausgeführt wird. is executed. Kontrollsignale können zwischen Grundplattformport Control signals between the base platform port 104 104 und Zusatzgerätkontrollport and accessory control port 806 806 (zB einem RS-232-, Centronics-, SCSI- oder einem anderen standardmäßigen Kommunikationsport) übermittelt werden. (Eg, an RS-232, Centronics, SCSI, or any other standard communication port) are received.
  • [0107] [0107]
    Mit dem vorliegenden System funktionieren auch viele andere Ausgestaltungen der in With the present system to function also in many other embodiments of the 18 18 illustrierten CMW. illustrated CMW. Beispielsweise kann das Zusatzgerät For example, the accessory device 800 800 selbst als Erweiterungskarte für die Grundplattform even as an expansion card for the base platform 100 100 ausgeführt werden. be executed. Verbindungen zu Audio- und Video-Ein-/Ausgabegeräten müssen nicht geändert werden, obwohl der Anschluß für die Grundplattformsteuerung intern ausgeführt werden kann (zB über den Systembus) anstatt durch einen externen RS-232- oder SCSI-Peripherieport. Links to audio and video input / output devices must not be changed even though the connection for the base platform control can be performed internally (eg via the system) rather than by an external RS-232 or SCSI peripheral port. Es können auch verschiedene zusätzliche Integrationsgrade erreicht werden, wie für die Fachperson offensichtlich ist. It can also be achieved several additional levels of integration, as will be apparent to the skilled person. Beispielsweise können Mikrofone, Lautsprecher, Videokameras und UTP-Sende-Empfänger in die Grundplattform For example, microphones, speakers, video cameras and UTP transceiver in the base platform 100 100 selbst integriert werden und sämtliche Medienbearbeitungstechnologie und -kommunikation kann auf einer einzigen Karte integriert werden. are even integrated and all media processing technology and communication can be integrated on a single card.
  • [0108] [0108]
    Eine Handapparat-/Kopfsprechhörer-Buchse ermöglicht die Verwendung eines integrierten Audio-Ein-/Ausgabegeräts als eine Alternative zum separaten Mikrofon und Lautsprecher. A Handapparat- / headset jack allows the use of an integrated audio input / output device as an alternative to the separate microphone and speaker. Eine Telefonschnittstelle könnte in Zusatzgerät A telephone interface could in attachment 800 800 als lokale Ausführung computerintegrierter Telefonie integriert werden. be integrated as local execution computer integrated telephony. Ein "Hold"- (dh Audio- und Videoabschaltungs-)Schalter und/oder ein separater Schalter zum Tonabschalten (Stummschalten) könnten zum Zusatzgerät A "hold" - (ie audio and Videoabschaltungs-) switch and / or a separate switch for sound switch-off (mute) could, for accessory 800 800 hinzugefügt werden, wenn eine derartige Ausführung als einer softwaregestützten Schnittstelle vorzuziehen angesehen würde. be added if such a design would be considered preferable as a software-based interface.
  • [0109] [0109]
    Das Innere des Zusatzgeräts The interior of the auxiliary device 800 800 von from 18A 18A wird in is in 19 19 illustriert. illustrated. An der CMW erzeugte Videosignale (dh von Kamera At the CMW generated video signals (ie camera 500 500 in in 18A 18A erfaßte) werden über V-IN-Port detected) are V-IN port 801 801 zum CMW-Zusatzgerät for CMW accessory 800 800 gesendet. sent. Sie laufen dann im typischen Fall unbeeinflußt über Videoporte Then run typically unaffected by video Porte 833 833 (Eingabe) und (Input) and 834 834 (Ausgabe) durch Rückschleifen-/AV-Abschaltungsanordnung (Output) by loopback / AV shutdown arrangement 830 830 und in die A/V-Sende-Empfänger and in the A / V transceivers 840 840 (über Videoeingangsport (Via video input port 842 842 ) hinein, wo sie aus Standardvideokabelsignalen in UTP-Signale umgewandelt und über Port ) In where they converted from standard video cable signals in UTP signals and Port 845 845 und Audio-/Video-Ein-/Ausgabeport and audio / video input / output port 895 895 auf das AV-Netzwerk the AV network 901 901 gesendet werden. are sent.
  • [0110] [0110]
    Die Rückschleifen-/AV-Abschaltungsanordnung The loopback / AV shutdown arrangement 830 830 kann jedoch unter Softwaresteuerung über Kontrollport however, under software control via control port 806 806 (zB als Standard-UART (universeller Asynchron-Empfänger/Sender) ausgeführt) in verschiedene Betriebsarten versetzt werden. (For example, as a standard UART (universal asynchronous receiver / transmitter) is carried out) in different modes of operation are added. Im Rückschleifenbetrieb (zB zum Prüfen ankommender und abgehender Signale an der CMW) würden die Videosignale über Videoport In loopback mode (eg, for checking incoming and outgoing signals to the CMW) video signals over video port would 831 831 wieder zum V-OUT-Port back to V-OUT port 803 803 hinaus geleitet werden. are also conducted. In einem Abschaltungsmodus (zB Stummschaltung, Videoabschaltung oder beides) könnten Videosignale zB abgeschaltet werden und es würde kein Videosignal aus Videoport In shutdown mode (eg mute, video disconnection or both) could, for example, video signals are switched off and there would be no video signal from video port 834 834 hinaus gesendet werden. are also sent. Rückschleifen- und Abschaltungsfunktionalität wird auf ähnliche Weise auch für den Ton bereitgestellt. Loopback and shutdown functionality is provided in a similar way for the sound. Es ist zu beachten, daß die Rückschleifensteuerung durch den Computer sehr nützlich für Fernprüfung und -diagnostik ist, während das manuelle Überspielen der Computersteuerung bei Abschaltung wirksam für zugesicherten Schutz vor der Benutzung des Arbeitsplatzes für elektronische Spionage sorgt. It should be noted that the loop-back control is very useful for remote testing and diagnostics through the computer while the manual dub the computer control at shutdown ensures effective for guaranteed protection against the use of the workplace for electronic espionage.
  • [0111] [0111]
    Videoeingangssignale (zB von der Videokamera an der CMW eines anderen Videokonferenzteilnehmers erfaßte) werden auf ähnliche Weise behandelt. Video input signals (for example, by the video camera at the CMW of another videoconference participant detected) are treated in a similar manner. Sie werden entlang dem AV-Netzwerk They are along the AV network 901 901 durch Audio-/Video-Ein-/Ausgabeport by audio / video input / output port 805 805 und Port and Port 845 845 der A/V-Sende-Empfänger the A / V transceivers 840 840 empfangen, wo sie aus dem Videoausgangsport received, where they made the video output port 841 841 hinaus zum Videoport addition to the video port 832 832 der Rückschleifen-/AV-Abschaltungsanordnung the loopback / AV shutdown arrangement 830 830 gesendet werden, die derartige Signale im typischen Fall aus Videoport are sent to such signals typically from video port 831 831 hinaus zum V-OUT-Port addition to the V-OUT port 803 803 leitet (zum Empfang durch eine Videoeingabekarte oder andere Anzeigemechanismen, wie LCD-Anzeige passes (for reception by a video input board or other display mechanisms, such as LCD display 810 810 der CMW-Seitenanbaueinheit the CMW-side extension unit 850 850 in in 18B 18B , die noch besprochen werden wird). Which will be discussed later).
  • [0112] [0112]
    Audioeingangs- und -ausgangssignale (zB zur Wiedergabe durch den Lautsprecher Audio input and output signals (eg for playback through the speaker 700 700 und zur Erfassung durch Mikrofon and for detection by microphone 600 600 von from 18A 18A ) werden auf ähnliche Weise durch die A/V-Sende-Empfänger ) Are in a similar way by the A / V transceivers 840 840 (über Audioeingangsport (Via audio input port 844 844 und Audioausgangsport and audio output port 843 843 ) und die Rückschleifen-/AV-Abschaltungsanordnung ) And the loopback / AV shutdown arrangement 830 830 (durch Audioporte (Through audio Porte 837 837 / / 838 838 und and 836 836 / / 835 835 ) geleitet. ) Passed. Die Audioeingangs- und -ausgangsporte des Zusatzgeräts The audio input and -ausgangsporte the auxiliary device 800 800 haben eine Schnittstelle mit standardmäßigen Verstärker- und Entzerrerschaltungen sowie einem adaptiven Raumechokompensator have an interface with standard amplifier and equalizer circuits, as well as an adaptive Raumechokompensator 814 814 zum Ausschließen von Echo, Minimieren von Feedback und Bereitstellen von verbesserter Audioleistung bei der Verwendung eines separaten Mikrofons und Lautsprechers. Exclusion echo, minimize feedback and providing enhanced audio performance when using a separate microphone and speaker. Insbesondere sorgt die Verwendung von adaptiven Raumechokompensatoren in Weitbereichskonferenzen für Audiointeraktionen hoher Qualität. In particular, the use of adaptive Raumechokompensatoren provides in wide range of audio conferences interactions of high quality. Da die adaptive Raumechokompensation Lernperioden (die meist einen unangenehmen Stoß von weißem Rauschen oder Tonfolgen hoher Amplitude beinhalten) zur Abstimmung auf jede akustische Umgebung benötigt, wird bevorzugt, daß für jeden Arbeitsplatz separate Echokompensation dediziert wird, anstatt eine kleinere Gruppe von Echokompensatoren in einer größeren Gruppe von Arbeitsplätzen gemeinsam zu nutzen. Since the adaptive space echo cancellation learning periods (which usually an unpleasant shock of white noise or sound sequences of high amplitude include) required to vote on any acoustic environment, it is preferred that separate echo cancellation is dedicated to every workplace, rather than a smaller group of echo cancellers in a larger group job sharing of information.
  • [0113] [0113]
    Durch Audioport By Audio Port 835 835 von Rückschleifen-/AV-Abschaltungsanordnung of loopback / AV shutdown arrangement 830 830 laufende Audioeingangssignale legen Audiosignale an einen Lautsprecher an (über standardmäßige Echokompensatorschaltungsanordnung current audio input signals create audio signals to a speaker (via standard Echokompensatorschaltungsanordnung 814 814 und A-OUT-Port and A-OUT port 804 804 ) oder an einen Handapparat oder eine Kopfsprechgarnitur (über Ein-/Ausgabeporte ) Or a handset or a headset (via input / output Porte 807 807 bzw. and 808 808 unter Lautstärkeregelungsschaltung with volume control circuit 815 815 , die durch Kontrollport That through control port 806 806 von Software gesteuert wird). is controlled by software). In allen Fällen durchlaufen ankommende Audiosignale die Leistungsverstärkerschaltungsanordnung In all cases, incoming audio signals pass through the power amplifier circuitry 812 812 , bevor sie aus Zusatzgerät Before moving out accessory 800 800 heraus zu. out to. dem entsprechenden schallemittierenden Wandler gesendet werden. are sent to the corresponding sound emitting transducer.
  • [0114] [0114]
    An der CMW (zB durch Mikrofon At the CMW (eg microphone 600 600 von from 18A 18A oder das Mundstück eines Handapparats oder einer Kopfsprechgarnitur) erzeugte abgehende Audiosignale treten über A-IN-Port or the mouthpiece of a handset or a headset) generated outgoing audio signals enter through A-IN port 802 802 (für ein Mikrofon) oder Handapparat- oder Kopfsprechgarnitur-Ein-/Ausgabeports (For a microphone) or Handapparat- or headset input / output ports 807 807 bzw. and 808 808 in das Zusatzgerät in the attachment 800 800 ein. a. In allen Fällen laufen abgehende Audiosignale durch standardmäßige Vorverstärker- ( In all cases, outgoing audio signals pass through standard preamplifier ( 811 811 ) und Entzerrer- ( ) And equalizer ( 813 813 ) -schaltungen, woraufhin das gewünschte Signal von standardmäßiger "Auswahl"-Vermittlungsschaltungsanordnung ) Nanocircuits, whereupon the desired signal by default "choice" -Vermittlungsschaltungsanordnung 816 816 (unter Softwaresteuerung durch Kontrollport (Under software control by control port 806 806 ) ausgewählt und zum Audioport ) Is selected and the audio port 837 837 der Rückschleifen-/AV-Abschaltungsanordnung the loopback / AV shutdown arrangement 830 830 geleitet wird. is passed.
  • [0115] [0115]
    Es versteht sich, daß A/V-Sende-Empfänger It will be understood that A / V transceivers 840 840 Multiplex-/Demultiplex-Leistungsmerkmale aufweisen können, um die Übertragung von Audio-/Videosignalen auf einem einzelnen Kabelpaar zu ermöglichen, zB durch digitales Codieren von Audiosignalen im Vertikal-Rücklaufintervall des analogen Videosignals. May have multiplexing / demultiplexing features to enable the transmission of audio / video signals on a single pair of wires, for example, by digitally encoding audio signals in the vertical retrace interval of the analog video signal. Die Ausführung anderer Audio- und Videoverbesserungen, wie Stereoaudio- und externe Audio-/Video-Ein-/Ausgabeporte (zB für an der CMW erzeugte Aufzeichnungssignale), liegt ebenfalls gut innerhalb der Fähigkeiten einer Fachperson. The execution of other audio and video enhancements, such as stereo audio and external audio / video input / output Porte (eg for recording signals generated at the CMW), is also well within the capabilities of a professional. Wenn Stereoaudio in einer Telekonferenz verwendet wird (dh zum Erzeugen nützlicher räumlicher Methaphern für Benutzer), empfiehlt sich eventuell ein zweiter Echokompensator. When used in stereo audio teleconferencing (ie to produce useful spatial metaphors for user), possibly a second echo canceller is recommended.
  • [0116] [0116]
    Eine weitere Konfiguration der CMW, die in Another configuration of the CMW, which in 18B 18B illustriert wird, nutzt einen separaten (voll autonomen) "Seitenanbauteil"-Ansatz, der seine eigene dedizierte Videoanzeige hat. is illustrated using a separate (fully autonomous) "page attachment" approach, which has its own dedicated video display. Diese Anordnung ist in vielen verschiedenen Situationen vorteilhaft, zB in Fällen, in denen zusätzliche Bildschirmfläche gewünscht wird (zB bei einem Laptop-Computer oder einem Desktop-Computersystem mit einem kleinen Bildschirm) oder wenn es unmöglich oder unerwünscht ist, ältere, bestehende oder Spezial-Desktop-Computer nachträglich auf Audi-/Videounterstützung umzurüsten. This arrangement is advantageous in many situations, such as in cases where additional desktop space is desired (eg with a small screen on a laptop computer or a desktop computer system), or when it is impossible or undesirable, older, existing or special desktop computer later convert to Audi / video support. In diesem Beispiel sind Videokamera In this example, video camera 500 500 , Mikrofon Microphone 600 600 und Lautsprecher and speakers 700 700 von from 18A 18A zusammen mit der Funktionalität des Zusatzgeräts together with the functionality of the auxiliary device 800 800 integriert. integrated. Seitenanbauteil Side attachment 850 850 eliminiert die Notwendigkeit externer Anschlüsse an diese integrierten Audio- und Video-Ein/-Ausgabegeräte und weist eine LCD-Anzeige eliminates the need for external connections to these integrated audio and video I / output devices, and has an LCD display 810 810 zum Anzeigen des ankommenden Videosignals auf (wodurch die Notwendigkeit für eine Videoeingabekarte for displaying the incoming video signal on (thereby eliminating the need for a video input board 130 130 in der Grundplattform aufgehoben wird). is canceled in the base platform).
  • [0117] [0117]
    Angesichts der Nähe der Seitenanbauteilvorrichtung Given the proximity of the side attachment device 850 850 zum Benutzer und des direkten Zugangs zur Audio-/Video-Ein-/Ausgabe in dieser Vorrichtung können verschiedene zusätzliche Bedienelemente to the user and direct access to the audio / video input / output in this device, various additional controls 820 820 in Reichweite des Benutzers bereitgestellt werden (alle gut innerhalb der Fähigkeiten einer Fachperson). provided within reach of the user (all well within the capabilities of an expert). Es ist zu beachten, daß die Seitenanbaueinheit It should be noted that the side extension unit 850 850 mit genug Zusätzen praktisch zu einer selbständigen Vorrichtung werden kann, die für nur Audio und Video verwendende Dienste keinen separaten Computer benötigt. with enough practical accessories can become an independent device, the services used for only audio and video no separate computer needed. Dies stellt auch eine Methode zur Ergänzung eines Netzes von umfassend ausgestatteten Computer-Arbeitsplätzen durch einige kostengünstige zusätzliche "Audio-Video-Gegensprechanlagen" für bestimmte Bereiche eines Unternehmens (zB Büro, Rezeption, Fabrikhalle usw.) bereit. This also provides a method for supplementing a network of well-equipped computer workstations through some additional cost "audio-video intercom systems" for certain areas of a company (eg office, reception, factory, etc.) readily.
  • [0118] [0118]
    Eine Ausführung als tragbarer Laptop-Computer kann zum Bereitstellen von Multimedia-Mail mit Video, Audio und synchronisierten Annotationen über CD-ROM oder eine hinzugefügte Videobandeinheit mit separaten Video-, Audio- und Zeitcodespuren (ein Stereovideobandspieler kann den zweiten Audiokanal für Zeitcodesignale verwenden) gebracht werden. An embodiment as a portable laptop computer can be used for providing multimedia-mail with video, audio and synchronized annotations on CD-ROM or added video tape unit with separate video, audio and time code tracks (stereo video tape player can the second audio channel for time code signals use) brought be. Videobänder oder CD-ROM können in Zentralen erstellt und expressversandt werden, wodurch die Notwendigkeit für die Breitbandnetzanbindung unterwegs vermieden wird. Video tapes or CD-ROM can be created and sent express in Central, eliminating the need for broadband network connection is traveling avoided. Zellulartelefonverbindungen können zum Erhalten von Sprach- und Datenkommunikation (über Modem) verwendet werden. Zellulartelefonverbindungen can be used to obtain voice and data communications (via modems). Die Modem-gestützte Datenübermittlung reicht aus, um Fernsteuerung von Mail- oder Präsentationswiedergabe, Annotation, Dateienübertragung und Faxmerkmale zu unterstützen. The modem-based data transmission is sufficient to support remote control of mail or slideshow playback, annotation, file transfer and fax features. Der Laptop-Computer kann dann in das Büro gebracht und an einer Dockingstation angeschlossen werden, wo das verfügbare MLAN The laptop computer can then be brought into the office and connected to a docking station, where the available MLANs 10 10 und zusätzliche, von Zusatzgerät and additional of accessory 800 800 angepaßte Funktionen verfügbar gemacht werden können, so daß die volle CMW-Kapazität bereitgestellt wird. adapted functions can be made available so that the full CMW capacity is provided.
  • SOFTWARE DES KOLLABORATIVEN MULTIMEDIA-ARBEITSPLATZES SOFTWARE OF COLLABORATIVE MULTIMEDIA WORKPLACE
  • [0119] [0119]
    CMW-Softwaremodule CMW software modules 160 160 werden in be in 20 20 allgemein illustriert und unten in Verbindung mit der auf MLAN-Server generally illustrated and described below in connection with the on MLAN Server 60 60 in in 3 3 laufenden Software ausführlicher beschrieben. running software described in more detail. Die Software The software 160 160 erlaubt es dem Benutzer, Videokonferenzen, Datenkonferenzen (Data Conferencing), Multimedia-Mail und andere kollaborative Sitzungen mit anderen Benutzern am Netz einzuleiten und zu verwalten (in Verbindung mit der Server-Software). it allows the user to video conferencing, data conferencing (Data Conferencing), multimedia mail and other collaborative sessions with other users on the network to initiate and manage (in conjunction with the server software).
  • [0120] [0120]
    Auf der CMW sind außerdem auch das/die standardmäßige Multitasking-Betriebssystemgraphische Benutzeroberflächen-Software On the CMW are also helpful in / the standard multi-tasking operating system Graphical user interface software 180 180 (zB Apple Macintosh System 7, Microsoft Windows 3.1 oder UNIX mit dem "X Window System" und Motif oder einer anderen graphischen "Window Manager"-Benutzeroberflächen-Software) sowie andere Anwendungen (Eg Apple Macintosh System 7, Microsoft Windows or UNIX 3.1 with the "X Window System" and Motif or other graphic "window manager" -Benutzeroberflächen software) and other applications 170 170 , wie Textverarbeitungs- und Kalkulationstabellenprogramme, vorhanden. Such as word processing and spreadsheet programs available. Softwaremodule Software modules 161 161 - 168 168 kommunizieren mit dem Betriebssystem/der graphischen Benutzeroberflächen-Software communicate with the operating system / graphical user interface software 180 180 und anderen Anwendungen and other applications 170 170 , die Standardfunktionsrufe und Protokolle zwischen Anwendungen nutzen. , Use the standard function calls and protocols between applications.
  • [0121] [0121]
    Die zentrale Komponente der Software des kollaborativen Multimedia-Arbeitsplatzes ist der Kollaborationsinitiator The central component of the software of collaborative multimedia workstation is the Collaboration Initiator 161 161 . , Durch dieses Modul ist der Zugang zu allen kollaborativen Funktionen möglich. This module access to all collaborative functions is possible. Wenn der Kollaborationsinitiator gestartet wird, tauscht er durch Datennetzwerk If the Collaboration Initiator is started, it exchanges data through network 902 902 anfängliche Konfigurationsinformationen mit dem Audio-Video-Netzmanager (Audio Video Network Manager – AVNM) initial configuration information with the Audio-Video Network Manager (Audio Video Network Manager - AVNM) 60 60 (in (In 3 3 gezeigt) aus. shown). Der Kollaborationsinitiator sendet außerdem Informationen zum AVNM, die den Standort des Benutzers, die Arten der am Arbeitsplatz verfügbaren Dienste (zB Videokonferenzen, Datenkonferenzen, Telefonie usw.) und andere relevante Initialisierungsinformationen andeuten. The Collaboration Initiator also sends information to AVNM, indicate the location of the user, the types of available services in the workplace (eg video conferencing, data conferencing, telephony, etc.) and other relevant initialization.
  • [0122] [0122]
    Der Kollaborationsinitiator präsentiert eine Benutzeroberfläche, mit deren Hilfe der Benutzer Kollaborationssitzungen (sowohl Echtzeit als auch asynchron) einleiten kann. The Collaboration Initiator presents a user interface by which the user can initiate sessions collaboration (both real-time and asynchronous). Sitzungsteilnehmer können aus einer graphischen Rotationsdatei Session participants can choose from a graphical rotation file 163 163 ausgewählt werden, die eine rollbare Liste von Benutzernamen enthält, oder aus einer Liste von Kurzwahlschaltflächen are selected which contains a scrollable list of usernames, or from a list of speed dial buttons 162 162 . , Kurzwahlschaltflächen zeigen die Gesichtssymbole für die Benutzer, die sie darstellen. Speed-dial buttons show the face symbols for the user that they represent. Das den Benutzer darstellende Symbol wird beim Hochfahren des Kollaborationsinitiators aus dem Verzeichnis-Server The user performing the icon when booting the collaboration initiator from the directory server 66 66 auf dem MLAN-Server MLANs on the server 60 60 ausgelesen. read out. Benutzer können dynamisch neue Kurzwahlschaltflächen hinzufügen, indem sie die entsprechenden Einträge aus der graphischen Rotationsdatei auf das Kurzwahlfeld ziehen. Users can dynamically add new speed dial buttons by dragging the corresponding entries from the graphical rotation file on the Speed Dial field.
  • [0123] [0123]
    Wenn der Benutzer sich zum Einleiten einer Kollaborationssitzung entschlossen hat, wählt er einen oder mehrere gewünschte Teilnehmer aus, zB indem er diesen Namen anklickt, um den gewünschten Teilnehmer aus der System-Rotationsdatei oder einer privaten Rotationsdatei auszuwählen, oder indem er die Kurzwahlschaltfläche für diesen Teilnehmer anklickt (siehe zB If the user has decided to initiate a collaboration session, he selects one or more desired subscriber, eg by clicking on its name to select the desired subscriber from the system rotation file or a private rotary file, or by the speed dial button for this participant clicks on (see, for example 2A 2A ). ). In jedem Fall wählt der Benutzer dann den gewünschten Sitzungstyp aus – zB durch Klick auf eine Schaltfläche CALL, um einen Videokonferenzruf einzuleiten, eine Schaltfläche SHAKE, um das gemeinsame Nutzen (Sharing) eines Snapshot-Bildes oder eines leeren Whiteboards einzuleiten, oder eine Schaltfläche MAIL, um Mail (elektronische Post) zu senden. In any case, the user then selects the desired session type - for example, by clicking on a button CALL to initiate a Videokonferenzruf, a SHAKE button to initiate the sharing (sharing) a snapshot image or a blank whiteboard or MAIL button to send mail (electronic mail). Der Benutzer kann aber auch den Namen in der Rotationsdatei oder ein Gesichtssymbol mit Doppelklick anklicken, um den Standardsitzungstyp einzuleiten – zB eine Audio-/Videokonferenzruf. But the user can also click the name in the rotation file or a face icon, double click to start the default type session - eg an audio / Videokonferenzruf.
  • [0124] [0124]
    Das System erlaubt auch das Aufrufen von Sitzungen über die Tastatur. The system also allows the calling of meetings on the keyboard. Es stellt einen graphischen Editor bereit, um Kombinationen von Teilnehmern und Sitzungstypen mit bestimmten "Hot Keys" zu verknüpfen. It provides a graphical editor willing to link to combinations of participants and session types with certain "hot keys". Wird dieser Hot Key gedrückt (möglicherweise in Verbindung mit einer Umschalttaste, zB <UMSCHALT> oder <STRG>), dann veranlaßt der Kollaborationsinitiator den Start einer Sitzung des angegebenen Typs mit den bestimmten Teilnehmern. If this hot key is pressed (possibly in combination with a shift key, eg <Shift> or <Ctrl>), then causes the Collaboration Initiator start a session of the specified type with certain participants.
  • [0125] [0125]
    Wenn der Benutzer den gewünschten Teilnehmer und Sitzungstyp ausgewählt hat, liest das Kollaborationsinitiatormodul If the user has the desired subscriber and session type is selected, reads the Collaboration Initiator module 161 161 erforderliche Adreßinformationen aus dem Verzeichnisdienst required address information from the directory service 66 66 (siehe (See 21 21 ). ). Im Fall eines Videokonferenzrufs kommuniziert der Kollaborationsinitiator (oder alternativ das Videophonmodul In the case of a Videokonferenzrufs the Collaboration Initiator communicates (or alternatively, the Videophonmodul 169 169 ) dann mit dem AVNM (wie unten ausführlicher beschrieben wird), um die notwendigen Datenstrukturen einzurichten und die verschiedenen Stufen dieses Rufs zu verwalten und um die A/V-Vermittlungsschaltungsanordnung ) Then the AVNM (as more fully described below is) to set up and manage the various stages of this call and the necessary data structures to the A / V Switching Circuitry 30 30 zu steuern, welche die zu/von der CMW jedes Teilnehmers zu übertragenden entsprechenden Audio- und Videosignale auswählt. to control which selects the to / from the CMW of each subscriber to be transmitted, corresponding audio and video signals. Im Fall einer Datenkonferenzsitzung macht der Kollaborationsinitiator über den AVNM die Kollaborationsinitiatormodule an den CMW der ausgewählten Empfänger aus und sendet eine Mitteilung, die veranlaßt, daß die Kollaborationsinitiatormodule die Snapshot-Sharing-Module In the case of a data conference session makes the Collaboration Initiator on the AVNM the Collaboration Initiator modules to the CMW the selected recipient and sends a message that causes the Collaboration Initiator modules snapshot sharing modules 164 164 am CMW jedes Teilnehmers aufrufen. called at the CMW each participant. Nachfolgende Videokonferenz- und Datenkonferenzfunktionalität wird unten im Kontext bestimmter Einsatzszenarien ausführlicher besprochen. The following video conferencing and data conferencing functionality is discussed below in the context of specific application scenarios in more detail.
  • [0126] [0126]
    Wie bereits angedeutet, sind durch Nutzen des Kollaborationsinitiatormoduls As already indicated, are by utilizing the Collaboration Initiator module 161 161 zum Einleiten der Sitzung (dh zum Kontaktieren der Teilnehmer) und zum Aufrufen der zum Verwalten der Kollaborationssitzung notwendigen entsprechenden Anwendung auch zusätzliche Kollaborationsdienste – wie Mail (elektronische Post) to initiate the session (ie for contacting the participants) and calls the necessary to manage the collaboration session corresponding application, additional collaboration services - such as mail (electronic mail) 165 165 , Application-Sharing , Application Sharing 166 166 (gemeinsame Bedienung geöffneter Anwendungen), computerintegrierte Telefonie (Joint operation of open applications), computer integrated telephony 167 167 und computerintegriertes Fax and computer-integrated fax 168 168 – von der CMW verfügbar. - Available from the CMW. Beim Einleiten asynchroner Kollaboration (zB Mail, Fax usw.) erfragt der Kollaborationsinitiator bei dem Verzeichnisdienst When initiating asynchronous collaboration (eg mail, fax, etc.) requested the Collaboration Initiator with the directory service 66 66 die Adreßinformationen (zB E-Mail-Adresse, Fax-Nummer usw.) für die ausgewählten Teilnehmer und ruft mit den beschafften Adreßinformationen die entsprechenden Kollaborationstools auf. the address information (eg, e-mail address, fax number, etc.) for the selected participants and calls with the acquired address information to the appropriate collaboration tools. Für Echtzeitsitzungen erfragt der Kollaborationsinitiator den aktuellen Standort der angegebenen Teilnehmer vom Service-Servermodul For real-time meetings of the Collaboration Initiator asks for the current location of the specified node from the service server module 69 69 im AVNM in AVNM 63 63 ab. from. Mit Hilfe dieser Standortinformationen kommuniziert er (über den AVNM) mit den Kollaborationsinitatoren der anderen Sitzungsteilnehmer, um die Sitzungseinrichtung zu koordinieren. Using this location information it communicates (via the AVNM) with the Kollaborationsinitatoren the other participants to coordinate the session establishment. Als Folge dessen rufen die verschiedenen Kollaborationsinitiatoren Module As a result, call the various collaboration initiators modules 166 166 , . 167 167 oder or 168 168 auf (einschließlich dem Aktivieren aller notwendigen Vorrichtungen, wie der Verbindung zwischen dem Telefon und dem Audio-/Video-Ein-/Ausgabeport des CMW). on (including the activation of all necessary devices, such as the connection between the phone and the audio / video input / output port of the CMW). Weitere Details über Multimedia-Mail sind unten zu finden. More details about multimedia mail can be found below.
  • MLAN-SERVER-SOFTWARE MLANs SERVER SOFTWARE
  • [0127] [0127]
    21 21 ist eine graphische Darstellung der aus verschiedenen Module (wie oben besprochen) zusammengesetzten Software is a graphical representation of the various modules (as discussed above) composite Software 62 62 , die für den Betrieb auf MLAN-Server Which to operate on MLANs server 60 60 ( ( 3 3 ) bereitgestellt wird. ) Is provided. Es ist zu beachten, daß auch zusätzliche Softwaremodule bereitgestellt werden können. It should be noted that additional software modules may be provided. Außerdem ist zu beachten, daß die in It is also noted that the in 21 21 illustrierte Software zwar verschiedene wesentliche Vorteile bietet, aber, wie nachfolgend offensichtlich wird, auch andere Softwareformen und -anordnungen eingesetzt werden können. Illustrated software does offer several significant advantages, but, as will become apparent below, other software forms and arrangements can be used. Die Software kann auch in verschiedenen als separate Prozesse laufenden Nebenteilen ausgeführt werden. The software can also be performed in various ongoing as separate processes subparts. Requester (zB softwaresteuernde Arbeitsplätze, Videogeräte, Laserplatten, Multimediaressourcen usw.) kommunizieren mit Hilfe der Netzwerkprotokolle TCP/IP mit den MLAN-Server-Softwaremodulen Requester (eg software controlling jobs, video equipment, laser disks, multimedia resources, etc.) to communicate with the network protocols TCP / IP with the MLANs server software modules 62 62 . , Allgemein kooperiert der AVNM General cooperates the AVNM 63 63 mit dem Service-Server with the service server 69 69 , dem Konferenzbrückenmanager (CBM , The conference bridge Manager (CBM 64 64 in in 21 21 ) und dem WAN-Netzmanager (WNM ) And the WAN Manager (WNM 65 65 in in 21 21 ), um die Kommunikation im bevorzugten System innerhalb und zwischen den MLAN ) To facilitate communication in the preferred system within and between MLANs 10 10 und den WAN and the WAN 15 15 ( ( 1 1 und and 3 3 ) zu verwalten. ) To manage.
  • [0128] [0128]
    Der AVNM kooperiert außerdem auch mit dem Audio-/Videospeicherserver The AVNM also cooperates with the audio / video storage server 67 67 und anderen Multimediadiensten and other multimedia services 68 68 in in 21 21 , um verschiedene Arten kollaborativer Interaktionen, wie hierin beschrieben, zu unterstützen. To provide various types of collaborative interactions as described herein, to support. Der CBM The CBM 64 64 in in 21 21 funktioniert als ein Requester des AVNM functions as a requester of the AVNM 63 63 , um Konferenzen durch Steuern des Betriebs der Konferenzbrücken To conferencing by controlling the operation of conference bridges 35 35 zu verwalten. to manage. Das beinhaltet die Verwaltung der Videomosaikschaltungsanordung This includes the management of Videomosaikschaltungsanordung 37 37 , der Audiomischschaltungsanordnung The audio mixing circuitry 38 38 und der Cut-and-Paste-Schaltungsanordnung and the cut-and-paste circuitry 39 39 , die vorzugsweise darin eingebunden sind. , Which are preferably integrated therein. Der WNM The WNM 65 65 verwaltet die Zuteilung von Wegen (Codecs und Fernmeldelinien), die vom WAN-Gateway manages the allocation of paths (codecs and trunks) extending from WAN gateway 40 40 zum Bewerkstelligen der Übermittlung zu anderen, vom AVNM angeforderten Stationen bereitgestellt werden. for effecting the transmission to others, provided by the AVNM requested stations.
  • Audio-Video-Netzmanager Audio-Video Network Manager
  • [0129] [0129]
    Der AVNM The AVNM 63 63 verwaltet die A/V-Verrnittlungsschaltungsanordnung manages the A / V Verrnittlungsschaltungsanordnung 30 30 in in 3 3 zum selektiven Lenken von Audio-/Videosignalen zu und von CMW for selectively directing audio / video signals to and from CMW 12 12 und auch zu und von WAN-Gateway and also to and from WAN gateway 40 40 , wie von Requestern verlangt. As requested by requesters. An die A/V-Vermittlungsschaltungsanordnung To the A / V Switching Circuitry 30 30 in in 3 3 angeschlossene Audio-/Videovorrichtungen (zB die CMW connected audio / video devices (eg, the CMW 12 12 , Konferenzbrücken , Conference bridges 35 35 , Multimediaressourcen Multimedia resources 16 16 und WAN-Gateway and WAN gateway 40 40 in in 3 3 ) haben physische Verbindungen für Audioeingang, Audioausgang, Videoeingang und Videoausgang. ) Have physical connections for audio input, audio output, video input and video output. Für jede Vorrichtung am Netz kombiniert der AVNM diese vier Verbindungen zu einer Portabstraktion, bei der jeder Port einen adressierbaren bidirektionalen Audio-/Videokanal darstellt. For each device on the network of the AVNM combines these four connections into a port abstraction, wherein each port represents an addressable bidirectional audio / video channel. Jede an das Netz angeschlossene Vorrichtung hat wenigstens einen Port. Each device connected to the network device has at least one port. Verschiedene Porte können die gleichen physischen Verbindungen am Schaltverteiler haben. Various Porte may have on the switching manifold the same physical links. Beispielsweise kann eine Konferenzbrücke typischerweise vier Porte (für 2×2-Mosaikbearbeitung) haben, die die gleiche Videoausgangsverbindung benutzen. For example, a conference bridge typically four Porte (for 2 × 2 mosaic processing) have, use the same video output connection. Nicht alle Vorrichtungen brauchen Video- und Audioverbindungen an einem Port. Not all devices need video and audio connections on a port. Beispielsweise benötigt ein Fernseh-Tunerport nur ankommende Audio-/Videoverbindungen. For example, an television tuner port only incoming audio / video connections.
  • [0130] [0130]
    In Reaktion auf Requesterprogrammanforderungen stellt der AVNM die Konnektivität zwischen Audio-/Videovorrichtungen bereit, indem er ihre Porte verbindet. In response to Requesterprogrammanforderungen, the AVNM connectivity between audio / video devices prepared by connecting their ports. Die Verbindung von Porten wird durch Umschalten der physischen Eingangsverbindungen eines Ports zu den physischen Ausgangsverbindungen (für Audio und Video) des Ports und umgekehrt erreicht. The compound of Porten, by switching the physical input connections of a port to the physical output connections (for both audio and video) ports and vice versa achieved. Requesterprogramme können spezifizieren, welche der vier physischen Verbindungen an ihren Porten geschaltet werden sollte. Requesterprogramme can specify which should be connected to the four physical links to their Porten. Die Requesterprogramme können dadurch Simplexrufe einrichten (zB durch Vorschreiben, daß nur die Eingangsverbindungen des Ports zu schalten sind und nicht die Ausgangsverbindungen des Ports) und Nur-Audio- oder Nur-Video-Rufe (durch Spezifizieren von Nur-Audio-Verbindungen oder Nur-Video-Verbindungen). The Requesterprogramme can thus simplex calls set up (eg by prescribing that only the input connections of ports to switch and not the starting compounds of the port) and audio-only or video-only calls (by specifying audio-only connections or all- Video connections).
  • Service-Server Service server
  • [0131] [0131]
    Bevor Requesterprogramme durch den AVNM auf Audio-/Videoressourcen zugreifen können, müssen sie die kollaborativen Dienste registrieren, die sie mit dem Service-Server Before Requesterprogramme can access through the AVNM on audio / video resources, you must register the collaborative services they with the service server 69 69 bereitstellen. provide. Beispiele dieser Dienste deuten "Videoruf', "Snapshot-Sharing", "Konferenz" und "Videodateien-Sharing" an. Diese Dienstdatensätze werden in die Dienstedatenbank des Service-Servers eingetragen. Die Dienstedatenbank verfolgt so den Standort von Requesterprogrammen und die Arten von Kollaborationssitzungen, an denen sie teilnehmen können. Der Kollaborationsinitiator kann dadurch Kollaborationsteilnehmer ungeachtet ihres Standorts finden. Die Dienstedatenbank wird von allen Service-Servern kopiert: Service-Server kommunizieren mit anderen Service-Servern in anderen MLAN in dem System, um ihre Dienstdatensätze auszutauschen. Examples of these services indicate "Video Call", "Snapshot sharing", "conference" and "video files sharing" in. This service records are entered in the services database of the service server. The services database tracked as the location of Requesterprogrammen and the types of collaboration sessions in which they can participate in the Collaboration Initiator can thus find collaboration participants regardless of their location, the services database is copied by all service servers:.. Service servers communicate with other service servers in other MLANs in the system to share their service records.
  • [0132] [0132]
    Requester können eine Mehrzahl von Diensten erstellen, je nach den gewünschten kollaborativen Fähigkeiten. Requester can create a plurality of services, depending on the collaborative capabilities desired. Beim Erstellen eines Dienstes kann ein Requester die Netzressourcen (zB Porte), die dieser Dienst benutzen wird, angeben. When you create a service, the network resources (eg Porte) that will use this service to specify a requester. Insbesondere werden Dienstinformationen zum Assoziieren eines Benutzers mit den Audio-/Videoporten, die phyisch an die jeweilige CMW angeschlossen sind, an der sich der Benutzer angemeldet hat. In particular, service information for associating a user with the audio / video Porten, which are connected to the respective phyisch CMW, to which the user has logged on. Requester, die Anforderungen empfangen wollen, versetzen ihre Dienste in Zuhörmodus. Requester who want to receive requests, put their services in listen-only mode. Wenn Requester ankommende Datenaustauschvorgänge akzeptieren wollen, aber ankommende Videoanrufe blockieren möchten, müssen sie verschiedene Dienste erstellen. If the requester to accept incoming data exchanges, but want to block incoming video calls, they need to create different services.
  • [0133] [0133]
    Ein Requester kann einen exklusiven Dienst an einem Satz von Porten erstellen, um andere Requester am Erstellen von Diensten an diesen Porten zu hindern. A requester can create an exclusive service to a set of ports, was to prevent other requesters on creating services in these Porten. Dies ist zB nützlich, um mehrere Konferenzbrücken vom Verwalten des gleichen Satzes von Konferenzbrückenporten zu verhindern. This is useful to prevent several conference bridges from managing the same set of conference bridge Porten.
  • [0134] [0134]
    Als nächstes ist die bevorzugte Weise zu betrachten, auf die der AVNM Next, the preferred way is to look at, to which the AVNM 63 63 ( ( 21 21 ) in Kooperation mit dem Service-Server ) In cooperation with the service server 69 69 , dem CBM , The CBM 64 64 und den teilnehmenden CMW für die Verwaltung der A/V-Vermittlungsschaltungsanordnung and participating CMW for the management of A / V Switching Circuitry 30 30 und der Konferenzbrücken and the conference bridge 35 35 in in 3 3 während Audio-/Video-/Daten-Telekonferenzen sorgt. while audio / video / data teleconferencing provides. Zu den teilnehmenden CMW können Arbeitsplätze gehören, die sich an lokalen und an fernen Stationen befinden. Participating CMW jobs may include, located on local and remote stations.
  • GRUNDLEGENDE ZWEIPARTEIENVIDEOKONFERENZ BASIC TWO PARTY VIDEO CONFERENCE
  • [0135] [0135]
    Wie bereits beschrieben, weist eine CMW ein Kollaborationsinitiator-Softwaremodul As previously described, a CMW includes a Collaboration Initiator software module 161 161 (siehe (See 20 20 ) auf, das zum Aufbauen von Person-zu-Person- und Mehrparteien-Rufen verwendet wird. ), Which is used for establishing person-to-person and multi-party calls. Das entsprechende Kollaborationsinitiatorfenster stellt vorteilhaft Kurzwahl-Gesichtssymbole von häufig angewählten Personen bereit, wie zB in The corresponding Collaboration Initiator window advantageously provides quick dial face icons of frequently dialed people ready, eg in 22 22 illustriert wird, die eine vergrößerte Ansicht typischer Gesichtssymbole ist, zusammen mit verschiedenen Einleitungsschaltflächen (unten in Verbindung mit den is illustrated, which is an enlarged view of typical face symbols, along with various Introduction buttons (below in connection with the 35 35 bis to 42 42 ausführlicher beschrieben). described in more detail).
  • [0136] [0136]
    Videokonferenzrufe können zB durch Doppelklick auf diese Symbole eingeleitet werden. Video conference calls, eg can be initiated by double-clicking on these icons. Wenn ein Ruf eingeleitet wird, stellt die CMW meist eine Bildschirmanzeige bereit, die ein Live-Videobild des fernen Konferenzteilnehmers aufweist, wie zB in When a call is initiated, the CMW usually a screen display prepared having a live video image of the remote conferee, such as in 8A 8A illustriert. illustrated. Diese Anzeige weist Schaltflächen/Menüpunkte auf, die verwendet werden können, um den fernen Teilnehmer auf Wartestellung (Hold) zu schalten, einen auf Wartestellung geschalteten Ruf wiederaufzunehmen, einen oder mehr Teilnehmer zum Ruf hinzuzufügen, gemeinsames Nutzen von Daten einzuleiten oder den Ruf abzubrechen. This advert has buttons / menu items that can be used to hold to switch the remote subscriber (Hold) to resume a switched on hold call, add one or more participants to the call to initiate simultaneous sharing of data, or to cancel the call.
  • [0137] [0137]
    Die bei einem Zweiparteienruf auftretenden softwaregesteuerten Vorgänge werden in Lesions Zweiparteienruf a software-controlled operations are in 23 23 graphisch illustriert. illustrated graphically. Nach dem Anmelden beim AVNM After you log in AVNM 63 63 , wie durch (1) in , As indicated by (1) in 23 23 angedeutet, leitet ein Anrufer einen Ruf ein (zB durch Auswählen eines Benutzers aus der graphischen Rotationsdatei und Anklicken der Schaltfläche "Call" oder durch Doppelklick auf das Gesichtssymbol des Anzurufenden auf dem Kurzwahlfeld). indicated, directs the caller a reputation (eg by selecting a user from the graphical rotation file and click the "Call" button or by double clicking the icon face of the callee to the Speed Dial field). Der Kollaborationsinitiator des Anrufers reagiert, indem erden ausgewählten Benutzer identifiziert und die Adresse dieses Benutzers aus dem Verzeichnisdienst The Collaboration Initiator of the caller responds by ground selected user identified and the address of the user from the directory service 66 66 anfordert, wie durch (2) in requests, as indicated by (2) in 23 23 angedeutet. indicated. Verzeichnisdienst Directory service 66 66 sucht die Adresse des Angerufenen in der Verzeichnisdatenbank, wie durch (3) in examines the address of the callee in the directory database, as shown by (3) 23 23 angedeutet, und sendet sie dann an den Kollaborationsinitiator des Anrufers zurück, wie durch (4) in indicated, and then sends back to the Collaboration Initiator of the caller, as indicated by (4) 23 23 illustriert. illustrated.
  • [0138] [0138]
    Der Kollaborationsinitiator des Anrufers sendet eine Anforderung an den AVNM für einen Videoruf zum Anrufer mit der angegebenen Adresse, wie durch (5) in The Collaboration Initiator of the caller sends a request to the AVNM for a video call to the caller with the specified address, as shown by (5) 23 23 angedeutet. indicated. Der AVNM fragt den Service-Server ab, um den Dienstfall des Typs "Videoruf" zu finden, dessen Name mit der Adresse des Anzurufenden übereinstimmt. The AVNM queries the service server to find the service instance of type "video call" whose name matches the address of the callee. Dieser Dienstdatensatz identifiziert den Standort des Kollaborationsinitiators des Anzurufenden sowie die Netzporte, an die der Anzurufende angeschlossen ist. This service record identifies the location of the collaboration initiator of the callee and the Porte network to which the to be called is connected. Wird für den Anzurufenden kein Dienstfall gefunden, benachrichtigt der AVNM den Anrufer, daß der Anzurufende nicht angemeldet ist. If no service instance found for the callee, the AVNM notifies the caller that to be called is not logged in. Ist der Anzurufende lokal, dann sendet der AVNM ein Rufereignis an den Kollaborationsinitiator des Anzurufenden, wie durch (6) in Is to be called locally, then the AVNM sends a call event to the Collaboration Initiator of the callee, as indicated by (6) 23 23 angedeutet. indicated. Wenn sich der Anzurufende an einer fernen Station befindet, leitet der AVNM die Rufanforderung (5) durch den WAN-Gateway If the to be called is located at a remote station initiates the AVNM the call request (5) through the WAN gateway 40 40 zur Übertragung über WAN for transmission over WAN 15 15 ( ( 1 1 ) zum Kollaborationsinitiator der CMW des Anzurufenden an der fernen Station weiter. ) For the CMW Collaboration Initiator of the callee at the remote station on.
  • [0139] [0139]
    Der Kollaborationsinitiator des Angerufenen kann auf verschiedene Weisen auf das Rufereignis reagieren. The Collaboration Initiator of the called party can respond in various ways to the call event. Es wird ein vom Benutzer auswählbarer Ton erzeugt, um den ankommenden Anruf anzukündigen. It creates a user selectable tone to announce the incoming call. Der Kollaborationsinitiator kann dann auf eine von zwei Arten vorgehen. The Collaboration Initiator can then proceed in one of two ways. Im "Telefonmodus" zeigt der Kollaborationsinitiator eine Einladungsmitteilung auf dem CMW-Bildschirm an, die den Namen des Anrufenden und Schaltflächen zum Akzeptieren oder Ablehnen des Rufs enthält. In the "phone mode" of the Collaboration Initiator indicates an invitation message on the CMW screen that contains the name of the caller and buttons for accepting or rejecting the call. Der Kollaborationsinitiator akzeptiert den Ruf dann oder lehnt ihn ab, je nachdem, welche Schaltfläche vom Angerufenen aktiviert wird. The Collaboration Initiator accepted the call then or rejects it, depending on which button is activated by the called party. Im "Gegensprechmodus" akzeptiert der Kollaborationsinitiator alle ankommenden Anrufe automatisch, sofern auf der CMW des Angerufenen nicht bereits ein weiterer Ruf aktiv ist, in welchem Fall das Verhalten wieder zum Telefonmodus zurückkehrt. In the "intercom mode" accepted the Collaboration Initiator all incoming calls automatically if another call is on the CMW of the callee is not already active, in which case the behavior returns to the phone mode.
  • [0140] [0140]
    Der Kollaborationsinitiator des Angerufenen benachrichtigt dann den AVNM bezüglich dessen, ob der Ruf akzeptiert oder abgelehnt werden wird. The Collaboration Initiator of the callee then notifies the AVNM as to whether the call is accepted or rejected. Wenn der Ruf akzeptiert wird (7), richtet der AVNM die erforderlichen Kommunikationswege zwischen dem Anrufer und dem Angerufenen ein, die zum Aufbauen der Rufverbindung benötigt werden. If the call is accepted (7) AVNM sets up the necessary communication between the caller and the callee, which are needed for establishing the call connection. Der AVNM benachrichtigt dann den Kollaborationsinitiator des Anrufers, daß die Rufverbindung aufgebaut wurde, indem er ihm ein Akzeptierungsereignis (8) sendet. The AVNM then notifies the caller's Collaboration Initiator of that the call connection has been established by sending it a Akzeptierungsereignis (8). Wenn sich der Anrufer und der Angerufene an verschiedenen Stationen befinden, koordinieren ihre AVNM beim Einrichten der Kommunikationswege an beiden Stationen, wie von dem Ruf erfordert. If the caller and the callee at different stations are located, coordinate their AVNM when setting up the channels of communication at both stations, as required by the call. Der AVNM kann für die Verwaltung von Verbindungen unter CMW und anderen Multimedia-Ressourcen für Audio-/Video-/Datenübermittlung mit verschiedenen Methoden auf eine nachstehend beschriebene Weise sorgen. The AVNM may provide for the administration of compounds under CMW and other multimedia resources for audio / video / data transmission using different methods in a manner described below.
  • [0141] [0141]
    Wie bereits beschrieben wurde, verwaltet der AVNM die Schalt(verteil)er (Switches) in der A/V-Vermittlungsschaltungsanordnung As already described, the AVNM manages the switching (distributing) he (switches) in the A / V Switching Circuitry 30 30 in in 3 3 , um Port-zu-Port-Verbindungen in Reaktion auf Verbindungsanforderungen von Requestern bereitzustellen. To port-to-port connections in response to connection requests from requesters provide. Die vom AVNM für die Verwaltung dieser Verbindungen verwendete Primärdatenstruktur wird als "Ruf-Handler" bezeichnet, der sich aus einer Mehrzahl von Bits einschließlich Zustandsbits zusammensetzt. The primary data structure used by the AVNM for the administration of these compounds is known as "call-handler", which is composed of a plurality of bits including state bits.
  • [0142] [0142]
    Jede vom AVNM verwaltete Port-zu-Port-Verbindung weist zwei Ruf-Handler auf, wobei je einer jedem Ende der Verbindung zugeordnet ist. Each of AVNM managed port-to-port connection has two callhandle, wherein each one each end of the connection is associated. Der Ruf-Handler am Requesterport der Verbindung erlaubt es dem Requester, das requesterseitige Verbindungsende zu verwalten. The call handler on the Requesterport connection allows the requester to manage the requesterseitige connection end. Die Ruf-Handler-Modusbits bestimmen den aktuellen Zustand des Ruf-Handlers und welche der vier Schaltverteilerverbindungen (Videoeingang, Videoausgang, Audioeingang, Audioausgang) an einem Ruf beteiligt sind. The call handler mode bits determine the current state of the call handler and which of the four switching manifold connections (video input, video output, audio input, audio output) are involved in a call.
  • [0143] [0143]
    AVNM-Kunden senden Rufanforderungen an den AVNM, wenn sie einen Ruf einleiten wollen. AVNM customers send call requests to the AVNM if they want to start a call. Als Teil einer Rufanforderung gibt der Requester den lokalen Dienst an, in dem der Ruf involviert sein wird, den Namen des spezifischen für den Ruf zu verwendenden Ports, Identifizierungsinformationen über den Anzurufenden und den Rufmodus. As part of a call request to the requester specifies the local service in which the call will be involved, the name of the specific to be used for the call ports, identifying information about the callee and the calling mode. In Reaktion darauf erstellt der AVNM einen Ruf-Handler am Port des Anrufers. In response, the AVNM created a reputation handler at the port of the caller.
  • [0144] [0144]
    Alle Ruf-Handler werden im "ruhenden" Zustand erstellt. All callhandle are created in the "resting" state. Der AVNM versetzt den Ruf-Handler des Anrufers darin in den "aktiven" Zustand. The AVNM puts the call handler of the caller is in the "active" state. Als nächstes erstellt der AVNM einen Ruf-Handler für den Angerufenen und sendet ihm ein Rufereignis, das den Ruf-Handler des Angerufenen in den "Rufzustand" versetzt. Next, the AVNM created a reputation handler for the called party and sends him a call event that puts the call handler of the called party in the "Ring". Wenn der Angerufene den Ruf akzeptiert, wird sein Ruf-Handler in den "aktiven" Zustand versetzt, was zu einer physischen Verbindung zwischen dem Anrufer und dem Angerufenen führt. If the called party accepts the call, his reputation handler is set to the "active" state, which leads to a physical connection between the caller and the callee. An jeden Port kann eine willkürliche Anzahl von Ruf-Handlern angebunden sein, im typischen Fall kann aber nur jeweils einer dieser Ruf-Handler aktiv sein. Each port can be an arbitrary number of call handlers to be connected, typically but can only be active at one of these call handlers.
  • [0145] [0145]
    Nach dem Einrichten eines Rufs können AVNM-Requester Anforderungen zum Ändern des Rufzustands an den AVNM senden, was vorteilhafterweise durch Steuern der Ruf-Handler-Zustände erreicht werden kann Beispielsweise könnte während eines Rufs eine Rufanforderung von einer anderen Partei eintreffen. After setting up a call AVNM requester may send requests to change the ringing state to the AVNM, which can be advantageously achieved by controlling the call handler example, states could arrive during a call, a call request from another party. Diese Ankunft könnte dem Benutzer durch Bereitstellen einer Alarmanzeige in einem Dialogfeld auf dem CMW-Bildschirm des Benutzers signalisiert werden. This arrival could be signaled to the user by providing an alarm display in a dialog box on the user's CMW screen. Der Benutzer könnte den Ruf durch Klick auf eine Ablehnschaltfläche "Refuse" im Dialogfeld ablehnen oder auf eine Schaltfläche "Hold" im Fenster "aktiver Ruf" klicken, um den aktuellen Ruf auf Wartestellung zu schalten und zu ermöglichen, daß der ankommende Ruf akzeptiert wird. The user could up the call by clicking on a Ablehnschaltfläche "Refuse" Reject dialog box or click a button "Hold" in the "active call" window click to mute the current call on hold and to allow the incoming call is accepted.
  • [0146] [0146]
    Umschalten des aktuellen aktiven Rufs auf Wartestellung kann vorteilhaft erzielt werden, indem der Ruf-Handler des Anrufers von dem aktiven Zustand auf einen "Hold"-Zustand schaltet, der es dem Anrufer erlaubt, ankommende Rufe zu beantworten oder neue Rufe einzuleiten, ohne die vorherige Rufverbindung abzubauen. Switch the current active call on hold can be advantageously achieved by the call handler of the caller from the active state to a "hold" state switches, which allows the caller to answer incoming calls or initiate new calls, without the prior reduce call connection. Da der Verbindungsaufbau zum Angerufenen aufrechterhalten wird, kann ein auf Wartestellung geschalteter Ruf bequem wiederaufgenommen werden, indem der Anrufer eine Schaltfläche "Resume" zum Wiederaufnehmen im Fenster des aktiven Rufs anklickt, was den entsprechenden Ruf-Handler wieder in den aktiven Zustand schaltet. Since the connection is maintained to the called party, a switched on hold call can be easily restored by the caller a button "Resume" to resume in the active call window clicks on what the appropriate call handler switches to the active state. Im typischen Fall können auf diese Weise mehrere Rufe auf Wartestellung (Hold) geschaltet werden. Typically, multiple calls can be put on hold (hold) in this way. Als eine Hilfe beim Verwalten von auf Wartestellung geschalteten Rufen stellt der CMW vorteilhaft eine Wartelisteanzeige bereit, die diese auf Wartestellung geschalteten Rufe identifiziert und (wahlweise) wie lange jede Partei in Wartestellung ist. As an aid in managing switched on hold Call, the CMW advantageous a waiting list display that identifies this switched on hold calls, and (optionally) how long each party on hold. Zum Identifizieren jedes wartenden Rufs könnte ein entsprechendes Gesichtssymbol verwendet werden. To identify each waiting call a corresponding face symbol could be used. Außerdem könnten in dieser Hold-Anzeige Schaltflächen bereitgestellt werden, mit deren Hilfe der Benutzer eine vorprogrammierte Mitteilung an eine auf Wartestellung geschaltete Partei senden könnte. In addition, buttons could be provided by means of which the user is a pre-programmed message to a switched on hold party could send this hold display. Diese Mitteilung könnte zB dem Angerufenen mitteilen, wann der Ruf wiederaufgenommen wird, oder sie könnte angeben, daß der Ruf abgebrochen und zu einem späteren Zeitpunkt wieder eingeleitet werden wird. This message could eg be notified to the called party when the call is resumed, or it could indicate that the call is canceled and will be launched at a later date.
  • [0147] [0147]
    Im folgenden wird auf The following is on 24 24 Bezug genommen, die graphisch darstellt, wie Zweiparteienrufe für CMW WS-1 und WS-2 verbunden werden, die im selben MLAN Referring showing graphically how the two-party calls for CMW WS-1 and WS-2 are connected to the same MLANs 10 10 angeordnet sind. are arranged. Wie in How to 24 24 gezeigt, sind die CMW WS-1 und WS-2 über Porte shown that CMW WS-1 and WS-2 are Porte 81 81 bzw. and 82 82 mit der lokalen A/V-Vermittlungsschaltungsanordnung with the local A / V Switching Circuitry 30 30 gekoppelt. coupled. Wie bereits beschrieben, wird für jeden Port ein Ruf-Handler erstellt, wenn CMW WS-1 CMW WS-2 anruft. As described earlier, a call handler is created for each port when CMW WS-1 CMW WS-2 calls. Wenn CMW WS-2 diesen Ruf akzeptiert, werden diese beiden Ruf-Handler aktiv, und in Reaktion darauf veranlaßt der AVNM, daß die A/V-Vermittlungsschaltungsanordnung If CMW WS-2 accepts this call, these two call handlers are active, and in response, causing the AVNM that the A / V Switching Circuitry 30 30 die entsprechenden Verbindungen zwischen den Porten the appropriate connections between the Porten 81 81 und and 82 82 aufbaut, wie durch die gestrichelte Linie builds as indicated by the dashed line 83 83 angedeutet. indicated.
  • [0148] [0148]
    25 25 zeigt hier graphisch, wie Zweiparteienrufe für die CMW WS-1 und WS-2 verbunden werden, wenn sie sich in verschiedenen MLAN here shows graphically how the two-party calls for the CMW WS-1 and WS-2 are connected if they are in different MLANs 10a 10a und and 10b 10b befinden. . are Wie in How to 25 25 illustrien, wird CMW WS-1 von MLAN illustrien is CMW WS-1 of MLANs 10a 10a mit einem Port to a port 91a 91a der A/V-Vermittlungsschaltungsanordnung A / V Switching Circuitry 30a 30a von MLAN of MLANs 10a 10a verbunden, während CMW WS-2 mit einem Port respectively, while CMW WS-2 to a port 91b 91b der Audio-/Video-Vermittlungsschaltung audio / video switching circuit 30b 30b von MLAN of MLANs 10b 10b verbunden wird. is connected. Es wird vorausgesetzt, daß die MLAN It is assumed that the MLAN 10a 10a und and 10b 10b über die Porte on the Porte 92a 92a und and 92b 92b (durch betreffende WAN-Gateways (By respective WAN gateway 40a 40a und and 40b 40b sowie WAN and WAN 15 15 ) miteinander kommunizieren können. ) Can communicate. Ein Ruf zwischen den CMW WS-1 und WS-1 kann dann vom AVNM von MLAN A call between the CMW WS-1 and WS-1 can of AVNM of MLANs 10a 10a in Reaktion auf die Erstellung von Ruf-Handlern an den Porten in response to the creation of call handlers to the Porten 91a 91a und and 92a 92a , wobei geeignete Verbindungen zwischen diesen Porten aufgebaut werden, wie durch gestrichelte Linie Where appropriate connections between these Porten be established by dashed line 93a 93a angedeutet, und vom AVNM von MLAN indicated, and the AVNM of MLANs 10b 10b in Reaktion auf an den Porten in response to the Porten 91b 91b und and 92b 92b erstellte Ruf-Handler eingerichtet werden, wobei geeignete Verbindungen zwischen diesen Porten aufgebaut werden, wie durch gestrichelte Linie created callhandle be set up, with appropriate links between these Porten be established by dashed line 93b 93b angedeutet. indicated. In jedem Netz werden vom WAN-Netzmanager In each network from the WAN Manager 65 65 ( ( 21 21 ) geeignete Wege ) Appropriate ways 94a 94a und and 94b 94b in WAN-Gateways in WAN gateway 40a 40a bzw. and 40b 40b aufgebaut. established.
  • KONFERENZRUFE CONFERENCE CALL
  • [0149] [0149]
    Als nächstes wird die spezifische Weise beschrieben, auf die das illustrierte System Mehrparteienkonferenzrufe (an denen mehr als zwei Teilnehmer beteiligt sind) ermöglicht. The specific manner will be described, to which the system illustrated multi-party conference calls (involving more than two parties are involved) enabled. Wenn ein Mehrparteienkonferenzruf eingeleitet wird, stellt die CMW einen dem Bildschirm für Zweiparteienrufe ähnelnden Bildschirm bereit, der in einem Videofenster ein Live-Videobild des Bilds des Angerufenen anzeigt. If a Mehrparteienkonferenzruf is initiated, the CMW a screen for two-party calls resembling ready screen that displays a live video image of the image of the called party in a video window. Für Mehrparteienrufe weist der Bildschirm aber ein Videomosaik auf, das ein Live-Videobild von jedem der Konferenzteilnehmer (einschließlich dem Bild des CMW-Benutzers selbst) enthält, wie zB in For multi-party calls but the screen has a video mosaic, which contains a live video image of each of the conference participants (including the image of the CMW user himself), such as in 8B 8B dargestellt. shown. Selbstverständlich könnten andere Anordnungen nur die fernen Konferenzteilnehmer (und nicht den lokalen CMW-Benutzer) im Konferenzmosaik zeigen (oder ein Mosaik zeigen, das beide Teilnehmer eines Zweiparteienrufs enthält). It is understood that other arrangements only the conference participants (and not the local user CMW) show in the conference mosaic (or show a mosaic that both participants in a Zweiparteienrufs contains). Außerdem weist der Mehrparteienkonferenzbildschirm zusätzlich zu den in In addition, the multi-party conference screen has, in addition to those described in 8B 8B gezeigten Bedienelementen auch Schaltflächen/Menüpunkte auf, die verwendet werden können, um einzelne Konferenzteilnehmer auf Wartestellung (Hold) zu schalten, einzelne Konferenzteilnehmer aus der Konferenz zu entfernen, die gesamte Konferenz aufzuschieben oder eine "Nahaufnahme" einer Einzelperson (anstelle des Videomosaiks) bereitzustellen. shown controls also provide buttons / menu items that can be used to switch individual conference participants on hold (hold) to remove individual conference participant from the conference to postpone the entire conference or a "close-up" of an individual (instead of the video mosaic).
  • [0150] [0150]
    Eine Mehrparteienkonferenz benötigt alle die für Zweiparteienrufe eingesetzten Mechanismen. A multi-party conference needs all the mechanisms used for two-party calls. Darüberhinaus erfordert sie den Konferenzbrückenmanager (Conference Bridge Manager) CBM Moreover, it requires the conference bridge manager (Conference Bridge Manager) CBM 64 64 ( ( 21 21 ) und die Konferenzbrücken ) And the conference bridge 36 36 ( ( 3 3 ). ). Der CBM dient als ein Requester des AVNM bei der Verwaltung des Betriebs der Konferenzbrücken The CBM acts as a requester of the AVNM in managing the operation of the conference bridges 36 36 . , Der CBM dient auch als ein Server für andere Requester am Netz. The CBM also acts as a server for other requester on the network. Der CBM macht Konferenzdienste verfügbar, indem er in der AVNM-Dienstedatenbank Dienstdatensätze vom Typ "Konferenz" erstellt und diese Dienste mit den Porten an der A/V-Vermittlungsschaltungsanordnung The CBM makes conferencing services available by creating in the AVNM services database service records of type "conference" and these services with the Porten on the A / V Switching Circuitry 30 30 zur Verbindung mit den Konferenzbrücken for connection to the conference bridges 36 36 assoziiert. associated.
  • [0151] [0151]
    Das System stellt zwei Methoden zum Einleiten eines Konferenzrufs bereit. The system provides two methods to initiate a conference call ready. Die erste Methode ist das Hinzufügen von einer oder mehr Parteien zu einem bestehenden Zweiparteienruf. The first method is to add one or more parties to an existing Zweiparteienruf. Zu diesem Zweck wird vom Kollaborationsinitiator und der Rotationsdatei, wie in den For this purpose, the Collaboration Initiator and the rotation file, as shown in 2A 2A und and 22 22 dargestellt, jeweils eine Hinzufügeschaltfläche ADD bereitgestellt. shown, each provided an add button ADD. Zum Hinzufügen einer neuen Partei wählt ein Benutzer die hinzuzufügende Partei aus (durch Klick auf den Namen in der Rotationsdatei des Benutzers oder das Gesichtssymbol, wie oben beschrieben) und klickt dann die Schaltfläche ADD an, um diese neue Partei einzuladen. To add a new party, a user selects to add the party out (by clicking on the name in the rotation file of the user or the face symbol, as described above), and then click the ADD button to invite them this new party. Zusätzliche Parteien können auf gleiche Weise eingeladen werden. Additional parties may be invited in the same way. Die zweite Methode zum Einleiten eines Konferenzrufs ist, die Parteien auf ähnliche Weise auszuwählen und dann die Schaltfläche CALL (ebenfalls im Kollaborationsinitiator- oder Rotationsdateifenster auf dem CMW-Bildschirm des Benutzers bereitgestellt) anzuklicken. The second method for initiating a conference call is to select the parties in a similar way and then the CALL button (also provided in Kollaborationsinitiator- or rotation file window on the user's screen CMW) to click.
  • [0152] [0152]
    Eine weitere Möglichkeit ist, durch Anklicken eines Symbols/einer Schaltfläche/eines Menüpunktes CONFERENCE/MOSAIC auf dem CMW-Bildschirm einen Konferenzruf von Anfang an einzuleiten. Another option is to initiate a conference call from the beginning by clicking on an icon / a button / a menu item CONFERENCE / MOSAIC on the CMW screen. Dies könnte einen Konferenzruf mit dem Rufeinleitenden als einzigem Teilnehmer einleiten (dh was bewirkt, daß eine Konferenzbrücke zugeteilt wird, so daß das Bild des Anrufers auch auf seinem eigenen Bildschirm in einem Videomosaik erscheint, das auch Bilder nachfolgend hinzugefügter Teilnehmer aufweisen wird). This could be a conference call with the Rufeinleitenden as the only participant to initiate (ie, causing a conference bridge is assigned, so that the image of the caller appears on his own screen in a video mosaic, which will also include pictures below of added nodes). Neue Teilnehmer könnten zB durch Auswählen des Gesichtssymbols jeder neuen Partei und dann Anklicken der Schaltfläche ADD eingeladen werden. New participants example could be invited by selecting the icon face each new party and then clicking on the ADD button.
  • [0153] [0153]
    Als nächstes wird unter Bezugnahme auf die Next, with reference to the 26 26 und and 27 27 betrachtet, wie Konferenzrufe abgewickelt werden. considered, such as conference calls are handled. Zum Zweck dieser Beschreibung wird davon ausgegangen, daß bis zu vier Parteien an einem Konferenzruf teilnehmen können. For purposes of this description, it is assumed that up to four parties to participate in a conference call. Jede Konferenz benutzt vier an der A/V-Vermittlungsschaltungsanordnung Each conference uses four on the A / V Switching Circuitry 30a 30a bereitgestellte Brückenporte provided Bridge Porte 136-1 136-1 , . 136-2 136-2 , . 136-3 136-3 und and 136-4 136-4 , die beziehungsweise mit den mit der Konferenzbrücke Which is or with the conference bridge 36 36 gekoppelten Duplex-Audio/Video-Leitungen coupled duplex audio / video lines 36-1 36-1 , . 36-2 36-2 , . 36-3 36-3 und and 36-4 36-4 verbunden werden. be connected. Aus dieser Beschreibung wird es jedoch offensichtlich, wie ein Konferenzruf für zusätzliche Parteien bereitgestellt werden kann, sowie gleichzeitig stattfindende Konferenzrufe. From this description, but it is obvious how a conference call can be used for additional parties, as well as concurrent conference calls.
  • [0154] [0154]
    Wenn der Kollaborationsinitiator bestimmt hat, daß eine Konferenz eingeleitet werden soll, fragt er den AVNM nach einem Konferenzdienst ab. If the Collaboration Initiator has determined that a conference should be initiated, he asks the AVNM advantage of a conference service. Wenn ein derartiger Dienst verfügbar ist, fordert der Kollaborationsinitiator den assoziierten CBM auf, eine Konferenzbrücke zuzuweisen. When such a service is available, the Collaboration Initiator calls on the associated CBM to allocate a conference bridge. Der Kollaborationsinitiator führt dann einen Audio-/Videoruf zum CBM zum Einleiten der Konferenz durch. The Collaboration Initiator then performs an audio / video call to the CBM by the introduction of the conference. Wenn der CBM den Ruf akzeptiert, koppelt der AVNM Port If the CBM accepted the call, the coupled port AVNM 101 101 der CMW WS-1 an die Leitungen of CMW WS-1 to lines 36-1 36-1 der Konferenzbrücke the conference bridge 36 36 über eine Verbindung via a connection 137 137 , die in Reaktion auf für Port That in response to Port 101 101 von WS-1 und Brückenport WS-1 and bridge port 136-1 136-1 erstellte Ruf-Handler produziert wird. created callhandle is produced.
  • [0155] [0155]
    Wenn der Benutzer von WS-1 das entsprechende Gesichtssymbol auswählt und die Schaltfläche ADD anklickt, um einen neuen Teilnehmer zur Konferenz einzuladen, der als CMW WS-3 angenommen wird, sendet der Kollaborationsinitiator auf WS-1 eine Hinzufügen-Anforderung an den CBM. If the user of WS-1 selects the corresponding face symbol and the ADD button clicks to invite a new participant to the conference, which is assumed to CMW WS-3, the Collaboration Initiator sends on WS-1 is an add request to the CBM. In Reaktion darauf ruft der CBM WS-3 über den Port In response, the CBM WS-3 via the port invokes 103 103 von WS-3. WS-third Wenn der CBM den Ruf einleitet, erstellt der AVNM Ruf-Handler für den Port If the CBM initiates the call, the AVNM callhandle created for the port 103 103 von WS-3 und den Brückenport WS-3 and the bridge port 136-2 136-2 . , Wenn WS-3 den Ruf akzeptiert, wird der Ruf-Handler "aktiv" gemacht, was zum Bereitstellen der Verbindung If WS-3 accepts the call, the call handler is made "active", which for providing the connection 138 138 zum Verbinden von WS-3 und den Leitungen to connect WS-3 and lines 136-2 136-2 der Konferenzbrücke the conference bridge 36 36 führt. leads. Angenommen, daß CMW WS-1 als nächstes CMW WS-5 und dann CMW WS-8 dazunimmt, werden nacheinander Ruf-Handler für ihre betreffenden Porte und Brückenporte Assuming that CMW WS-1 next CMW WS-5 and then CMW WS-8 to take, one after the other call handlers for their respective Porte and bridge Porte 136-3 136-3 und and 136-4 136-4 erstellt, wie oben für WS-1 und WS-3 beschrieben, was dazu führt, daß Verbindungen created, as described above for WS-1 and WS-3, resulting in that the compounds 139 139 und and 140 140 zum Verbinden von WS-5 und WS-9 mit den Konferenzbrückenleitungen for joining WS-5 and WS-9 with the conference bridge lines 36-3 36-3 bzw. and 36-4 36-4 bereitgestellt werden. be provided. Die Konferierenden WS-1, WS-3, WS-5 und WS-9 werden so beziehungsweise an die Konferenzbrückenleitungen The conferring WS-1, WS-3, WS-5 and WS-9 or so to the conference bridge lines 136-1 136-1 , . 136-2 136-2 , . 136-3 136-3 und and 136-4 136-4 gekoppelt, wie in coupled, as shown in 26 26 gezeigt. shown.
  • [0156] [0156]
    Es versteht sich, daß die Videomosaikschaltungsanordnung It is understood that the video mosaicing circuitry 36 36 und Audiomischschaltungsanordnung and audio mixing circuitry 38 38 , die in die Konferenzbrücke , Which in the conference bridge 36 36 eingebunden sind, wie bereits beschrieben funktionieren, um ein resultierendes Vierbildermosaik ( are embedded, function as already described to a resulting four images mosaic ( 8B 8B ) zu bilden, das an alle Konferenzteilnehmer gesendet wird, bei denen es sich in diesem Fall um die CMW WS-1, WS-2, WS-5 und WS-8 handelt. ) Form which is sent to all conference participants, where it is in this case the CMW WS-1, WS-2, WS-5 and WS-8. Benutzer können die Konferenz verlassen, indem sie einfach auflegen, was den AVNM veranlaßt, die assoziierten Ruf-Handler zu löschen und dem CBM eine Auflegungsbenachrichtigung zu senden. Users can leave the conference by simply hang up, what the AVNM made to delete the associated call handler and send the CBM launch a notification. Wenn der CBM die Benachrichtung empfängt, benachrichtigt er alle anderen Konferenzteilnehmer, daß der Teilnehmer ausgestiegen ist. If the CBM receives the notification, it notifies all other conference participants that the subscriber has dropped out. Im bevorzugten System hat das zur Folge, daß auf dem Bildschirm aller übrigen Teilnehmer ein geschwärzter Teil des Videomosaikbildes dieses Teilnehmers angezeigt wird. In the preferred system which has the consequence that a blackened part of the video mosaic image that participant is displayed on the screen of all other participants.
  • [0157] [0157]
    Wie der CBM und die Konferenzbrücke As the CBM and the conference bridge 36 36 funktionieren, wenn sich Konferenzteilnehmer an verschiedenen Stationen befinden, ist aus dem oben beschriebenen Betrieb der Cut-and-Paste-Schaltungsanordnung work if conferees are located at different stations, from the above-described operation of the cut-and-paste circuitry 39 39 ( ( 10 10 ) mit der Videomosaikschaltungsanordnung ) With the video mosaicing circuitry 36 36 ( ( 7 7 ) und der Audiomischschaltungsanordnung ) And the mixed audio circuitry 38 38 ( ( 9 9 ) offensichtlich. ) Obviously. In einem solchen Fall wird jedes von einer anderen Station ankommende einzelne Videobild oder -mosaik über WAN-Gateway In such case, each incoming single video from another station picture or tessellation via WAN gateway 40 40 mit einer betreffenden der Konferenzbrückenleitungen with a respective one of the conference bridge lines 36-1 36-1 bis to 36-4 36-4 verbunden. connected.
  • [0158] [0158]
    Als nächstes wird in Verbindung mit Next, in connection with 7 7 und dem bereits betrachteten Zweiparteienruf der in and the already considered in the Zweiparteienruf 24 24 illustriert wird, die Situation behandelt, in der ein Zweiparteienruf zu einem Konferenzruf umgewandelt wird. is illustrated, the situation addressed in which a Zweiparteienruf is converted to a conference call. Die Umwandlung dieses Zweiparteienrufs in eine Konferenz erfordert, daß dieser Zweiparteienruf (wie zB zwischen WS-1 und WS-2 in The conversion of this Zweiparteienrufs in a conference requires that this Zweiparteienruf (such as between WS-1 and WS-2 in 24 24 illustriert) dynamisch umgelenkt wird, so daß er durch Konferenzbrücke illustrated) is redirected dynamically so that it passes through conference bridge 36 36 hindurch gekoppelt wird. is coupled through. Wenn der Benutzer von WS-1 auf die Schaltfläche ADD klickt, um eine neue Partei dazuzunehmen (zB WS-5), sendet der Kollaborationsinitiator von WS-1 eine Umleitungsanforderung an den AVNM, der mit dem CBM kooperiert, um die Zweiparteienverbindung If the user of WS-1, click the ADD button to create a new party to increase (eg WS-5), the Collaboration Initiator of WS-1 sends a redirect request to the AVNM, which cooperates with the CBM to the two-party connection 83 83 in in 24 24 zu unterbrechen und dann die für die Porte interrupting and then for the Porte 81 81 und and 83 83 erstellten Ruf-Handler zu den für die Brückenporte created callhandle to the bridge Porte 136-1 136-1 bzw. and 136-2 136-2 erstellten Ruf-Handlern umzuleiten. created reputation handlers redirect.
  • [0159] [0159]
    Wie in How to 27 27 gezeigt, hat dies die Herstellung einer Verbindung shown, this has the preparation of a compound 86 86 zwischen WS-1 und Brückenport between WS-1 and bridge port 136-1 136-1 und eine Verbindung and a compound 87 87 zwischen WS-2 und Brückenport between WS-2 and bridge port 136-2 136-2 zur Folge, wodurch zwischen WS-1 und WS-2 eine Konferenzeinrichtung erstellt wird. result, thereby creating a conference facility between WS-1 and WS-2. Zusätzliche Konferenzteilnehmer können dann wie oben beschrieben für die oben beschriebenen Situationen hinzugefügt werden, in denen die Konferenz dadurch eingeleitet wird, daß der Benutzer von WS-1 entweder anfänglich mehrere Parteien auswählt oder lediglich eine "Konferenz" auswählt und dann spätere Teilnehmer hinzufügt. Additional conference participants can then be added as described above for the situations described above, where the conference is initiated by the user of WS-1 either initially selects multiple parties or merely selects a "conference" and then adds later participants.
  • [0160] [0160]
    Nachdem die bevorzugte Methode beschrieben worden ist, mit der Zweiparteienrufe und Konferenzrufe eingerichtet werden, wird als nächstes die bevorzugte Methode beschrieben, mit der Datenkonferenzen (Data Conferencing) zwischen CMW bereitgestellt werden. Once the preferred method has been described to be set up with the two-party calls and conference calls, the preferred method is described next, are provided between CMW with the data conferencing (Data Conferencing).
  • DATENKONFERENZEN (DATA CONFERENCING) CONFERENCES DATA (DATA CONFERENCING)
  • [0161] [0161]
    Datenkonferenzen werden durch bestimmte Snapshot-Sharing-Software ausgeführt, die am CMW bereitgestellt wird (siehe Data conferences are carried out by certain Snapshot Sharing software provided at the CMW (see 20 20 ). ). Diese Software gestattet es, daß ein "Snapshot" von einem ausgewählten Teil des CMW-Bildschirms eines Teilnehmers (wie zB einem Fenster) auf den CMW-Bildschirmen anderer ausgewählter Teilnehmer angezeigt wird (ob diese Teilnehmer nun auch an der Videokonferenz beteiligt sind oder nicht). This software allows a "snapshot" of a selected part of the CMW screen of a participant is displayed (such as a window) to the CMW screens of other selected participants (whether these parties are now also involved in video conferencing or not) , Jede beliebige Anzahl von Snapshots kann gleichzeitig gemeinsam genutzt werden. Any number of snapshots may be used simultaneously together. Wenn der Snapshot angezeigt ist, kann jeder Teilnehmer dann mit dem Telezeiger auf ihm zeigen oder ihn annotieren, was bewirkt, daß bewegte Handlungen und Ergebnisse (praktisch gleichzeitig) auf den Bildschirmen aller anderen Teilnehmer erscheinen. If the snapshot is displayed, each participant can then show the message pointer to him or annotate it, causing moving actions and results appear (almost simultaneously) on the screens of all other participants. Die bereitgestellten Annotationsfähigkeiten weisen Linien in mehreren verschiedenen Breiten und Text in mehreren verschiedenen Größen auf. The Annotationsfähigkeiten have provided several lines in different widths and text in several different sizes. Zum Ermöglichen der Teilnehmeridentifizierung können diese Annotationen auch für jeden Teilnehmer in einer anderen Farbe bereitgestellt werden. To enable the participants identify these annotations can also be provided for each participant in a different color. Jede Annotation kann auch von jedwedem Teilnehmer entfernt werden. Each annotation can also be removed from any participant. 2B 2B (Fenster unten links) illustriert einen CMW-Bildschirm mit einer gemeinsam genutzten Grafik, auf die Teilnehmer gezeichnet und geschrieben haben, um auf spezifische Teile des gemeinsam betrachteten Bilds aufmerksam zu machen oder sie zu ergänzen. (Bottom left window) illustrates a CMW screen with a shared video, have drawn and written on the participants to draw attention to specific parts of the shared object image or add to it.
  • [0162] [0162]
    Ein Teilnehmer kann eine Datenkonferenz mit ausgewählten Teilnehmern (wie oben für Videokonferenzrufe beschrieben ausgewählt und hinzugefügt) einleiten, indem er auf eine Schaltfläche SHARE auf dem Bildschirm klickt (die im Rotationsdatei- oder Kollaborationsinitiatorfenster, in One participant, a data conference with selected participants (selected as above described for video conference calls and added) initiate, by clicking on a button on the screen SHARE (in the Rotationsdatei- or Collaboration Initiator window 2A 2A gezeigt, verfügbar ist, wie auch die Schaltflächen CALL and ADD), gefolgt von der Auswahl des gemeinsam zu nutzenden Fensters. is shown, available, as well as the CALL and ADD) buttons, followed by the selection of the window to be shared. Wenn ein Teilnehmer auf diese Schaltfläche SHARE klickt, fragt sein Kollaborationsinitiatormodul When a subscriber clicks the button SHARE asks his collaboration initiator module 161 161 ( ( 20 20 ) den AVNM ab, um die Kollaborationsinitiatoren der ausgewählten Teilnehmer auszumachen, was zum Aufrufen ihrer jeweiligen Snapshot-Sharing-Module ) From the AVNM to make up the collaboration initiators of the selected participants what to call their respective snapshot sharing modules 164 164 führt. leads. Die Snapshot-Sharing-Softwaremodule an den CMW jedes der ausgewählten Teilnehmer fragen ihr lokales Betriebssystem The snapshot sharing software modules to the CMW each of the selected participants ask their local operating system 180 180 ab, um verfügbare Grafikformate zu bestimmen, und senden diese Informationen dann an das einleitende Snapshot-Sharing-Modul, das das Format bestimmt, das die vorteilhafteste Anzeigequalität und -leistung für jeden ausgewählten Teilnehmer erzeugt. from to determine available graphics formats, and send that information back to the initial snapshot sharing module that determines the format that creates the most favorable display quality and performance for each selected participant.
  • [0163] [0163]
    Wenn der gemeinsam zu nutzende Snapshot auf allen CMW angezeigt wird, kann jeder Teilnehmer im Snapshot mit Telezeiger arbeiten oder annotieren, wobei diese Handlungen und Ergebnisse auf den CMW-Bildschirmen aller Teilnehmer angezeigt werden. If the snapshot to be shared is displayed on all CMW, each participant in the snapshot can work with Tele pointer or annotate these actions and results are displayed on the CMW screens of all participants. Dies wird vorzugsweise durch Überwachen der an der CMW vorgenommenen Handlungen erreicht (zB durch Verfolgen von Bewegungen der Maus) und durch Senden dieser "Betriebssystembefehle" an die CMW der anderen Teilnehmer anstatt kontinuierlich Bitmaps (Pixelraster) auszutauschen, wie dies bei traditionellen "Fernsteuerungs"-Produkten der Fall wäre. This is preferably by monitoring of the actions taken at the CMW reached (eg, by tracking movements of the mouse) and then sending these "operating system commands" to the CMW of the other participants rather than continuous bitmaps (bitmap) exchange, as in traditional "Remote Control" - products would be the case.
  • [0164] [0164]
    Wie in How to 28 28 illustriert, wird der ursprüngliche unveränderte Snapshot in einem ersten Bitmap illustrated, the original unchanged snapshot is in a first bitmap 210a 210a gespeichert. stored. Ein zweites Bitmap A second bitmap 210b 210b speichert die Kombination des ursprünglichen Snapshot und jedweder Annotationen. stores the combination of the original snapshot and any annotations. Auf Wunsch (zB durch Klicken auf die Schaltfläche CLEAR im Sharing-Fenster jedes Teilnehmers, wie in On request (eg by clicking on the button CLEAR in each participant sharing window, as shown in 2B 2B illustriert) kann somit der ursprüngliche unveränderte Snapshot unter Verwendung von Bitmap illustrated) may thus the original unaltered snapshot using bitmap 210a 210a wiederhergestellt werden (dh alle Annotationen werden entfernt). to be restored (ie, all annotations are removed). Selektives Löschen kann durch Einkopieren (dh Wiederherstellen) des entsprechenden Teils aus Bitmap Selective deletion, by pasting (ie restore) the corresponding part of Bitmap 210a 210a in den gewünschten gelöschten Bereich von Bitmap in the desired erased area of bitmap 210b 210b erreicht werden. be achieved.
  • [0165] [0165]
    Anstatt die Erstellung eines neuen Sharing-Fensters zu bewirken, wenn ein Snapshot gemeinsam genutzt wird, kann der Inhalt eines bestehenden Sharing-Fensters durch ein neues Bild ersetzt werden. Rather than to effect the creation of a new sharing window when a snapshot is shared, the content of an existing sharing window may be replaced by a new image. Dies kann mit einer der beiden folgenden Methoden erreicht werden. This can be achieved with one of the two following methods. Erstens kann der Benutzer auf die Schaltfläche GRAB klicken und dann ein neues Fenster auswählen, dessen Inhalt den Inhalt des bestehenden Sharing-Fensters ersetzen sollte. First, the user can click on the GRAB button and then select a new window whose contents should replace the contents of the existing sharing window. Zweitens kann der Benutzer auf die Schaltfläche REGRAB klicken, um zu bewirken, daß eine (vermutlich geänderte) Version des ursprünglichen Quellenfensters den Inhalt des bestehenden Sharing-Fensters ersetzt. Second, the user can click on the REGRAB button to cause a (presumably modified) version of the original source window replaces the content of the existing window sharing. Dies ist besonders nützlich, wenn ein Teilnehmer das gemeinsame Nutzen eines langen Dokuments wünscht, das nicht vollständig auf dem Bildschirm dargestellt werden kann. This is especially useful when a subscriber wishes the sharing of a long document that can not be completely displayed on the screen. Beispielsweise könnte es sein, daß der Benutzer die erste Seite einer Kalkulationstabelle auf seinem Bildschirm anzeigt, die Schaltfläche SHARE zum gemeinsamen Bearbeiten dieser Seite aktiviert, sie diskutiert und vielleicht annotiert, dann zur Kalkulationstabellenanwendung zurückkehrt, um die nächste Seite zu positionieren, die Schaltfläche REGRAB (Neufangen) zum gemeinsamen Bearbeiten der neuen Seite aktiviert und so weiter. For example, it could be that the user views the first page of a spreadsheet on his screen, the SHARE button to the common editing this page activated, they discussed and perhaps annotated, then returns to the spreadsheet application to position the next page, the REGRAB button ( Neufangen) is recognized at common editing the new page and so on. Dieser Mechanismus stellt einen einfachen effektiven Schritt auf dem Weg zum Application-Sharing dar (dem gemeinsamen Bedienen geöffneter Anwendungen). This mechanism provides a simple effective step on the way to application sharing is (the common operating open applications).
  • [0166] [0166]
    Des weiteren kann ein Benutzer, anstatt einen Snapshot von Daten auf seinem aktuellen Bildschirm mit anderen zu teilen, einen Snapshot gemeinsam nutzen, der zuvor als eine Datei abgespeichert worden war. Furthermore, a user rather than to share a snapshot of data on its current screen with others, use a snapshot together, which had previously been saved as a file. Dies wird über die Schaltfläche LOAD erreicht, die veranlaßt, daß eine Dialogbox erscheint, die den Benutzer zum Auswählen einer Datei auffordert. This is achieved via the LOAD button that causes a dialog box appears that prompts the user to select a file. Umgekehrt kann jeder Snapshot mit allen aktuellen Annotationen mit Hilfe der Schaltfläche SAVE abgespeichert werden. Conversely, each snapshot is stored using the SAVE button with all current annotations.
  • [0167] [0167]
    Die oben beschriebenen Fähigkeiten wurden sorgfältig ausgewählt, um in Umgebungen besonders effektiv zu sein, in denen das Hauptziel das gemeinsame Nutzen existierender Informationen ist und nicht die Erstellung neuer Informationen. The capabilities described above were carefully selected to be particularly effective in environments in which the main objective is the sharing of existing information and not create new information. Im besonderen sind die Benutzeroberflächen dafür ausgelegt, Snapshot-Erfassen, Telezeigen und Annotationen äußerst benutzerfreundlich zu machen. In particular, the user interfaces are designed to make snapshot capture, Tele Show Annotations and extremely user friendly. Trotzdem versteht es sich auch, daß anstelle eines gemeinsamen Nutzens von Snapshots auch ein leeres "Whiteboard" gemeinsam genutzt werden kann (über die Schaltfläche WHITEBOARD, die vom Rotationsdatei- und Kollaborationsinitiatorfenster und dem Fenster "Aktiver Ruf' bereitgestellt wird) und daß für Anwendungsbereiche, die derartige Fähigkeiten benötigen, leicht komplexere Malprogrammfähigkeiten hinzugefügt werden könnten. Nevertheless, it is also understood that instead of a common benefit of snapshots also an empty "whiteboard" can be shared (via the button WHITEBOARD provided by Rotationsdatei- and Collaboration Initiator window and the "Active call window ') and that for applications need such capabilities, easy Malprogrammfähigkeiten complex could be added.
  • [0168] [0168]
    Wie hierin bereits hervorgehoben, liegen wichtige Merkmale des vorliegenden Systems in der Art und Weise der engen Integration der Fähigkeiten und Vorteile von Multimedia-Mail (MMM), Multimedia-Konferenz-Aufzeichnung (MMCR – Multimedia Conference Recording) und Multimediadokumentenverwaltung (MMDM – Multimedia Document Management) in Audio/Video/Daten-Telekonferenzen, um ein Multimedia- Kollaborationssystem bereitzustellen, das einen ungewöhnlich höheren Grad an Kommunikation und Kollaboration zwischen geographisch verstreuten Benutzern ermöglicht als bisher mit bekannten Systemen vom Stand der Technik erreichbar war. As pointed out herein, are important features of the present system in the way of the tight integration of capabilities and advantages of multimedia mail (MMM), multimedia conference recording (MMCR - Multimedia Conference Recording) and multimedia document management (MMDM - Multimedia Document Management) was reached with known systems from the prior art in audio / video / data teleconferences to provide a multimedia collaboration system that allows an unusually high degree of communication and collaboration between geographically dispersed users than before. 29 29 ist eine Prinzip- und Diagrammdarstellung, die veranschaulicht, wie Multimedia-Rufe/Konferenzen, MMCR, MMM und MMDM zusammenarbeiten, um die oben beschriebenen Merkmale bereitzustellen. is a Prinzip- and diagrammatic view illustrating how multimedia calls / conferences, MMCR, MMM and MMDM work together to provide the above-described features. Gezeigte MM-Editierprogramme, die MMM und MMDM ergänzen, können identisch sein. Shown MM-editing programs that complement the MMM and MMDM can be identical.
  • [0169] [0169]
    Nachdem bereits diverse Beispiele von Audio/Video/Daten-Telekonferenzen beschrieben wurden, werden als nächstes die verschiedenen Methoden der Integration von MMCR, MMM und MMDM in Audio/Video/Daten-Telekonferenzen betrachtet. Having already described several examples of audio / video / data teleconferencing, are next considered the various methods of integration of MMCR, MMM and MMDM in audio / video / data teleconferences. Zu diesem Zweck werden grundlegende bevorzugte Ansätze und Merkmale von jedem zusammen mit bevorzugter assoziierter Hardware und Software betrachtet. To this end, fundamental approaches and preferred features of each together with preferential associated hardware and software are considered.
  • MULTIMEDIADOKUMENTE MULTIMEDIA DOCUMENTS
  • [0170] [0170]
    In einer Ausgestaltung dienen die Erstellung, die Speicherung, das Abrufen und das Editieren von Multimediadokumenten als das MMCR, MMM und MMDM gemeinsame Grundelement. In one embodiment serve the creation, storage, retrieval and editing of multimedia documents as the MMCR, MMM and MMDM common primitive. Dementsprechend stellt das System vorteilhaft ein universelles Format für Multimediadokumente bereit. Accordingly, the system advantageously provides a universal format for multimedia documents. Dieses Format definiert Multimediadokumente als eine Sammlung einzelner Komponenten in mehreren Medien, die mit einer Gesamtstruktur- und -synchronisierkomponente kombiniert sind, die die Identitäten, detaillierten Abhängigkeiten der diversen anderen Komponenten, Verweise auf sie und Beziehungen unter ihnen erfaßt. This format defines multimedia documents as a collection of individual components in multiple media combined with a forest- and -synchronisierkomponente which detects the identities, detailed dependencies of the various other components, references and relationships among them. Die von dieser Strukturierungskomponente bereitgestellten Informationen bilden die Grundlage für räumliches Layout, Präsentationsordnung, Hyperlinks, zeitliche Synchronisierung usw. mit Bezug auf die Zusammensetzung eines Multimediadokuments. The information provided by this structuring component form the basis for spatial layout, presentation order, hyperlinks, time synchronization, etc. with respect to the composition of a multimedia document. 30 30 zeigt die Struktur derartiger Dokumente sowie ihre Beziehung zu Editier- und Speichereinrichtungen. shows the structure of such documents and their relationship to editing and storage devices.
  • [0171] [0171]
    Jede der Komponenten eines Multimediadokuments verwendet ihre eigenen Editoren zum Erstellen, Editieren und Anzeigen. Each of the components of a multimedia document used their own editors for creating, editing and viewing. Außerdem kann jede Komponente dedizierte Speichereinrichtungen verwenden. In addition, each component may use dedicated storage facilities. Im bevorzugten System werden Multimediadokumente durch Speichern einiger Daten unter konventionellen Dateisystemen und einiger Daten in speziellen Speicherservern, wie im folgenden noch besprochen werden wird, vorteilhaft für Erstellung, Speicherung, Wiedergabe und Editieren strukturiert. In the preferred system multimedia documents is by storing some data in conventional file systems and some data in special storage servers, as will be discussed, advantageous for creating, storing, viewing, and editing structured. Das konventionelle Dateisystem The conventional file system 504 504 kann zum Speichern aller nicht zeitempfindlichen Teile eines Multimediadokuments verwendet werden. can be used to store all non-time-sensitive portions of a multimedia document. Im besonderen sind folgendes Beispiele nicht zeitempfindlicher Daten, die in einem konventionellen Computerdateisystem gespeichert werden können: In particular, the following examples are not time-sensitive data that can be stored in a conventional computer file system:
    • 1. strukturierter und unstrukturierter Text 1. structured and unstructured text
    • 2. Rasterbilder 2. Raster images
    • 3. strukturierte Grafiken und Vektorgrafiken (zB PostScript) 3. structured graphics and vector graphics (eg Postscript)
    • 4. Verweise auf Dateien in anderen Dateisystemen (Video, Hifi-Audio usw.) über Zeiger 4. references to files in other file systems (video, hi-fi audio, etc.) via pointers
    • 5. Beschränkte Formen von Ausführbaren 5. Limited forms of executable
    • 6. Struktur- und Taktinformationen für alle obigen Punkte (räumliches Layout, Präsentationsreihenfolge, Hyperlinks, zeitliche Synchronisierung usw.) 6. Structural and timing information for all of the above (spatial layout, presentation order, hyperlinks, time synchronization, etc.)
  • [0172] [0172]
    Von besonderer Bedeutung ist bei Multimediadokumenten die Unterstützung für zeitempfindliche Medien und Medien, die Synchronisationsbedarf mit anderen Media komponenten haben. Of particular importance in multimedia documents support for time-sensitive media and media, have the necessary synchronization with other media components. Einige dieser zeitempfindlichen Medien können in konventionellen Dateisystemen gespeichert werden, während andere spezielle Speichereinrichtungen benötigen. Some of these time-sensitive media can be stored in conventional file systems while others require special storage facilities.
  • [0173] [0173]
    Beispiele zeitempfindlicher Medien, die in konventionellen Dateisystemen gespeichert werden können, sind kleine Audiodateien und kurze Videoclips oder Videoclips niedriger Qualität (wie sie zB mit Hilfe von QuickTime oder Video for Windows produziert werden könnten). Examples of time-sensitive media that can be stored in conventional file systems, small audio files and video clips or movie clips are of low quality (such as might be produced, for example, using QuickTime or Video for Windows). Zu anderen Beispielen zählen Fenster-Ereignis-Listen, wie sie vom in Other examples include windows event lists, as in the 30 30 gezeigten Window-Event Record and Play System (Aufzeichnungs- und Wiedergabesystem für Fenster-Ereignisse) shown Window Event Record and Play system (recording and playback system for window events) 512 512 unterstützt werden. are supported. Diese Komponente ermöglicht das Speichern und die Wiedergabe der Interaktionen eines Benutzers mit Anwendungsprogrammen durch Erfassen der Anforderungen und Ereignisse, die zwischen dem Requesterprogramm und dem Fenster-System in einer Folge, der Datum und Uhrzeit zugeschrieben sind, ausgetauscht werden. This component allows you to store and playback of the interactions of a user with application programs by detecting the requirements and events that are attributed between the Requesterprogramm and the window system in a sequence, the date and time, to be replaced. Nach dieser "Aufzeichnungs"-Phase werden die resultierenden Informationen in einer konventionellen Datei gespeichert, die später wieder abgerufen und "wiedergegeben" werden kann. After this "recording" phase, the resulting information is stored in a conventional file can be later retrieved and "played". Während der Wiedergabe findet die gleiche Folge der Fenster-System-Anforderungen und -Ereignisse mit der gleichen relativen Synchronisierung wie bei ihrer Aufnahme statt. During playback, the same sequence of window system requirements, and events with the same relative synchronization as its recording will take place. In Systemen vom Stand der Technik wurde diese Fähigkeit zum Erstellen automatisierter Demonstrationen benutzt. In systems of the prior art, this capability has been used for creating automated demonstrations. Im vorliegenden System kann sie zum Beispiel zum Reproduzieren annotierter Snapshots, wie sie beim Aufnehmen stattfanden, verwendet werden. In the present system can, for example, to reproduce annotated snapshots, how they took place during shooting uses.
  • [0174] [0174]
    Wie oben in Verbindung mit kollaborativer Arbeitsplatzsoftware beschrieben, ist das in As described above in connection with collaborative desktop software, which is in 30 30 gezeigte Snapshot-Sharing Snapshot Sharing shown 518 518 ein in Multimediarufen und -konferenzen verwendetes Dienstprogramm zum Erfassen von Fenster- oder Bildschirm-Snapshots, zum gemeinsamen Arbeiten mit einem oder mehreren Ruf- oder Konferenzteilnehmern und zum Ermöglichen von Gruppenannotation, -telezeigeranwendung und -neufangen. used in a multimedia calls and conferences utility for detecting window or screen snapshots to work together with one or more call or conference delegates and for enabling Gruppenannotation, -telezeigeranwendung and -neufangen. Hier ist dieses Dienstprogramm so angepaßt, daß seine erfaßten Bilder und Fenster-Ereignisse vom Aufzeichnungs- und Wiedergabesystem für Fenster-Ereignisse Here, this utility is adapted to its captured images and window events from the recording and playback system for window events 512 512 aufgezeichnet werden können, während es von nur einer Person benutzt wird. can be recorded while being used by only one person. Durch Synchronisieren von mit einem Video- oder Audio-Strom assoziierten Ereignissen mit spezifischen Rahmennummern oder Zeitcodes kann ein Multimediaruf oder eine Multimediakonferenz in seiner bzw. ihrer Gesamtheit aufgezeichnet und reproduziert werden. By synchronizing associated with video or audio stream events with specific frame number or time code, a multimedia call or a multimedia conference can be recorded and reproduced in his or her entirety. Desgleichen wird die gleiche Funktionalität vorzugsweise zum Erstellen von Multimedia-Mail verwendet, deren Autorenschritte praktisch identisch mit der Teilnahme an einem Multimediaruf oder einer Multimediakonferenz sind (obwohl andere MMM-Formen nicht ausgeschlossen sind). Similarly, the same functionality is preferably used for creating multimedia mail, the author steps are virtually identical to participate in a multimedia call or a multimedia conference (although other MMM-forms are not excluded).
  • [0175] [0175]
    Einige zeitempfindliche Medien erfordern dedizierte Speicherserver, um Echtzeitanforderungen zu genügen. Some time-sensitive media require dedicated storage servers in order to satisfy real-time requirements. Hochwertige Audio-/Videosegmente erfordern beispielsweise dedizierte Echtzeit-Audio-/Videospeicherserver. High-quality audio / video segments for example, require dedicated real-time audio / video storage server. Ein bevorzugtes Beispiel eines solchen Servers wird im folgenden noch beschrieben. A preferred example of such a server will be described in the following. Als nächstes ist zu betrachten, wie das aktuelle System die Synchronisation zwischen verschiedenen Medienkomponenten garantiert. Next, consider how the current system ensures the synchronization between different media components.
  • MEDIENSYNCHRONISATION MEDIA SYNCHRONIZATION
  • [0176] [0176]
    Als nächstes wird eine bevorzugte Methode zum Bereitstellen von Multimediasynchronisation betrachtet. A preferred method for providing multimedia synchronization will be considered. Nur Multimediadokumente mit Echtzeitmaterial müssen Synchronisierfunktionen und -informationen aufweisen. Only documents with real-time multimedia material must have Synchronization and information. Die Synchronisation für derartige Situationen kann wie unten beschrieben bereitgestellt werden. The synchronization of such situations can be provided as described below.
  • [0177] [0177]
    Audio- oder Videosegmente können ohne Begleitung des jeweils anderen existieren. Audio or video segments can exist without the company of each other.
  • [0178] [0178]
    Wenn Audio und Video gleichzeitig aufgezeichnet werden ("zusammen aufgezeichnet"), erlaubt das bevorzugte System den Fall, in dem ihre Ströme mit automatischer Synchronisierung aufgenommen und wiedergegeben werden – wie das bei konventionellen Videogeräten, Laserplatten oder Zeitmultiplex-("verschachtelten") Audio-/Videoströmen das Ergebnis wäre. If audio and video are recorded simultaneously ("recorded together"), the preferred system allows for the case in which their currents are recorded with automatic synchronization and played - as in conventional video equipment, laser discs or time-division multiplexing - ("nested") audio / video streams, the result would be. Das schließt die Notwendigkeit aus, separate Audio- und Videofolgen genau zu synchronisieren (Postsynchronisation"). Vielmehr verläßt man sich für die Bereitstellung aller genau synchronisierten Audio- und Videosignale direkt an ihren Signalausgängen auf die Fähigkeit des Echtzeit-Audio-/Videospeicherservers This eliminates the need to synchronize separate audio and video sequences exactly (post-synchronization "). Rather, it relies for providing all exactly synchronized audio and video signals directly to their signal outputs to the ability of real-time audio / video storage server 502 502 zum gleichzeitigen Aufzeichnen. for simultaneous recording.
  • [0179] [0179]
    Jede aufgezeichnete Videofolge ist mit Zeitcodes (zB SMPTE in Intervallen von 1/30 Sekunde) oder Videorahmennummern gekennzeichnet. Each recorded video sequence is characterized with time codes (eg SMPTE at intervals of 1/30 of a second) or video frame numbers. Jede aufgezeichnete Audiofolge ist mit Zeitcodes (zB: SMPTE oder MIDI) oder, wenn zusammen mit Video aufgezeichnet, mit Videorahmennummern gekennzeichnet. Each recorded audio sequence with time codes (eg: SMPTE or MIDI), labeled, or, if recorded along with video with video frame numbers.
  • [0180] [0180]
    Das bevorzugte System stellt auch die Synchronisation zwischen Fenster-Ereignissen und Audio- und/oder Videoströmen bereit. The preferred system also provides synchronization between window events and audio and / or video streams. Es werden die folgenden Funktionen unterstützt: It supports the following functions:
  • 1. Medienzeitgebundene Synchronisation: 1. Media Temporal synchronization:
  • [0181] [0181]
    Synchronisation von Fenster-Ereignissen mit einem Audio-, Video- oder Audio-/Videostrom unter Verwendung von Echtzeitmedien als Taktquelle. Synchronization of window events to an audio, video, or audio / video stream using real-time media as the timing source.
  • 2. Maschinenzeitgebundene Synchronisation: 2. Machine Temporal synchronization:
    • a. Synchronisation von Fenster-Ereignissen mit der Systemuhr. a. synchronization of window events to the system clock.
    • b. b. Synchronisation des Anfangs eines Audio-, Video- oder Audio-/Videosegments mit der Systemuhr. Synchronization of the start of an audio, video, or audio / video segment to the system clock.
  • [0182] [0182]
    Wenn kein Audio oder Video involviert ist, wird im Dokument durchgehend maschinenzeitgebundene Synchronisation angewendet. If no audio or video is involved throughout the document machine time-sensitive synchronization is applied. Wenn Audio- und/oder Video läuft, wird Medienzeitsynchronisation verwendet. If audio and / or video runs, media sync is used. Das System unterstützt den Übergang zwischen Maschinenzeit- und Medienzeitsynchronisation, wenn ein Audio-/Videosegment begonnen oder beendet wird. The system supports the transition between machine time and media time synchronization when an audio / video segment is started or stopped.
  • [0183] [0183]
    Beispielsweise könnte das Anzeigen eines Multimediadokuments wie folgt ablaufen: For example, the display of a multimedia document could be as follows:
    • ⌷ Dokument beginnt mit einem annotierten Sharing (maschinenzeitgebundene Synchronisation). ⌷ document begins with an annotated Sharing (machine time-based synchronization).
    • ⌷ Dann wird nur Audio gestartet (eine "Sprachannotation"), während Text- und graphische Annotationen im Sharing fortgesetzt werden (Audio ist Taktquelle für Fenster-Ereignisse). ⌷ Then only audio is started (a "Sprachannotation"), while text and graphical annotations in sharing continue (Audio is clock source for window events).
    • ⌷ Audio endet, aber Annotationen werden fortgesetzt (maschinenzeitgebundene Synchronisation). ⌷ audio ends, but annotations are continued (machine time-based synchronization).
    • ⌷ Als nächstes wird zusammen aufgezeichnetes Audio/Video gestartet, wobei weitere Annotationen im gleichen Sharing fortgesetzt werden (Audio ist Taktquelle für Fenster-Ereignisse). ⌷ Next, together launched recorded audio / video, with further annotations are continued in the same sharing (audio is clock source for window events).
    • ⌷ Dann wird während der fortgesetzten Audio-/Videoaufzeichnung ein neues Sharing gestartet, Annotationen erfolgen in beiden Sharings (Audio ist Taktquelle für Fenster-Ereignisse). ⌷ Then a new sharing is started during continued audio / video recording, annotations made in two sharing (audio is clock source for window events).
    • ⌷ Audio/Video endet, Annotationen in beiden Sharings werden fortgesetzt (maschinenzeitgebundene Synchronisation). ⌷ audio / video ends, annotations in both continue sharing (machine time-based synchronization).
    • ⌷ Dokument endet. ⌷ document ends.
  • AUDIO-/VIDEOSPEICHERUNG AUDIO / VIDEO STORE
  • [0184] [0184]
    Wie oben beschrieben, kann das vorliegende System viele Spezialserver aufweisen, die die Speicherung zeitempfindlicher Medien (zB Audio-/Videoströme) bereitstellen und die Koordination mit anderen Medien unterstützen. As described above, the present system may have many specialized servers (such as audio / video streams) provide time-sensitive storage media and support coordination with other media. Dieser Abschnitt beschreibt die bevorzugte Anordnung für Audio-/Videospeicher- und -aufzeichnungsdienste. This section describes the preferred arrangement for audio / video storage and -aufzeichnungsdienste.
  • [0185] [0185]
    Speicher- und Aufzeichnungsdienste könnten zwar an jeder CMW bereitgestellt werden, es wird aber bevorzugt, einen an MLAN Although storage and recording services could be provided at each CMW, but it is preferable to a MLANs 10 10 gekoppelten zentralisierten Server coupled centralized server 502 502 , wie in As shown in 31A 31A gezeigt, einzusetzen. shown to use. Ein zentralisierter Server A centralized server 502 502 , wie in As shown in 31A 31A gezeigt, bietet die folgenden Vorteile: shown offers the following advantages:
    • 1. Die Gesamtmenge erforderlicher Speicherhardware kann viel kleiner sein (auf Grund besserer, durch statistische Mittelwertbildung bewirkte Ausnutzung}. 1. The total amount of required storage hardware can be much smaller (due to better, caused by statistical averaging utilization}.
    • 2. Umfangreiche und kostspielige Komprimierungs-/Expansionshardware kann auf die Speicherserver zusammengelegt und von mehreren Kunden gemeinsam genutzt werden. 2. Extensive and costly compression / expansion hardware can be folded to the storage server and shared by multiple customers. Als Folge dessen werden weniger Komprimierungs-/Expansionsmaschinen höherer Leistung benötigt, als wenn jeder Arbeitsplatz mit seiner eigenen Komprimierungs-/Ex pansionshardware ausgerüstet wäre. As a result, less compression / expansion engines of higher power is needed than when each job was equipped with its own compression / Ex pansionshardware.
    • 3. Auch können kostspieligere zentralisierte Codecs zum Fernbereichsübertragen von Mail unter Campusanlagen zu weit geringeren Kosten als jenen verwendet werden, die durch die Verwendung von Daten-WAN-Technologien entstehen. 3. Even expensive centralized codecs for remote area retransmitting mail can be used as those arising from the use of data-WAN technologies under campuses to far lower cost.
    • 4. Dateisystemverwaltung (zB Sicherungskopien und Dateisystemkopierung usw.) ist viel billiger und hat eine höhere Leistung. 4. File system management (eg backups and Dateisystemkopierung etc.) is much cheaper and has better performance.
  • [0186] [0186]
    Der in The in 31A 31A gezeigte Echtzeit-Audio-/Videospeicherserver shown real-time audio / video storage server 502 502 strukturiert und verwaltet die aufgezeichneten und in seinen Speichervorrichtungen gespeicherten Audio-/Videodateien. structures and manages the recorded and stored in its memory devices audio / video files. Speichervorrichtungen können typischerweise auch computergesteuerte Videogeräte sowie wieder beschreibbare Magnet- oder optische Platten sein. Storage devices can typically be also computer-controlled video equipment and rewritable magnetic or optical disks. Beispielsweise weist der Server For example, the server 502 502 in in 31A 31A Disketten/Platten Floppy / disk 60e 60e für Aufzeichnung und Wiedergabe auf. for on recording and playback. Analoge Informationen werden zwischen den Disketten/Platten Analog information between the floppy / disk 60e 60e und der A/V-Vermittlungsschaltungsanordnung and the A / V Switching Circuitry 30 30 über die analoge Ein-/Ausgabe on the analog input / output 62 62 übertragen. transmitted. Die Steuerung wird von der an Daten-LAN-Hub The control of the data on LAN Hub 25 25 gekoppelten Steuerung coupled control 64 64 bereitgestellt. provided.
  • [0187] [0187]
    Der zentralisierte Audio-/Video-Speicher- und -Wiedergabeserver The centralized audio / video storage and -Wiedergabeserver 502 502 in in 31A 31A führt auf einer hohen Ebene die folgenden Funktionen durch: leads to a high level by the following features:
  • Dateiverwaltung File management
  • [0188] [0188]
    Er stellt Mechanismen zum Erstellen, Benennen, Zuschreiben von Datum und Zeit, Speichern, Fangen, Kopieren, Löschen und Wiedergeben einiger oder aller Teile einer Audio-/Videodatei bereit. It provides mechanisms for creating, naming, attributing the date and time, storing, Catching, copy, delete and reproducing some or all parts of an audio / video file.
  • Dateitransfer und Dateireplikation File transfer and file replication
  • [0189] [0189]
    Der Audio-/Videodateiserver unterstützt die Replikation von Dateien auf verschiedenen Platten/Disketten, die vom gleichen Dateiserver verwaltet werden, um gleichzeitigen Zugriff auf die gleichen Dateien zu ermöglichen. The audio / video file server supports the replication of files on different drives / disks, which are managed by the same file server to enable simultaneous access to the same files. Darüber hinaus sind Dateitransfermerkmale zum Unterstützen der Übertragung von Audio-/Videodateien zwischen ihm selbst und anderen Audio-/Video-Speicher- und -Wiedergabemaschinen bereitgestellt. In addition, file transfer features to support the transmission of audio / video files between itself and other audio / video storage and -Wiedergabemaschinen are provided. Dateitransfer kann auch mit Hilfe der zugrundeliegenden Audio-/Videonetzmerkmale erreicht werden: Server bauen eine Echtzeit-Audio-/Video-Netzverbindung zwischen sich auf, so daß ein Server eine Datei "wiedergeben" kann, während ein zweiter Server sie gleichzeitig aufzeichnet. File transfer can also be achieved with the help of the underlying audio / video network characteristics: Server build a real-time audio / video network connection between them, so that a server can "play" a file while a second server it records simultaneously.
  • Plattenverwaltung Disk Management
  • [0190] [0190]
    Die Speichermerkmale unterstützen spezifische Plattenzuordnungs-, Speicherbereinigungs- und Defragmentierungsmerkmale. The store features support specific Plattenzuordnungs-, garbage collection and defragmentation features. Außerdem unterstützen sie die Zuordnung (Mapping) von Platten zu anderen Platten (für Replikations- und Sofortbereitstellungsmodi, wie angebracht) und die Zuordnung (Mapping) von Platten über Ein-/Ausgabegeräte zu dem entsprechenden Video-/Audio-Netzport. They also support the assignment (mapping) of panels to other boards (for replication and Sofortbereitstellungsmodi, as appropriate) and the assignment (mapping) of plates on input / output devices to the corresponding video / audio network port.
  • Synchronisationsunterstützung Synchronization support
  • [0191] [0191]
    Synchronisation zwischen Audio und Video wird durch das von den Speichermedien benutzte Multiplexsystem gewährleistet, im typischen Fall durch Verschachteln der Audio- und Videoströme auf eine zeitmultiplexierte Weise. Synchronization between audio and video is guaranteed by the multiplex system used by the storage media, typically by interleaving the audio and video streams on a time-multiplexed manner. Des weiteren werden, wenn Synchronisation mit anderen gespeicherten Medien (wie zB Fenstersystemgrafik) benötigt wird, dann Rahmennummern, Zeitcodes oder andere Synchronisierereignisse vom Speicherserver erstellt. Furthermore, when synchronization with other stored media (such as window graphics system) is required, then frame numbers, time codes or other Synchronisierereignisse created by the storage server. Eine vorteilhafte Methode zum Bereitstellen dieser Synchronisation ist, Aufzeichnung und Wiedergabe mit erhaltenen Rahmennummer- oder Zeitcodeereignissen zu synchronisieren. An advantageous method for providing this synchronization is to synchronize recording and playback with time code obtained Rahmennummer- or events.
  • [0192] [0192]
    Suchen Zum Unterstützen von Suchen innerhalb von Dateien werden zumindest Start-, Stopp-, Pause-, Schnell-Vorlauf-, Rücklauf- und Schnell-Rücklauffunktionen bereitgestellt. Looking To support search within files are provided at least start, stop, pause, fast forward, reverse and fast reverse functions. Zum Unterstützen von Suchen zwischen Dateien werden Audio-/Videokennzeichnung oder allgemeinere "Gehe zu"-Funktionen und Mechanismen wie Rahmennummern oder Zeitcode auf einer Suchfunktionsebene unterstützt. To support Search files between audio / video labeling or general "Go to" support functions, and mechanisms such as frame numbers or time code on a search plane.
  • Verbindungsverwaltung Connection Manager
  • [0193] [0193]
    Der Server wickelt Audio-/Videonetzvermittlungsanforderungen von Requesterprogrammen (wie zB auf Requester-Arbeitsplätzen laufenden Videoanzeigeprogrammen und Editoren) nach Echtzeitaufnahme und Echtzeitwiedergabe von Audio-/Videodateien ab. The server handles audio / video network switching requirements of Requesterprogrammen (such as on requester workstations running video viewers and editors) for real-time recording and real-time playback of audio / video files.
  • [0194] [0194]
    Als nächstes wird betrachtet, wie zentralisierte Audio-/Videospeicherserver Echtzeitaufnahme und -wiedergabe von Videoströmen bereitstellen. Next, consider how to provide centralized audio / video storage server real-time recording and playback of video streams.
  • Echtzeit-Plattenbereitstellung Real-time disk provisioning
  • [0195] [0195]
    Zum Unterstützen von Echtzeit-Audio-/Video-Aufzeichnung und -Wiedergabe muß der Speicherserver für jeden gleichzeitigen auf den Server zugreifenden Requester einen Echtzeitübertragungsweg zwischen dem Speichermedium und dem betreffenden Audio-/Videonetzport bereitstellen. To support real-time audio / video recording and playback, the storage server for each concurrent users accessing the server requester a real-time transmission path between the storage medium and the relevant audio / video network port must provide. Wenn sich zum Beispiel ein Benutzer eine Videodatei zur gleichen Zeit ansieht, wie andere Personen neue Videodateien erstellen und auf dergleichen Platte speichern, sind mehrere gleichzeitige Wege zu den Speichermedien erforderlich. For example, if a user views a video file at the same time as other people create new video files and save them to your disk like, multiple concurrent paths to the storage media are required. Desgleichen erfordern eventuell auch an große Verteilergruppen gesendete Video-Mails, Videodateisysteme und ähnliche Funktionen gleichzeitigen Zugriff auf die gleichen Videodateien, was den Videospeicherfähigkeiten ebenfalls Mehrfachzugangserfordernisse auferlegt. Similarly possibly require to large distribution groups sent video messages, video file systems and similar functions simultaneously access the same video files that the video memory skills also imposed multiple access requirements.
  • [0196] [0196]
    Für Speicherserver, die auf computergesteuerte Videogeräte oder wieder beschreibbare Laserplatten gestützt sind, ist ein Echtzeitübertragungsweg durch die direkte analoge Verbindung zwischen der Platte oder dem Band und dem Netzport unmittelbar verfügbar. For storage servers that are based on computer-controlled video devices or laser rewritable drives, a real-time transmission path is readily available through the direct analog connection between the disk or tape and the network port. Wegen dieser einzelnen direkten Verbindung kann aber zu jedem Zeitpunkt nur von jeweils einem Requesterprogramm (Mehrkopf-Laserplattendisketten sind eine Ausnahme) auf jedes Videogerät oder jede Laserplatte zugegriffen werden. Because of this single direct connection but can occur at any time, only one of each Requesterprogramm (multi-head laser disk disks are an exception) to any video device or any laser disk access. Aus diesem Grund ist es schwierig, auf Videogeräte und Laserplatten gestützte Speicherserver für Vielfachzugriffsnutzung zu erweitern. For this reason, it is difficult to extend to video equipment and laser discs based storage server for multiple access use. Im bevorzugten System wird vielfacher Zugang zum gleichen Material durch Dateireplikation und lokale Dateibereitstellung bereitgestellt, was die Speichererfordernisse und die Notwendigkeit zum schnellen Bewegen von Informationen unter Speichermedieneinheiten, die verschiedenen Benutzern dienen, stark vergrößert. In the preferred system of multiple access to the same material is provided by File Replication and local file deployment, which greatly increases the memory requirements and the need for rapid movement of information between storage media units that serve different users.
  • [0197] [0197]
    Auf Magnetplatten gestützte Videosysteme sind viel leichter für gleichzeitige Benutzung durch mehrere Personen skalierbar. On magnetic disks based video systems are much easier scalable for simultaneous use by multiple people. Eine verallgemeinerte Hardwareausführung eines derartigen skalierbaren Speicher- und Wiedergabesystems A generalized hardware implementation of such a scalable storage and playback system 502 502 wird in is in 32 32 illustriert. illustrated. Einzelne Ein-/Ausgabekarten Single I / O cards 530 530 , die digitale und analoge Ein-/Ausgabe unterstützen, sind durch chassisinterne digitale Vernetzung (zB Busse) für die Übertragung von Dateien innerhalb des Chassis That support digital and analog I / O, by chassis internal digital networking (eg buses) for transferring files are inside the chassis 532 532 , das einige dieser Karten hält, miteinander verbunden. Holding some of these cards, connected to each other. Mehrere Chassis Several chassis 532 532 sind durch Vernetzung zwischen Chassis miteinander verbunden. are connected by cross-linking between the chassis. Das von Parallax Graphics erhältliche Digital Video Storage System (digitales Videospeichersystem) ist ein Beispiel für eine solche Systemausführung. The digital available from Parallax Graphics Video Storage System (digital video storage system) is an example of such a system execution.
  • [0198] [0198]
    Die für den Dateitransfer unter Platten verfügbare Bandbreite wird im Endeffekt von der Bandbreite dieser Intra-Chassis- und Inter-Chassis-Vernetzung begrenzt. The time available for file transfers plates bandwidth is limited in effect on the bandwidth of these intra-chassis and inter-chassis network. Für Systeme, die ausreichend leistungsstarke Videokomprimierungssysteme verwenden, können Echtzeitbereitstellungserfordernisse für eine kleine Anzahl von Benutzern mit existierender Dateisystemsoftware (wie dem Unix-Dateisystem) erfüllt werden, vorausgesetzt, daß die Blockgröße des Speichersystems für Videospeicherung optimiert ist und daß von der Betriebssystemsoftware genug Pufferspeicherkapazität bereitgestellt wird, um den kontinuierlichen Fluß der Audio-/Videodaten zu gewährleisten. For systems that use sufficiently powerful video compression systems, real-time provisioning requirements can be fulfilled for a small number of users with existing file system software (such as the Unix file system), provided that the block size of the storage system is optimized for video storage and that enough buffer memory is provided by the operating system software to ensure the continuous flow of the audio / video data.
  • [0199] [0199]
    Spezialsoftware-/-hardwarelösungen können bereitgestellt werden, um höhere Leistung bei stärkerem Gebrauch oder bei größerer Bandbreite zu gewährleisten. Special software - / - hardware solutions can be provided to guarantee higher performance at a greater use or at greater bandwidth. Beispielsweise wird in For example, in 33 33 eine Version von a version of 32 32 mit höherem Durchsatz dargestellt, die Koppelpunktschalten verwendet, wie von der SCSI-Querschiene represented with higher throughput, the crosspoint switch utilized as described by the SCSI transverse rail 540 540 bereitgestellt wird, was die Gesamtbandbreite des Inter-Chassis- und Intra-Chassis-Netzes vergrößert, wodurch die Anzahl möglicher gleichzeitiger Dateitransfers erhöht wird. Provided that the total bandwidth of the inter-chassis and intra-chassis network increases, whereby the number of possible simultaneous file transfers is increased.
  • Echtzeit-Netzbereitstellung Real-time network deployment
  • [0200] [0200]
    Durch Verwenden des gleichen Audio-/Videoformats wie für Audio-/Video-Telekonferenzen kann das Audio-/Videospeichersystem die zuvor beschriebenen Netzeinrichtungen optimal nutzen: die MLAN By using the same audio / video format such as audio / video teleconferencing, the audio / video storage system can make use of the network facilities previously described optimal: the MLAN 10 10 können zum Aufbauen einer Multimedianetzverbindung zwischen Requester-Arbeitsplätzen und den Audio-/Videospeicherservern verwendet werden. can be used to build a multimedia network connection between requester jobs and the audio / video storage servers. Auf dem Requester-Arbeitsplatz laufende Audio-/Videoeditoren und -anzeigeprogramme (Viewer) verwenden die gleichen Softwareschnittstellen wie das Multimedia-Telekonferenzsystem zum Aufbauen dieser Netzverbindungen. Running on the workstation requester audio / video editors and -anzeigeprogramme (viewer) use the same software interface as multimedia teleconferencing system for constructing this network connections.
  • [0201] [0201]
    Die resultierende Architektur wird in The resulting architecture is in 31B 31B gezeigt. shown. Requester-Arbeitsplätze verwenden für Verbindungen zu den Netzporten des Speicherservers das bestehende Audio-/Videonetz. Use requester jobs for connections to the network storage server Porten the existing audio / video network. Diese Netzporte sind mit Komprimierungs-/Expansionsmaschinen verbunden, die an den Serverbus angeschlossen werden. These network Porte are connected to compression / expansion machines, which are connected to the Serverbus. Diese Maschinen komprimieren die Audio-/Videoströme, die über das Netz ankommen, und speichern sie auf der lokalen Platte. These machines compress the audio / video streams that arrive over the network, and save it to local disk. Desgleichen liest der Server für die Wiedergabe Vidoesegmente aus seiner lokalen Platte aus und lenkt sie durch die Expansionsmaschinen zurück zu den Requester-Arbeitsplätzen zum lokalen Anzeigen. Similarly, reads from the server for playback Vidoesegmente from its local disk and guides them through the expansion machine back to the requester jobs for local ads.
  • [0202] [0202]
    Das vorliegende System ermöglicht alternative Bereitstellungsstrategien. The present system allows alternative deployment strategies. Beispielsweise sind einige Komprimierungsalgorithmen asymmetrisch, was bedeutet, daß die Expansion viel weniger Rechenleistung benötigt als die Komprimierung. For example, some compression algorithms are asymmetric, meaning that the expansion much less computing power than compression. In einigen Fällen kann Echtzeitexpansion sogar in Software durchgeführt werden kann, ohne spezielle Expansionshardware zu erfordern. In some cases, real-time expansion may even may be carried out in software, without specific hardware to require expansion. Als Folge dessen ist es nicht nötig, daß gespeichertes Audio und Video auf dem Speicherserver expandiert und in Echtzeit über das Netz wiedergegeben wird. As a result, it is not necessary that stored audio and video on the storage server expands and is reproduced in real time over the network. Stattdessen kann es effizienter sein, eine gesamte Audio-/Videodatei aus dem Speicherserver zum Requester-Arbeitsplatz zu übertragen, sie auf der Platte des Arbeitsplatzes in einem Cache-Speicher abzulegen und lokal wiederzugeben. Instead, it may be more efficient to transfer an entire audio / video file from the storage server to the requester workstation to store them on the plate of the workplace in a cache and play locally. Diese Beobachtungen führen zu einer modifizierten Architektur, wie in These observations lead to a modified architecture, as in 31C 31C dargestellt. shown. In dieser Architektur erfolgt die Interaktion zwischen Requestern und dem Speicherserver wie folgt: In this architecture, the interaction is between requesters and the storage server as follows:
    • ⌷ Zum Aufzeichnen von Video bauen Requester wie zuvor Echtzeit-Audio-/Videonetzverbindungen zum Speicherserver auf (diese Verbindung könnte eine analoge Leitung nutzen). ⌷ To record video build requester as before real-time audio / video network connections to the storage server (this compound could use an analog line).
    • ⌷ In Reaktion auf eine Verbindungsanforderung weist der Speicherserver dem neuen Requester ein Kompressionsmodul zu. ⌷ In response to a connection request, the storage server allocates the new requester to a compression module.
    • ⌷ Sobald der Requester mit dem Aufzeichnen beginnt, leitet der Speicherserver die Ausgabe von der Kompressionshardware zu einer auf seinen lokalen Speicherbausteinen zugewiesenen Audio-/Videodatei. ⌷ Once the requester starts recording, manages the storage server, the output of the compression hardware to an assigned to its local memory devices audio / video file.
    • ⌷ Zur Wiedergabe wird diese Audio-/Videdatei über das Datennetz zum Requester-Arbeitsplatz übertragen und dort von der lokalen Platte des Arbeitsplatzes bereitgestellt. ⌷ To play this audio / Videdatei is transmitted over the data network to the requester Desktop and then provided by the local board of the workplace.
    • ⌷ Der Requester verwendet lokale Expansionssoftware und/oder -hardware zum Wiedergeben des Audios/Videos auf seiner lokalen Audio- und Videohardware. ⌷ The requester uses local expansion software and / or hardware for reproducing the audio / video on its local audio and video hardware.
  • [0203] [0203]
    Dieser Ansatz macht Audio-/Videonetzporte und Kompressions-/Expansionsmaschinen auf dem Server frei. This approach makes audio / video network Porte and compression / expansion machines free on the server. Als Folge dessen wird der Server zum Unterstützen einer größeren Zahl simultaner Aufzeichnungssitzungen erweitert, wodurch die Kosten des Systems weiter reduziert werden. As a result, the server to support a greater number of simultaneous recording sessions will be extended, reducing the cost of the system can be further reduced. Es ist zu beachten, daß eine derartige Architektur aus anderen Gründen als der Kompressions-/Expansionsasymmetrie (wie zB der Wirtschaftlichkeit der aktuellen Technologie, der existierenden eingebetteten Basis im Unternehmen usw.) Teil eines Systems sein kann. It should be noted that such an architecture for reasons other than compression / expansion asymmetry (such as the economics of the current technology, the existing embedded base in the enterprise, etc.) may be part of a system.
  • MULTIMEDIA-KONFERENZ-AUFZEICHNUNG MULTIMEDIA CONFERENCE RECORD
  • [0204] [0204]
    Als nächstes wird Multimedia-Konferenz-Aufzeichnung (MMCR – Multimedia Conference Recording) betrachtet. Next, multimedia conference recording (MMCR - Multimedia Conference Recording) is considered. Für Vollfunktions-Multimedia-Desktop-Rufe und -Konferenzen (zB Audio-/Videorufe oder -konferenzen mit Snapshot-Sharing) wird bevorzugt Aufzeichnungs-(Speicher-)-kapazität für Audio und Video aller Parteien sowie für alle gemeinsam genutzten Fenster, einschließlich aller während der Telekonferenz bereitgestellten Telezeigevorgänge und Annotationen, bereitgestellt. For full-featured multimedia desktop calls and conferences (such as audio / video calls or conferences with snapshot sharing) is preferred recording (memory -) - capacity for audio and video of all parties and all shared windows, including all during the teleconference provided Tele pointer operations and annotations provided. Unter Verwendung der oben beschriebenen Multimedia-Synchronisiereinrichtung werden diese Fähigkeiten so bereitgestellt, daß sie mit genauer Übereinstimmung im Takt mit dem aufgezeichneten Audio und Video wiedergegeben werden können, wie zB durch Synchronisieren mit Rahmennummern oder Zeitcodeereignissen. Using the above-described multimedia synchronizing these capabilities are provided so that they can be played for exact match in time with the recorded audio and video, as. By synchronizing with frame numbers or time code events
  • [0205] [0205]
    Eine bevorzugte Methode zum Erfassen von Audio und Video aus Rufen wäre das Aufzeichnen aller Rufe und Konferenzen, als ob sie Mehrparteienkonferenzen wären (selbst bei Zweiparteienrufen), unter Verwendung von Videomosaikbearbeitung, Audiomischen und Cut-and-Paste-Funktion, wie bereits in Verbindung mit den A preferred method for capturing audio and video from Call would be recording all calls and conferences, as if they were multi-party conferences (even with two-party calls), using video mosaicing, audio mixing and cut-and-paste function, as in connection with the 7 7 bis to 11 11 beschrieben wurde. has been described. Es versteht sich, daß MMCR, wie beschrieben, es Benutzern an ihrem Desktop-Computer vorteilhaft gestattet, Echtzeitkollaboration, wie sie zuvor ablief, erneut zu betrachten, einschließlich während einer späteren Telekonferenz. It is understood that MMCR as described, allows users at their desktop computers advantageous, real-time collaboration, as they proceeded previously to look again, including during a subsequent teleconference. Die Ausgabe einer MMCR-Sitzung ist ein Multimediadokument, das mit Hilfe der bereits beschriebenen Multimediadokumenteinrichtungen gespeichert, angezeigt und bearbeitet werden kann. The output of a MMCR session is a multimedia document that can be saved using the multimedia document facilities already described viewed and edited.
  • [0206] [0206]
    31D 31D zeigt die Beziehung von Konferenzaufzeichnung zu den diversen, bereits beschriebenen Systemkomponenten auf. shows the relationship of conference recording to the various, previously described system components. Das Multimedia-Konferenz-Aufzeichnungs-/Wiedergabesystem The multimedia conference recording / reproducing system 522 522 stellt die zusätzlichen graphischen Benutzeroberflächen und andere Funktionen, die zum Bereitstellen der bereits beschriebenen MMCR-Funktionalität benötigt werden, für den Benutzer bereit. provides the additional graphic user interfaces, and other functions that are required to provide the previously described MMCR functionality for the user ready.
  • [0207] [0207]
    Der in The in 31D 31D gezeigte Konferenzaufrufer (Conference Invoker) Conference caller shown (Conference Invoker) 518 518 ist ein Dienstprogramm, das die Audio-/Videorufe koordiniert, die gemacht werden müssen, um den Audio-/Videospeicherserver is a utility that coordinates the audio / video calls that need to be made to the audio / video storage server 502 502 mit speziellen Aufzeichnungsausgaben auf Konferenzbrückenhardware ( with special recording expenditure on hardware conference bridge ( 35 35 in in 3 3 ) zu verbinden. ) To join. Die resultierende Aufzeichnung ist mit Informationen verknüpft, die die Konferenz identifizieren, eine ebenfalls von diesem Dienstprogramm ausgeführte Funktion. The resulting recording is linked to information identifying the conference, a function also performed by this utility.
  • MULTIMEDIA-MAIL MULTIMEDIA-MAIL
  • [0208] [0208]
    Im folgenden wird Multimedia-Mail (MMM) betrachtet, wobei es sich versteht, daß MMM zu dem oben beschriebenen MMCR die Fähigkeit der Bereitstellung verzögerter Kollaboration hinzufügt sowie die zusätzliche Fähigkeit, Informationen vielmals erneut anzuzeigen und, wie im folgenden beschrieben, zu bearbeiten, erneut zu senden und zu archivieren. In the following multimedia mail (MMM) is considered, it being understood that MMM to the MMCR described above adds the capability of providing sustained collaboration as well as the additional ability to display information many times again and, as described below, edit, again to send and archive. Die erfaßten Informationen sind vorzugsweise ein Superset der während MMCR erfaßten mit Ausnahme dessen, daß kein anderer Benutzer involviert ist und der Benutzer eine Gelegenheit zum erneuten Anzeigen und Bearbeiten vor dem Absenden der Mitteilung erhält. The information we collect is preferably a superset of during MMCR detected with the exception that no one else is involved and the user is given an opportunity to re-view and edit before sending the message.
  • [0209] [0209]
    Das Multimedia-Mail-System The multimedia mail system 524 524 in in 31D 31D gibt dem Benutzer die zusätzlichen graphischen Benutzeroberflächen und anderen Funktionen, die zum Bereitstellen der bereits beschriebenen MMM-Funktionalität benötigt werden. gives the user the additional graphical user interfaces and other functions that are required to provide the above-described MMM functionality. Multimedia-Mail stützt sich zum Erstellen, Transportieren und Durchsuchen von Mitteilungen auf ein konventionelles E-Mail-System Multimedia-mail based on creating, transporting and browse messages on a conventional e-mail system 506 506 , das in Which in 31D 31D gezeigt wird. is shown. Zum Erstellen und Anzeigen von Mitteilungshauptteilen werden aber Multimediadokument-Editoren und -Anzeigeprogramme verwendet. For creating and viewing of multimedia communication main parts but document editors and -Anzeigeprogramme be used. Multimediadokumente (wie oben beschrieben) bestehen aus nicht zeitempfindlichen Komponenten und zeitempfindlichen Komponenten. Multimedia documents (as described above) consist of non-time-sensitive components and time-sensitive components. Das konventionelle E-Mail-System The conventional E-mail system, 506 506 stützt sich für Speicherunterstützung auf das konventionelle Dateisystem based on memory support on the conventional file system 504 504 und Echtzeit-Audio-/Videospeicherserver and real-time audio / video storage server 502 502 . , Die nicht zeitempfindlichen Komponenten werden innerhalb des konventionellen E-Mail-Systems The non-time-sensitive components within the conventional e-mail system 506 506 transportiert, während die Echtzeitkomponenten mit Hilfe von mit dem Echtzeit-Audio-/Videospeicherserver transported while the real-time components with the help of with the real-time audio / video storage server 502 502 assoziierten Dateitransfer-Dienstprogrammen separat durch das Audio-/Videonetz transportiert werden können. associated file transfer utilities can be transported through the audio / video network separately.
  • MULTIMEDIADOKUMENTENVERWALTUNG MULTIMEDIA DOCUMENT MANAGEMENT
  • [0210] [0210]
    Multimediadokumentenverwaltung (Multimedia Document Management – MMDM) stellt eine großvolumige Langzeitspeicherung für MMCR und MMM bereit. Multimedia Document Management (Multimedia Document Management - MMDM) is a large-volume long-term storage for MMCR and MMM ready. Das MMDM-System hilft beim Bereitstellen der folgenden Fähigkeiten für einen CMW-Benutzer: The MMDM system helps in providing the following capabilities for a CMW User:
    • 1. Multimediadokumente können als Mail im MMM-System oder als Ruf-/Konferenzaufzeichnungen im MMCR-System verfaßt und dann an das MMDM-System weitergeleitet werden. 1. Multimedia documents can be written as a mail in the MMM system or as a call / conference records in the MMCR system and then forwarded to the MMDM system.
    • 2. In dem von externen kompatiblen Multimedia-Editor- und -Autorensystemen unterstützten Grad können Multimediadokumente auch mit anderen Methoden als MMM und MMCR erstellt werden. 2. In support of external compatible multimedia editor and -Autorensystemen degree multimedia documents can be created by other methods as MMM and MMCR.
    • 3. Im MMDM-System gespeicherte Multimediadokumente können überprüft und durchsucht werden. 3. In MMDM system stored multimedia documents can be reviewed and searched.
    • 4. Im MMDM-System gespeicherte Multimediadokumente können als Material bei der Erstellung nachfolgender MMM verwendet werden. 4. In MMDM system stored multimedia documents can be used as a material in the preparation of subsequent MMM.
    • 5. Im MMDM-System gespeicherte Multimedia-Dokumente können bearbeitet werden, um andere Multimediadokumente zu erstellen. 5. In MMDM system stored multimedia documents can be edited to create other multimedia documents.
  • [0211] [0211]
    Das Multimediadokumentenmanagementsystem The multimedia document management system 526 526 in in 31D 31D stellt dem Benutzer zusätzliche graphische Benutzeroberflächen und andere Funktionen bereit, die zum Bereitstellen der bereits beschriebenen MMDM-Funktionalität benötigt werden. provides the user with additional GUIs and other functions required to provide the previously described MMDM functionality. MMDM weist hochentwickelte Such- und Editierfähigkeiten in Verbindung mit dem MMDM-Multimediadokument auf, so daß ein Benutzer rasch auf gewünschte ausgewählte Teile eines gespeicherten Multimediadokuments zugreifen kann. MMDM has advanced search and editing capabilities on in connection with the MMDM multimedia document, so that a user can quickly access desired selected parts of a stored multimedia document. Das Spezialsuchsystem The Special Tracking System 520 520 in in 31D 31D umfaßt Dienstprogramme, die es Benutzern erlauben, kompliziertere Suchen durch Multimediadokumente und in Multimediadokumenten durchzuführen. includes utilities that allow users to perform complex searches by multimedia documents and multimedia documents. Dazu gehören Suchen auf Kontextbasis und auf Inhaltsbasis (unter Einsatz von Vorgängen wie Sprach- und Bilderkennung, Informationsfiltern usw.), Suchen auf Zeitbasis und Suchen auf Ereignisbasis (Fensterereignisse, Rufverwaltungsereignisse, Sprach-/Audioereignisse usw.). This includes looking at context-based and content-based (using processes such as speech and image recognition, information filtering, etc.) Search time-based and event-based search on (windows events, Rufverwaltungsereignisse, voice / audio events, etc.).
  • KOLLABORATIONSKLASSEN COLLABORATION CLASSES
  • [0212] [0212]
    Die durch die oben beschriebene Integration von Audio-/Video-/Datenkonferenzen, MMCR, MMM und MMDM erreichte resultierende Multimedia-Kollaborationsumgebung wird in By the above-described integration of audio / video reached / data conferencing, MMCR, MMM and MMDM resulting multimedia collaboration environment is in 34 34 dargestellt. shown. Es ist offensichtlich, daß jeder Benutzer trotz räumlichen und zeitlichen Trennungen mit anderen Benutzer in Echtzeit zusammenarbeiten kann. It is obvious that any user can collaborate in real time despite spatial and temporal separations with other users. Außerdem können zusammenarbeitende Benutzer auf bereits in ihren Datenverarbeitungs- und Informationssystemen verfügbare Informationen zugreifen, einschließlich bei früheren Kollaborationen erfaßten Informationen. In addition, cooperating users to access already available in their data processing and information systems information, including information collected in previous collaborations. In In 34 34 ist zu beachten, daß räumliche und zeitliche Trennungen auf folgende Weisen unterstützt werden: Note that spatial and temporal separations are supported in the following ways:
  • 1. Gleiche Zeit, verschiedene Orte 1. Same time, different places
    • Multimediarufe und -konferenzen Multimedia calls and conferences
  • 2. Verschiedene Zeiten, gleicher Ort 2. Different times, same place
  • [0213] [0213]
    MMDM-Zugriff auf gespeicherte MMCR- und MMM-Informationen oder direkte Verwendung von MMM (dh Kopieren von Mail zu sich selbst) MMDM access to stored MMCR- and MMM information or direct use of MMM (ie copy of email to yourself)
  • 3. Verschiedene Zeiten, verschiedene Orte 3. Different times, different places
    • Multimediadokumentenverwaltung (MMM) Multimedia Document Management (MMM)
  • 4. Gleiche Zeit, bleicher Ort 4. In the same time, paler place
    • Kollaborative persönliche Multimediadokumentenerstellung Personal multimedia collaborative document creation
  • [0214] [0214]
    Mit Hilfe der gleichen Benutzeroberflächen und Netzfunktionen überspannt das bevorzugte System diese drei Foren reibungslos. Using the same user interface and network functions, the preferred system, these three forums spans smoothly.
  • FERNZUGRIFF AUF FACHWISSEN REMOTE ACCESS TO KNOWLEDGE
  • [0215] [0215]
    Um zu veranschaulichen, wie das System ausgeführt und betrieben werden kann, wird ein beispielhaftes bevorzugtes System beschrieben, das Merkmale hat, die auf das oben erwähnte Szenario in Verbindung mit Fernzugriff auf Fachwissen anwendbar sind. In order to illustrate how the system can be built and operated, an exemplary preferred system will be described, has the features which are applicable to the aforementioned scenario in connection with remote access to expertise. Es ist zu beachten, daß das System für andere Anwendungen (wie in Maschinenbau und Fertigung) ausgeführt werden kann oder für Verwendungen mit mehr oder weniger Hardware, Software und Betriebsmerkmalen und in verschiedenen Kombinationen. It should be noted that the system for other applications (such as in engineering and manufacturing) or uses may be practiced with more or less hardware, software and operating features and various combinations.
  • [0216] [0216]
    Im folgenden wird das folgende Szenario in Verbindung mit Zugriff von fernen Standorten auf einen firmeninternen Unternehmens-"Experten" im Handel von Finanzierungsinstrumenten, wie zB auf dem Wertpapiermarkt betrachtet: In the following the following scenario in conjunction with access from remote locations on a company wide enterprise "experts" in the trading of financial instruments, such as seen in the securities market:
    Der Brennpunkt des Szenarios dreht sich um die Tätigkeiten eines Händlers, der ein Spezialist in Wertpapieren ist. The focal point of the scenario revolves around the activities of a dealer who is a specialist in securities. Die Szene ist der Tagesanfang an seinem Schreibtisch in einem großen Finanzzentrum (NYC) bei einer führenden US-Investionsbank. The scene is the beginning of the day at his desk in a major financial center (NYC) at a leading US Investment Bank.
  • [0217] [0217]
    Der Experte hat in der vergangenen Woche ein bestimmtes Wertpapier aktiv beobachtet und bei seiner Ankunft im Büro bemerkt er, daß es sich im Anstieg befindet. The expert has a particular security actively observed in the past week and when he arrived at the office, he noted that it is on the rise. Bevor er am vergangenen Abend nach Hause ging, richtete er sein System so ein, daß es über Nacht ankommende Nachrichten über eine bestimmte Wertpapiergruppe und ein Wertpapier in dieser Gruppe herausfiltert. Before he went home last night, he set up his system so that it overnight filters out incoming messages over a certain group of securities and securities in this group. Er überfliegt die gefilterten Nachrichten und sieht einen Artikel, der eventuell einen langfristigen Einfluß auf dieses gegenständliche Wertpäpier haben wird. He flies over the filtered messages and sees an article that will eventually have a long term impact on this objective Wertpäpier. Er glaubt, daß er jetzt handeln muß, um einen guten Preis für das Wertpapier zu bekommen. He believes that he must act now to get a good price for the security. Auch erfährt er durch herausgefilterte Post, daß sein Gegenüber in London, der dieses Wertpapier ebenfalls beobachtet hat, die Meinung unseres Experten in Erfahrung bringen möchte, wenn dieser zum Dienst kommt. He also learns filtered out by post, that his counterpart in London, which has also been observed that security, would like to express the opinion of our experts find out if this comes to service.
  • [0218] [0218]
    Der Experte gibt eine Multimedia-Mail-Mitteilung über das Wertpapier an den Leiter für weltweiten Verkauf zur Verwendung bei der Arbeit mit seiner Kundenbasis heraus. The expert publishes a multimedia-mail notification of the securities at the head of worldwide sales for use at work with its customer base. Unter den Empfängern befindet sich auch ein Analytiker in der Marktforschungsabteilung und sein Gegenüber in London. Among the recipients is also an analyst in the research department and his counterpart in London. In Vorbereitung auf seine zuvor festgelegte Dienstzeit, in der er zu sprechen ist, berät sich der Experte mit anderen in seinem Unternehmen (mit Hilfe der oben beschriebenen Videokonferenz- und anderen kollaborativen Methoden), greift von seiner CMW aus auf Firmenunterlagen zu und analysiert derartige Informationen unter Einsatz von softwareunterstützten analytischen Methoden. In preparation for his pre-determined period of service in which it is to talk to an expert with other advises in his company (with the help of video conferencing described above and other collaborative methods), takes his CMW on company documents to and analyze such information using software-based analytical methods. Seine Dienstzeit steht jetzt bevor, weshalb er auf "Wechselsprechanlagen"-Betrieb schaltet, so daß ankommende Rufe automatisch erscheinen können (ohne daß der Experte "sein Telefon beantworten" und sich zum Annehmen oder Ablehnen eines Rufs entscheiden muß). His service is coming now, so he -OPERATION switches to "intercoms" so that incoming calls can appear automatically (without the expert "answered his phone" and choose to accept or decline a call must).
  • [0219] [0219]
    Der Computer des Experten piept, wodurch ein ankommender Ruf angezeigt wird, und das Bild eines Außenvertreters The computer beeps of experts, which an incoming call is displayed, and the image of an outside representative 201 201 und seines Kunden and its customers 202 202 , die sich in einer Bankfiliale irgendwo in den USA befinden, erscheint im Videofenster Located in a bank branch anywhere in the US, appears in the video window 203 203 des Bildschirms des Experten (in of the experts (in the screen 35 35 abgebildet). shown). Es ist zu beachten, daß die Anrufer nur einander im Videofenster sehen und sich nicht selbst als Teil eines Videomosaiks sehen, wenn der Ruf nicht in einen "Konferenz"-Ruf umgewandelt wird (entweder ausdrücklich über eine Menüauswahl oder implizit durch Anrufen von zwei oder mehr anderen Teilnehmern oder durch Hinzunehmen eines dritten Teilnehmers zu einem Ruf). It should be noted that the caller only see each other in the video window and did not see themselves as part of a video mosaic, if the call is not transformed into a "conference" call (either explicitly via a menu selection or implicitly by calls from two or more other participants or by adding Taking a Third Party during a call).
  • [0220] [0220]
    Auf dem Bildschirm des Experten in On the screen of experts in 35 35 ist auch das Kollaborationsinitiator-Fenster is the Collaboration Initiator window 204 204 abgebildet, von dem aus der Experte (unter Verwendung des in displayed from which the expert (using the in 20 20 gezeigten Kollaborationsinitiator-Softwaremoduls shown Collaboration Initiator software module 161 161 ) verschiedene kollaborative Sitzungen einleiten und steuern kann. Can initiate and control) various collaborative sessions. Beispielsweise kann der Benutzer mit einem ausgewählten Teilnehmer einen Videoruf einleiten (Schaltfläche CALL) oder das Hinzunehmen dieses ausgewählten Teilnehmers zu einem bestehenden Videoruf (Schaltfläche ADD) sowie eine Sharing-Sitzung (Schaltfläche SHARE) unter Verwendung eines ausgewählten Fensters oder Bereichs auf dem Bildschirm (oder eines leeren Bereichs über die Schaltfläche WHITEBOARD für nachfolgende Annotation). For example, the user can use a selected participant make video initiate (button CALL) or the addition Take this selected participant to an existing video call (ADD button) and a sharing session (button SHARE) using a selected window or area on the screen (or an empty area on the button WHITEBOARD for subsequent annotation). Der Benutzer kann auch seine MAIL-Software (Schaltfläche MAIL) aufrufen und abgehende E-Mail-Mitteilungen vorbereiten oder ankommende E-Mail-Mitteilungen (deren Anwesenheit durch ein Bild von einem Umschlags im Maul des Hundes im InBox-Symbol The user can also access its software MAIL (MAIL button) and prepare outgoing e-mail messages and incoming e-mail messages (their presence by a picture of an envelope in the dog's mouth in the InBox Icon 205 205 angezeigt wird) prüfen sowie nachsehen, ob andere Anrufer Nachrichten hinterlassen haben (Schaltfläche MESSAGES), die über die Schaltfläche LEAVE WORD im Videofenster is displayed) check and see if other callers leave messages (MESSAGES button), which in on the LEAVE WORD button video window 203 203 hinterlassen wurden. were left behind. Videofenster Video window 203 203 weist auch Schaltflächen auf, mit denen viele dieser und bestimmte zusätzliche Merkmale aufgerufen werden können, wie zB Beenden eines Videorufs (Schaltfläche HANGUP), Schalten eines Rufs auf Wartestellung (Schaltfläche HOLD), Wiederaufnehmen eines zuvor gehaltenen Rufs (Schaltfläche RESUME) oder Stummschalten des Audioteils eines Rufs (Schaltfläche MUTE). also has buttons that many of these and certain additional features can be accessed, such as ending a video call (button HANGUP), switching a call on hold (button HOLD), resuming a previously held call (button RESUME) or mute the audio portion a call (MUTE button). Außerdem kann der Benutzer mit der Konferenz-Schaltfläche RECORD die Aufzeichnung einer Videokonferenz aufrufen. In addition, the user can call to record a video conference with the conference RECORD button. Auf dem Bildschirm des Experten ist außerdem ein Standard-Arbeitsplatzfenster On the screen of experts is also a standard desktop window 206 206 vorhanden, das Symbole enthält, über die andere Programme (ob Teil des bevorzugten Systems oder nicht) eingeleitet werden können. available that contains icons that other programs (whether part of the preferred system or not) can be initiated. Wir kehren wieder zum Beispiel zurück, in dem der Experte jetzt in einer Videokonferenz mit dem Außenvertreter We return to the example in which the expert is in a video conference with the external representative 201 201 und seinem Kunden and its customers 202 202 tagt. convenes. Im Laufe dieser Videokonferenz, wie in During this videoconference, as in 36 36 illustriert, betrachtet der Außenvertreter ein graphisches Bild 210 (Kreisdiagramm von Kundenportefeuillebestand) des Portefeuillebestands seines Kunden mit dem Experten zusammen (indem er auf seiner Schaltfläche SHARE klickt, die der Schaltfläche SHARE im Videofenster illustrates the external representatives considered a graphic image 210 (pie chart of customer portfolio holdings) in the securities portfolio of its customers together (by clicking with the experts on its button SHARE, the SHARE button in the video window 203 203 des Bildschirms des Experten entspricht, und dieses Bild auf seinem Bildschirm auswählt, was bewirkt, daß das gemeinsam betrachtete Bild im Sharing-Fenster the experts of the screen corresponds to and selects this image on its screen, which causes the image jointly considered in the Sharing window 211 211 des Bildschirms aller Sharing-Teilnehmer erscheint) und beginnt das Investitionsdilemma des Kunden zu besprechen. of all participants sharing screen appears) and the investment dilemma of the customer begins to talk about. Der Außenvertreter ruft auch einen Befehl auf, um im Geheimen auf dem Bildschirm des Experten das Kundenprofil anzuzeigen. The outside representatives also calls a command to display the customer profile in secret on the screen of the wizard.
  • [0221] [0221]
    Nachdem er diese Informationen erörtert hat, die gemeinsam betrachteten Portefeuilles betrachtet hat und Fragen zur Klärung gestellt hat, illustriert der Experte seine Ratschläge, indem er ein neues graphisches Bild After having discussed this information together considered portfolio has seen and has asked questions to clarify, the expert illustrates his advice by a new graphical image 220 220 ( ( 37 37 ) erstellt (mit Hilfe seiner eigenen Modellerstellungssoftware) und mit dem Außenvertreter und dem Kunden gemeinsam behandelt. ) Treated jointly created (with the help of his own modeling software) and with the external representative and the customer. Jede am Sharing teilnehmende Partei kann dieses Bild mit Hilfe der Zeicheninstrumente Each of the participating party may Sharing this with the help of drawing instruments 221 221 (und der Schaltfläche TEXT, die das Anzeigen getippter Zeichen ermöglicht), die im Sharing-Fenster (And the TEXT button that displays the typed characters allows) that in the Sharing window 211 211 bereitgestellt sind, annotieren oder eine geänderte Version des ursprünglichen Bildes "neufangen" (mit Hilfe der Schaltfläche REGRAB) oder alle derartigen Annotationen entfernen (mit Hilfe der Schaltfläche CLEAR im Sharing-Fenster are provided, annotate or a modified version of the original image "neufangen" (using the REGRAB button) or remove all such annotations (using the CLEAR button in the Sharing window 211 211 ) oder ein neues Bild zum gemeinsamen Bearbeiten fangen (durch Klicken auf die Schaltfläche GRAB des Sharing-Fensters ) Or a new image for the joint editing catch (by clicking on the button GRAB the sharing window 21 21 und Auswählen dieses neuen Bilds auf dem Bildschirm). and selecting this new image on the screen). Außerdem kann jeder Teilnehmer einer gemeinsamen Sitzung einen neuen Teilnehmer hinzunehmen, indem er diesen Teilnehmer aus der Rotationsdatei oder der Kurzwahlliste auswählt (wie oben für Videorufe und für Datenkonferenzen beschrieben) und auf die Schaltfläche ADD des Sharing-Fensters In addition, each participant in a joint meeting may accept a new participant by selecting the participant from the rotation file or the speed dial list (as described above for video calls and data conferencing) and on the ADD button in the Sharing window 211 211 klickt. clicks. Auch kann das gemeinsam bearbeitete Bild abgespeichert (Schaltfläche SAVE) werden, ein zuvor abgespeichertes Bild zum gemeinsamen Bearbeiten kann geladen werden (Schaltfläche LOAD) oder ein Bild kann gedruckt werden (Schaltfläche PRINT). Also jointly edited image can be saved (SAVE button), a previously saved into common image editing can be loaded (LOAD button) or an image can be printed (PRINT button).
  • [0222] [0222]
    Beim Besprechen der Ratschläge des Experten nimmt der Außenvertreter In discussing the advice of experts takes the outside representatives 201 201 am Bild 220 Annotationen the image 220 annotations 222 222 vor, um seine Bedenken zu veranschaulichen. prior to illustrate his concerns. Während er auf die Bedenken des Außenvertreters While the concerns of foreign representative 201 201 eingeht, hört der Experte einen Piepton und erhält einen Sichthinweis (Dialogbox "Neuer Ruf" is received, the expert hears a beep and gets a visible indication (dialog "New Call" 223 223 ) auf seinem Bildschirm (für den Außenvertreter und seinen Kunden nicht sichtbar), der das Vorhandensein eines neuen ankommenden Rufs anzeigt und den Anrufer identifiziert. ) Identified on his screen (for outdoor representatives and customers not visible) indicating the existence of a new incoming call and the caller. An diesem Punkt kann der Experte den neuen Ruf akzeptieren (Schaltfläche ACCEPT), den neuen Ruf ablehnen (Schaltfläche REFUSE, was bewirkt, daß auf dem Bildschirm des Anrufers eine Mitteilung angezeigt wird, die angibt, daß der Experte nicht verfügbar ist) oder den neuen Anrufer zum bestehenden Ruf des Experten hinzunehmen (Schaltfläche ADD). At this point, the Expert can accept the new call (ACCEPT button), the new call reject (REFUSE button, which causes a message is displayed on the screen of the caller, indicating that the expert is not available) or the new to accept callers to the existing reputation of the expert (ADD button). In diesem Fall entscheidet sich der Experte für noch eine andere Möglichkeit (nicht abgebildet) – den Ruf aufzuschieben und dem Anrufer eine Standardmitteilung zu hinterlassen, daß der Experte ihn in X Minuten (in diesem Fall 1 Minute) zurückrufen wird. In this case, the expert chooses another option (not shown) - postpone the call and the caller to leave a default message that the expert will call him back in X minutes (in this case 1 minute). Der Experte entscheidet sich dann dafür, auch sein existierendes Gespräch aufzuschieben, wobei er dem Außenvertreter und seinem Kunden sagt, daß er sie in 5 Minuten zurückrufen wird, und optiert dann, auf den ersten aufgeschobenen Ruf zu antworten. The expert then decides to defer be existing conversation, which he says the outer representative and his clients that he will call back in 5 minutes, and then opted to respond to the first deferred reputation.
  • [0223] [0223]
    Es ist zu beachten, daß das Aufschieben eines Rufs durch den Experten nicht nur zur Folge hat, daß eine Mitteilung an den Anrufer gesendet wird, sondern auch, daß der Name des Anrufers (und vielleicht andere mit dem Ruf assoziierte Informationen, wie der Zeitpunkt, an dem der Ruf aufschoben wurde oder wiederaufzunehmen ist) in einer Liste It should be noted that the sliding of a call by the expert has not only the consequence that a message to the caller is sent, but also that the caller's name (and perhaps other information associated with the call, such as the time, at which the call was aufschoben or resume is) in a list 230 230 (siehe (See 38 38 ) auf dem Bildschirm des Experten angezeigt wird, aus der der Ruf wieder eingeleitet werden kann. ) Is displayed on the screen of experts from which the call can be initiated again. Des weiteren wird der "Zustand" des Rufes (zB die gemeinsam genutzten Informationen) zurückbehalten, so daß er wiederhergestellt werden kann, wenn der Ruf wieder eingeleitet wird. Furthermore, the "state" of the reputation retained (eg shared information) so that it can be restored when the call is initiated again. Anders als ein "Warten" (Hold) (oben beschrieben) unterbricht das Aufschieben eines Rufes die logischen und physischen Verbindungen, was erfordert, daß der gesamte Ruf vom Kollaborationsinitiator und dem AVNM, wie oben beschrieben, neu eingeleitet wird. Unlike a "Wait" (Hold) (described above) interrupts the postponement of a call, the logical and physical connections, which requires that the entire call from the Collaboration Initiator and the AVNM, as described above, is re-initiated.
  • [0224] [0224]
    Nach dem Zurückkehren zu dem ersten aufgeschobenen Ruf nimmt der Experte eine Videokonferenz mit Anrufer After returning to the first deferred reputation of the expert takes a video conference with caller 231 231 auf, einem Forschungsanalytiker, der sich 10 Etagen über dem Experten befindet, mit einer komplexen Frage bezüglich eines bestimmten Wertpapiers. on, a research analyst who is 10 floors above the experts, with a complex question with respect to any particular security. Anrufer Caller 231 231 beschließt, den Londoner Experten Decides to London experts 232 232 zur Videokonferenz hinzuzunehmen (über die Schaltfläche ADD im Kollaborationsinitiatorfenster should increase to video conference (via the ADD button in the Collaboration Initiator window 204 204 ), um weitere Informationen mit Bezug auf die tatsächliche Historie des Wertpapiers bereitzustellen. ) To provide additional information with respect to the actual history of the security. Nach dem Auswählen der Schaltfläche ADD wird im Videofenster After selecting the ADD button in the video window 203 203 jetzt, wie in Now, as in 38 38 angezeigt, ein Videomosaik angezeigt, das sich aus drei kleineren Bildern (anstelle eines einzigen großen Bildes, das nur Anrufer displayed a video mosaic display, which consists of three smaller images (instead of a single large image, the only caller 231 231 anzeigt) des Experten indicates) the expert 233 233 , des Anrufers , The caller 231 231 und des Londoner Experten and the London experts 232 232 zusammensetzt. composed.
  • [0225] [0225]
    Während dieser Videokonferenz wird eine dringende PRIORITÄTsanfrage (Fenster "Neuer Ruf" During this videoconference is an urgent priority request (window "New Call" 234 234 ) vom Chef des Experten (der sich in einer Dreiparteien-Videokonferenz mit zwei Mitgliedern der Führungsabteilung der Bank befindet und versucht, den Experten zum Beantworten einer kurzen Frage zu diesem Ruf hinzuzunehmen) empfangen. ) (Which is the head of the experts in a three-party video conference with two members of the management department of the bank and tried to add a number) received the experts to answer a brief questionnaire about the call. Der Experte schaltet seine Dreiparteien-Videokonferenz auf Wartestellung (einfach durch Klicken auf die Schaltfläche HOLD im Videofenster The expert turns his three-party video conference on hold (just by clicking on the button in the video window HOLD 203 203 ) und akzeptiert (über die Schaltfläche ACCEPT des Fensters "Neuer Ruf" ) And accepted (by clicking ACCEPT the window "New Call" 234 234 ) den dringenden Anruf von seinem Chef, was zur Folge hat, daß der Experte zu dem Dreiparteien-Videokonferenzruf des Chefs hinzugenommen wird. ) The urgent call from his boss, with the result that the expert is taken to the Tripartite Videokonferenzruf the boss.
  • [0226] [0226]
    Wie in How to 39 39 illustriert, wird Videofenster illustrated, is video window 203 203 jetzt durch ein Vierpersonen-Videomosaik ersetzt, das einen Vierparteienkonferenzruf darstellt, der sich aus dem Experten now replaced by a four-person video mosaic representing a Vierparteienkonferenzruf, which results from the experts 233 233 , seinem Chef His boss 241 241 und den zwei Mitgliedern and the two members 242 242 und and 243 243 der Führungsabteilung der Bank zusammensetzt. the management department of the bank composed. Der Experte beantwortet rasch die Frage seines Chefs und bricht gleichzeitig den Konferenzruf mit seinem Chef durch Klicken auf die Schaltfläche RESUME (des Videofensters The expert quickly answered the question of his boss and breaks at the same time the conference call with his boss by clicking the RESUME (the video window 203 203 ) neben den Namen der anderen wartenden Rufteilnehmer ab und nimmt seinen Dreiparteienkonferenzruf in Verbindung mit der Wertpapierfrage wieder auf, wie in Videofenster ) Next to the name of the other waiting from calling subscriber and takes his Dreiparteienkonferenzruf in connection with the securities in question again, as in the video window 203 203 von from 40 40 illustriert. illustrated.
  • [0227] [0227]
    Während dieser Ruf auf Wartestellung geschaltet war, nahmen der Analytiker During this call was put on hold, took the analyst 231 231 und der Londoner Experte and the London Expert 232 232 noch an einer Zweiwege-Videokonferenz teil (wobei ein geschwärzter Teil des Videomosaiks auf ihren Bildschirmen anzeigte, daß der Experte auf Wartestellung geschaltet worden war) und hatten ein graphisches Bild even in a two-way video conference part (where a blackened part of the video mosaic indicated on their screens that the expert had been put on hold) and had a graphic image 250 250 gemeinsam behandelt und annotiert (siehe Annotationen treated together and annotated (see annotations 251 251 zu Bild to image 250 250 von from 40 40 ), wobei sie gewisse finanzielle Bedenken illustrierten. ), Where they illustrated some financial concerns. Als der Experte den Ruf wiederaufnahm, nahm der Analytiker As the expert resumed the reputation, took the analyst 231 231 den Experten zur Sharing-Sitzung hinzu, was bewirkte, daß auf dem Bildschirm des Experten das das annotierte Bild the experts to add sharing session, which meant that on the screen of the experts the annotated image 250 250 enthaltende Sharing-Fenster containing Sharing window 211 211 erschien. appeared. Wahlweise konnte das Snapshot-Sharing weiterlaufen, während das Video gehalten wurde. Alternatively, could continue to run the snapshot sharing, while the video was held.
  • [0228] [0228]
    Bevor er seine Konferenz bezüglich der Wertpapiere abschließt, erhält der Experte eine Benachrichtigung über eine ankommende Multimedia-Mail-Mitteilung, zB einen Piepton begleitet von dem Auftauchen eines Umschlags Before he concluded his meeting with respect to the securities, the expert receives notification of an incoming multimedia mail message, such as a beep accompanied by the emergence of an envelope 252 252 im Maul des Hundes im InBox-Symbol in the dog's mouth in the InBox Icon 205 205 , das in Which in 40 40 gezeigt wird. is shown. Wenn er seinen Ruf beendet, überfliegt er schnell seine ankommende Multimedia-Mail-Mitteilung durch Klicken auf das InBox-Symbol When he finished his reputation, he quickly flies over its incoming multimedia mail message by clicking on the icon InBox 205 205 , was seine Mail-Software aufruft, und anschließendes Auswählen der ankommenden Mitteilung zum schnellen Durchsehen, wie in den oberen beiden Fenstern von What his mail software calls, and then selecting the incoming message to browse quickly through, as in the two upper windows of 2B 2B allgemein dargestellt wird. generally represented. Er beschließt, daß ihre weitere Überarbeitung warten kann, da der Sender ein anderer Analytiker als der bei dieser Wertpapierfrage helfende ist. He decides that its further revision can wait, because the sender is different than the analyst helping in this Securities question.
  • [0229] [0229]
    Er leitet dann (durch Auswählen des Anzeigers für aufgeschobene Rufe He then passes (by selecting the indicator for deferred calls 230 230 , in In 40 40 gezeigt) seinen aufgeschobenen Ruf mit dem Außenvertreter shown) pushed his reputation with the external representative 201 201 und seinem Kunden and its customers 202 202 wieder ein, wie in again, as shown in 41 41 gezeigt. shown. Es ist zu beachten, daß auch der vollständige Zustand des Rufs wieder erstellt wird, einschließlich der Wiederherstellung des zuvor gemeinsam bearbeiteten Bildes It should be noted that even the full state of the call is created again, including restoration of previously shared image processed 220 220 mit Annotationen with annotations 222 222 , wie sie bestanden, als der Ruf aufgeschoben wurde (siehe As they existed when the call has been postponed (see 37 37 ). ). In In 41 41 ist auch zu beachten, daß, nachdem er seine einzige ungelesene ankommende Multimedia-Mail-Mitteilung überprüft hat, das InBox-Symbol Note also that, after having checked his only unread incoming multimedia mail message, the InBox Icon 205 205 keinen Umschlag im Maul des Hundes mehr zeigt, was andeutet, daß der Experte zur Zeit keine ungelesenen ankommenden Mitteilungen hat. no cover in the dog's mouth more shows, which indicates that the expert currently does not have any unread incoming messages.
  • [0230] [0230]
    Während der Experte den Außenvertreter While the expert on foreign representatives 201 201 weiter berät und ihm Preissetzungsinformationen mitteilt, wird er über drei Prioritätsrufe further advises and informs him pricing information, it is about three priority calls 261 261 - 263 263 benachrichtigt, die in kurzen Abständen aufeinanderfolgen. notifies, which follow one another at short intervals. Ruf Reputation 261 261 ist die Verkaufsleiterin für die Geschäftsstelle in Chicago. is the sales manager for the office in Chicago. Zu Hause arbeitend, hatte sie ihre CMW angewiesen, sie auf alle dringenden Nachrichten oder Mitteilungen hinzuweisen, und wurde folglich auf die Ankunft der früheren Multimedia-Mail-Mitteilung des Experten hingewiesen. Working at home, it had instructed its CMW, they are aware of any urgent messages or announcements, and was therefore referred to the earlier arrival of multimedia mail notification of experts. Ruf Reputation 262 262 ist ein dringender internationalerRuf. is an urgent internationalerRuf. Ruf Reputation 263 263 ist vom Verkaufsleiter in Los Angeles. is the sales manager in Los Angeles. Der Experte kommt schnell zum Schluß und beendet dann seinen Ruf mit dem Außenvertreter The expert quickly comes to a conclusion and then finished his reputation with the external representative 201 201 . ,
  • [0231] [0231]
    Der Experte entnimmt seinem Rufanzeiger The expert takes its paging indicators 262 262 , daß dieser Ruf nicht nur ein internationaler Ruf ist (im oberen Teil des Fensters "Neue Rufe" gezeigt), sondern erkennt auch, daß er von einem Laptop-Benutzer im Außendienst in der Zentralmexiko ist. That this reputation is not only an international reputation (shown in the upper part of the window "Last Call"), but also recognizes that it is a laptop-users in the field in Central Mexico. Der Experte entschließt sich zur Einstufung seiner Rufe nach Priorität wie folgt: The expert decides on the classification of its calls for priority as follows: 262 262 , . 261 261 und and 263 263 . , Er beantwortet deshalb schnell Ruf He therefore answered quickly reputation 261 261 (durch Klicken auf seine Schaltfläche ACCEPT) und schaltet diesen Ruf in Wartestellung, während er Ruf (By clicking its button ACCEPT) and turn this call on hold, while reputation 263 263 auf die oben beschriebene Weise aufschiebt. defers in the manner described above. Anschließend akzeptiert er den Ruf, der vom Anzeiger des internationalen Rufs He then accepted the reputation of the indicators of international reputation 262 262 identifiziert wird. is identified.
  • [0232] [0232]
    In In 42 42 ist der Anzeiger für den aufgeschobenen Ruf is the indicator of the deferred reputation 271 271 und der Anzeiger für den auf Wartestellung geschalteten Ruf (neben der markierten Schaltfläche RESUME im Videofenster and the indicator for the switched call on hold (next to the highlighted RESUME the video window 203 203 ) sowie das Bild des Anrufers ) And the caller's image 272 272 vom Laptop im Außendienst in Zentralmexiko zu beachten. from a laptop in the field in Central Mexico observed. Der mexikanische Anrufer The Mexican caller 272 272 ist zwar im Freien und hat keinen direkten Zugang zu einer verdrahteten Telefonverbindung, sein Laptop-Computer hat aber zwei drahtlose Modeme, die Wählzugang zu zwei Datenverbindungen im nächstgelegenen Außendienstbüro (durch welche seine Rufe geroutet wurden) ermöglichen. Although outside and has no direct access to a wired telephone connection, but his laptop computer has two wireless modems, dial-up access the (were routed through which his calls) to two data connections in the nearest sales office allow. Das System wies automatisch (auf der Basis der registrierten Telefoniefähigkeiten des Laptop-Computers) eine Verbindung für ein analoges Telefongespräch zu (unter Verwendung des eingebauten Mikrofons und Lautsprechers seines Laptop-Computers und der computerintegrierten Telefoniefähigkeiten des Experten), um eine Audio-Telekonferenz bereitzustellen. The system had automatically (on the basis of the registered telephony capabilities of the laptop computer) to connect to an analog telephone conversation (using the built-in microphone and speaker of his laptop computer and the computer integrated telephony capabilities of experts) to provide an audio teleconference. Die andere Verbindung stellt Steuerung, Datenkonferenz und Einweg-Digitalvideo (dh der Laptop-Benutzer kann das Bild des Experten nicht sehen) von der eingebauten Kamera des Laptop-Computers bereit, wenn auch mit einer sehr niedrigen Bildfrequenz (zB 3–10 kleine Rahmen pro Sekunde) aufgrund der relativ niedrigen Wähltelefonverbindung. The other compound provides control, data conferencing and disposable digital video (ie, laptop users, the image of the experts do not see) prepared by the built-in camera of the laptop computer, per albeit with a very low frame rate (eg, 3-10 small frame second) due to the relatively low Wähltelefonverbindung.
  • [0233] [0233]
    Es ist wichtig, daß beachtet wird, daß das vorliegende System trotz der begrenzten Fähigkeiten der drahtlosen Laptop-Ausrüstung derartige Fähigkeiten einbindet, wobei es eine Audiotelefonverbindung mit einer begrenzten (dh relativ langsamen) Einweg-Video- und Datenkonferenzfunktionalität ergänzt. It is important that is noted that the present system despite the limited capabilities of the wireless laptop integrates equipment such capabilities, and it adds an audio telephone connection with a limited (ie, relatively slow) one-way video and data conferencing functionality. Bei weiterer Verbesserung von Telefonie- und Videokompressionstechnologien wird das bevorzugte System derartige Verbesserungen automatisch aufnehmen. With further improvement of telephony and video compression technologies, the preferred system will automatically take on such improvements. Darüber hinaus müssen selbst dann, wenn ein Teilnehmer einer Telekonferenz begrenzte Fähigkeiten hat, andere Teilnehmer nicht auf diesen "kleinsten gemeinsamen Nenner" reduziert werden. In addition to, even if a participant in a teleconference has limited capabilities, other participants do not be reduced to this "lowest common denominator". Beispielsweise könnten zu dem in For example, could the in 42 42 illustrierten Ruf zusätzliche Teilnehmer hinzugenommen werden, wie oben beschrieben, und derartige Teilnehmer könnten untereinander volle Videokonferenz-, Datenkonferenz- und andere kollaborative Funktionalität haben, während sie nur mit dem Anrufer illustrated reputation additional participants are added taken as described above, and such participants may differ to a full video conferencing, data conferencing and other collaborative functionality, while only the caller 272 272 eine begrenzte Funktionalität hätten. have limited functionality.
  • [0234] [0234]
    Im Laufe seines Tages wurde der nicht am Standort befindliche Verkäufer In the course of his day is not at the site located seller was 272 272 in Mexiko durch den Laptop-Computer von seinem Leiter über ein neues Wertpapier informiert und kam zu der Überzeugung, daß sein Kunde besonderes Interesse an dieser Emission haben würde. informed in Mexico through the laptop computer by its conductor on a new securities and came to the conclusion that his client would have a particular interest in this issue. Der Verkäufer beschloß deshalb, sich wie in The seller therefore decided, as in 42 42 gezeigt mit dem Experten in Verbindung zu setzen. shown to put in communication with the expert. Während der Besprechung der Wertpapierfragen beteiligt sich der Experte wieder an allen erfaßten Diagrammen, Tabellen usw. During the meeting, the securities matters, the expert again involved in all detected charts, tables, etc.
  • [0235] [0235]
    Der Verkäufer The Seller 272 272 benötigt die Hilfe des Experten auch noch für einen weiteren Punkt. needs the help of the experts also for another point. Er hat nur eine Druckkopie des Portefeuilles eines Kunden und benötigt Ratschläge über seine Zusammensetzung, bevor er sich am folgenden Tag mit dem Kunden trifft. He only has a hard copy of the portfolio of clients and needs advice about his composition before he meets the following day with the customer. Er sagt, daß er es dem Experten zur Analyse per Telefax senden wird. He says that he will send it to the experts for analysis by fax. Nach Erhalt des Fax – auf seiner CMW über computerintegriertes Fax – fragt der Experte, ob er dem mexikanischen Anrufer heute Abend einen "QuickTime"-Film (ein Standard niedrigerer Qualität für komprimiertes Video von Apple Computer) auf seinen Laptop-Computer oder morgen eine CD höherer Qualität über FedX senden soll – wobei die Idee die ist, daß der Experte eine richtige Videopräsentation mit Modellen und Annotationen in Videoform produzieren kann. After receiving the fax - on his CMW on computer-integrated fax - the Expert asks if he Mexican callers tonight a "Quick Time" film (a standard lower quality compressed video of Apple Computer) on his laptop computer or tomorrow a CD Send to a higher quality over FedX - the idea is that the expert may produce a proper video presentation with models and annotations in video form. Der Verkäufer kann sie dann am folgenden Nachmittag seinem Kunden vorspielen, und es wird dann so sein, als ob der Experte im gleichen Raum mit ihnen ist. The seller can then play to its clients the following afternoon, and then it will be as if the expert in the same room with them. Der mexikanische Anrufer entscheidet sich für die CD. The Mexican caller opts for the CD.
  • [0236] [0236]
    Weiter im gleichen Szenario, erfährt der Experte im Verlauf seines Rufs mit dem fernen Laptop-Anrufer Continue in the same scenario, the expert learns in the course of his reputation with the remote laptop caller 272 272 , daß er während seines vorherigen schnellen Durchsehens seiner ankommenden Multimedia-Mail-Mitteilung einen wichtigen Punkt übersehen hatte. That he had during his previous fast by seeing his incoming multimedia mail message overlooked an important point. Der Experte ärgert sich, daß der Sender der Mitteilung nicht das Merkmal "Videomarkierung" benutzte, um diesen Aspekt der Mitteilung zu markieren. The expert is annoyed that the sender of the message is not the term "video tag" used to highlight this aspect of the communication. Dieses Merkmal erlaubt es dem Verfasser einer Mitteilung, während der Aufzeichnungszeit "Marken" zu definieren (zB durch Klicken auf die Schaltfläche TAG, nicht gezeigt), die mit der Mitteilung zusammen mit einer "Zeitzuschreibung" gespeichert werden und bewirken, daß bei der Wiedergabe ein vordefinierter oder auswählbarer akustischer und/oder visueller Anzeiger an genau diesem Punkt in der Mitteilung abgespielt/angezeigt wird. This feature allows the author of a message during recording time "brands" to define (eg by clicking on the TAG button, not shown), which are stored with the message along with a "time reversal" and cause a during playback predefined or selectable audible and / or visual indicator will be played at exactly this point in the Communication / displayed.
  • [0237] [0237]
    Da dieses Thema sich auf den Anrufer bezieht, den der Experte auf Wartestellung geschaltet hat, beschließt der Experte, die beiden Rufe zusammenzulegen, indem er den auf Wartestellung geschalteten Ruf zu seinem bestehenden Ruf hinzunimmt. Since this issue is related to the caller, the expert has put on hold, the expert decides to merge the two calls by Add to this the connected call on hold to its existing reputation. Wie oben bemerkt, haben der Experte und auch der zuvor auf Wartestellung geschaltete Anrufer untereinander volle Videofähigkeiten und sehen ein dreifaches Mosaikbild (wobei das Bild von Anrufer As noted above, the expert and the previously switched on hold caller among themselves full video capabilities and see a triple mosaic image (the image of the caller 272 272 eine langsamere Bildgeschwindigkeit hat), während Anrufer a slower speed takes) while callers 272 272 nur Zugang zum Audioteil dieses Dreiwege-Konferenzrufs hat, wobei er aber Datenkonferenzfunktionalität mit den beiden anderen Teilnehmern hat. only has access to the audio portion of this three-way conference call, but said he has data conferencing functionality with the two other parties.
  • [0238] [0238]
    Der Experte sendet die Multimedia-Mail-Mitteilung an den Anrufer The expert sends the multimedia mail message to the caller 272 272 und den anderen Teilnehmer, und alle drei überprüfen die Videoanlage eingehender und besprechen das vom Anrufer the video system and the other participants, and reviewed every three incoming and discuss the caller 272 272 aufgeworfene Bedenken. raised concerns. Sie behandeln gemeinsam bestimmte relevante Daten, wie oben beschrieben, und erkennen, daß sie einen anderen fernen Experten schnell etwas fragen müssen. They treat common certain relevant data, as described above, and realize that they need to quickly ask you something another remote experts. Sie nehmen diesen Experten für weniger als eine Minute zu dem Ruf hinzu (was zum Hinzufügen eines vierten Bilds zum Videomosaik, ebenfalls nicht gezeigt, führt), während sie eine schnelle Antwort auf ihre Frage erhalten. Take these experts for less than a minute the call (which is what about adding a fourth image for video mosaic, also not shown, results), while they get a quick answer to your question. Dann setzen sie ihren Dreiwegeruf fort, bis der Experte seine Ratschläge erbringt und dann den Ruf verschiebt. Then they continue their Dreiwegeruf until the expert provides his advice and then shifts the call.
  • [0239] [0239]
    Der Experte verfaßt eine neue Multimedia-Mail-Mitteilung, wobei er sein Bild und Audio mit den von seiner simultanen Interaktion mit seiner CMW (zB Verwenden eines Programms, das bestimmte Kalkulationen durchführt und eine graphische Darstellung anzeigt, wobei der Experte bestimmte Punkte durch Telezeigen auf dem Bildschirm illustriert, wobei während dieser Zeit auch sein Bild und seine gesprochenen Worte erfaßt werden) herrührenden Bildschirmanzeigen synchronisiert aufzeichnet (wie oben beschrieben). The expert wrote a new multimedia mail message, taking his picture and audio with his simultaneous interaction with the CMW (eg, use of a program that performs certain calculations and displays a graphical representation, the expert certain points by Tele pointing to the screen illustrates, during which time his image and his spoken words are detected) arising screens synchronized recording (as described above). Er sendet diese Mitteilung an eine Anzahl von zum Verkaufspersonal gehörenden Empfängern, deren Identitäten von einem Filter für abgehende Mail, der eine Datenbank mit Informationen über jeden potentiellen Empfänger nutzt (zB Auswahl nur derjenigen, deren Kunden eine Investitionspolitik haben, die diese An von Investition erlaubt) automatisch bestimmt werden. He sends this message to a number of sales personnel belonging recipients whose identities of a filter for outgoing mail that uses a database with information about each potential recipient (eg selecting only those whose clients have an investment policy that allows them to investment ) are automatically determined.
  • [0240] [0240]
    Der Experte empfängt dann einen akustischen und visuellen Erinnerungsbescheid (nicht gezeigt), daß in wenigen Minuten eine bestimmte Videoeinspeisung automatisch ausgelöst werden wird (zB ein kurzes Segment einer finanziellen Kabelfernsehschau über neue Finanzierungsinstrumente). The expert then receives an audible and visual reminder notice (not shown) that in a few minutes, a certain video feed will be triggered automatically (eg, a short segment of a financial cable television actor on new financial instruments). Er nutzt diese Zeit, um seine lokale Wertpapierdatenbank zu durchsuchen, die von Finanzinformationseinspeisungen (zB aus einem gesendeten Textstrom aktueller Ereignisse im Finanzbereich mit indexierten Kopfzeilen, der automatisch Datenfilter zum Auswählen ankommender Ereignisse mit Bezug auf bestimmte Wertpapiere anwendet) dynamisch aktualisiert wird. He uses this time to search its local security database of financial information feeds (eg from a transmitted text stream of current events in the financial sector with indexed headers, which automatically applies data filters to select incoming events with respect to certain securities) is dynamically updated. Die Videoeinspeisung wird dann auf dem Bildschirm des Experten angezeigt, und er schaut sich dieses kurze Videosegment an. The video feed is then displayed on the screen of the wizard, and he is looking at this short video segment.
  • [0241] [0241]
    Nachdem er diese höchstaktuelle Information analysiert hat, leitet der Experte dann seinen zuvor aufgeschobenen Ruf, von dem er weiß, daß er vom Verkaufsleiter in Los Angeles ist, der seinen Hauptkunden Wertpapierberatung über eine weitere Wertpapiertransaktion auf der Grundlage der jüngsten verfügbaren Informationen zukommen lassen möchte, von dem in After having analyzed these most current information, the expert then derives its previously deferred reputation, which he knows that he is the sales manager in Los Angeles who wants to leave its main customer securities advice on further securities transaction based on the latest information available to come, from that in 42 42 gezeigten Anzeiger shown Gazette 271 271 aus wieder ein. from again. Der Anruf des Experten wird aber nicht direkt beantwortet, er erhält aber eine kurze zuvor aufgezeichnete Videomitteilung (vom Anrufer hinterlassen, der seine Wohnung wegen einer Tagung am anderen Ende der Stadt verlassen mußte, kurz nachdem seine Prioritätsmitteilung aufgeschoben wurde), in der er den Experten bittet, ihm eine Multimedia-Mail-Antwortmitteilung mit Ratschlägen für einen bestimmten Kunden zu hinterlassen, und erklärt, daß er von seinem Laptop-Computer aus auf diese Mitteilung zugreifen wird, sobald seine Tagung beendet ist. The call of the expert is not answered directly, but he gets a short pre-recorded video message (leave the caller, who had to leave his apartment for a convention at the other end of town, shortly after his priority message has been postponed), in which he experts to asks you to leave him a multimedia mail response message with suggestions for a specific customer, and declares that he will access his laptop computer to this release as soon as his session is terminated. Der Experte kommt dieser Bitte nach und verfaßt und sendet seine Mail-Mitteilung. The expert comes with this request and written and sends its mail message.
  • [0242] [0242]
    Der Experte empfängt dann auf seinem Bildschirm einen akustischen und visuellen Erinnerungsbescheid, der andeutet, daß seine Dienstzeit in zwei Minuten zu Ende sein wird. The expert then receives on his screen an audible and visual reminder notice which indicates that its service will be in two minutes to end. Er schaltet von "Gegensprech"-Modus auf Telefonmodus, so daß er nicht mehr gestört wird, ohne die Möglichkeit zum Ablehnen ankommender Rufe über das oben beschriebene Fenster "Neuer Ruf" zu haben. He switched from "intercom" mode on phone mode, so that it is no longer disturbed, without the possibility to reject incoming calls via the above window "New Call" to have. Er empfängt und akzeptiert dann noch einen letzten Ruf, der ein Thema von einer Elektronik-Tagung vor einigen Monaten betrifft, die in ihrer Gesamtheit aufgezeichnet wurde. He then receives and accepts one last call concerning a topic of an electronic meeting a few months ago, which was recorded in its entirety.
  • [0243] [0243]
    Der Expert greift von seinem "Firmenspeicher" auf diese aufgezeichnete Tagung zu. The Expert picks of his "corporate memory" on this recorded meeting to. Er sucht in der aufgezeichneten Tagung (die in einem zweiten Videofenster auf seinem Bildschirm erscheint, wie das bei einer Live-Tagung der Fall wäre, zusammen mit Standardbedienelementen für Stop/Vorlauf/Rücklauf/schneller Vorlauf usw.) mit Hilfe seiner Bedienelemente für schnellen Vorlauf nach einem Ereignis, an das er sich erinnern wird, kann aber den gewünschten Teil der Tagung nicht ausmachen. He studied in the recorded session (which appears on their screen in a second video window, as would be the case in a live conference, along with standard controls for stop / forward / rewind / fast forward, etc.) using its controls to fast forward after an event to which it will be remembered, however, can not account for the desired part of the conference. Er entschließt sich dann, das ASCII-Textprotokoll zu durchsuchen (das nach dem Aufzeichnen der Tagung automatisch im Hintergrund unter Verwendung der neuesten Spracherkennungsmethoden extrahiert wurde), kann aber den gewünschten Teil der Tagung immer noch nicht finden. He then decides to search the ASCII text protocol (extracted automatically after the recording of the session in the background using the latest speech recognition methods), but still can not find the desired part of the conference. Schließlich wendet er einen Informationsfilter zum Durchführen einer inhaltsorientierten (anstatt wörtlichen) Suche an und findet den Teil der Tagung, den er suchte. Finally he turns to an information filter for performing content-oriented (rather than literal) search and find the part of the conference, he was looking for. Nachdem er diesen kurzen Teil der früher aufgezeichneten Tagung schnell überprüft hat, beantwortet der Experte die Frage des Anrufers, verschiebt den Anruf und beendet seine Dienstzeit. Once he has this short part of the previously recorded session quickly checked, the expert answered the question of the caller, moves the call and ended his term of service.
  • [0244] [0244]
    Es ist zu beachten, daß das obige Szenario viele Desktop-Tools vom Stand der Technik einbezieht (zB Video- und Informationseinspeisungen, Informationsfilter und Spracherkennung), die von unserem Experten während Videokonferenzen, Datenkonferenzen und anderen kollaborativen Tätigkeiten, die vom vorliegenden System bereitgestellt werden, eingesetzt werden können – da dieses System ein Desktop-Multimedia-Kollaborationssystem bereitstellt, das in die existierende Arbeitsplatz-/LAN-/WAN-Umgebung des Experten integriert wird, anstatt ein dediziertes Videokonferenzsystem bereitzustellen. It should be noted that the above scenario, many desktop tools includes the state of the art (eg, video and information feeds, information filtering and speech recognition), painted by our experts during video conferencing, data conferencing and other collaborative activities that are provided by the present system can be used - as this system provides a desktop multimedia collaboration system which is integrated into the existing workplace / LAN / WAN environment of experts, rather than providing a dedicated video conferencing system.
  • [0245] [0245]
    Es ist auch zu beachten, daß alle der vorangehenden kollaborativen Tätigkeiten in diesem Szenario während eines relativ kurzen Teils des Tagesablaufs des Experten stattfanden (zB insgesamt weniger als eine Stunde), während der Experte in seinem Büro blieb und die ihm von seinem Desktop-Computer zur Verfügung stehenden Tools und Informationen weiterhin nutzte. It should also be noted that all of the foregoing collaborative activities in this scenario during a relatively short part of the daily routine of experts took place (eg, a total of less than one hour), while the expert remained in his office and to him from his desktop computer available tools and information still used. Früher wäre ein derartiges Szenario nicht möglich gewesen, da viele dieser Tätigkeiten nur mit persönlicher Zusammenarbeit stattgefunden haben könnten, was in. vielen Fällen nicht machbar oder wirtschaftlich ist und was daher gut zu einem Verlust der assoziierten Geschäftsmöglichkeiten hätte führen können. Previously, such a scenario would not have been possible, since many of these activities could have taken place only with personal collaboration, which is not feasible or economical. Many cases, and which is therefore good to a loss of the associated business opportunities could lead.
  • [0246] [0246]
    In Hardware, Software, Betrieb, Verwendungen, Protokollen und Datenformaten können viele Modifikationen und Variationen vorgenommen werden, ohne aus dem Rahmen zu kommen, zu dem das hierin offengelegte System berechtigt ist. In hardware, software, operating characteristics, uses, protocols and data formats, many modifications and variations may be made without departing from the scope of the herein disclosed system is justified. Beispielsweise wird es für bestimmte Anwendungen nützlich sein, einige oder alle der Audio-/Videosignale in digitaler Form bereitzustellen. For example, it will be useful for certain applications to provide some or all of the audio / video signals in digital form.
Classifications
International ClassificationG06F13/00, G06F15/16, G06Q10/00, H04M3/56, H04M3/53, H04L12/18, H04N7/14, H04L29/06, H04M7/00, H04M7/12, H04L12/58, H04M3/428, H04M3/42, H04L29/08, H04N7/15
Cooperative ClassificationH04L51/00, H04L65/4038, H04M3/42323, H04Q2213/1319, H04M2203/5018, H04L12/1831, H04L12/1836, H04Q2213/1332, H04M2203/5027, H04M7/12, H04L51/04, H04M3/562, H04Q2213/1326, H04L12/1827, H04N7/152, H04M3/5307, H04L29/06027, H04L12/1818, H04M3/567, H04Q2213/1305, H04M3/564, H04M3/42221, H04Q2213/1324, H04L29/06, H04N7/147, H04L12/1813, H04M2201/38, H04N7/15, H04M3/563, H04Q2213/13175, H04L12/1822, H04M7/006, H04Q2213/13389, H04Q2213/13093, H04L12/185, H04M3/4285, H04Q2213/1322, H04N7/148, H04Q2213/13337, H04L67/36, H04L67/14, G06Q10/10, H04L65/80
European ClassificationH04M3/56D, H04M3/56G, G06Q10/10, H04N7/15, H04L29/08N35, H04L29/08N13, H04L12/58, H04N7/14A3, H04L29/06, H04L29/06C2, H04N7/14A4, H04L12/18D, H04N7/15M, H04M3/56M, H04M3/53M, H04L12/18D3, H04L12/18D1, H04L12/18D2, H04L12/58B, H04L29/06M8, H04L29/06M4C2, H04L12/18D4