CN101416139B - 用于增强的触觉效果的系统和方法 - Google Patents

用于增强的触觉效果的系统和方法 Download PDF

Info

Publication number
CN101416139B
CN101416139B CN200780012335.3A CN200780012335A CN101416139B CN 101416139 B CN101416139 B CN 101416139B CN 200780012335 A CN200780012335 A CN 200780012335A CN 101416139 B CN101416139 B CN 101416139B
Authority
CN
China
Prior art keywords
actuator
haptic
data
signal
output signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN200780012335.3A
Other languages
English (en)
Other versions
CN101416139A (zh
Inventor
罗伯特·拉克鲁瓦
丹尼·格雷特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Immersion Corp
Original Assignee
Immersion Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Immersion Corp filed Critical Immersion Corp
Priority to CN201410255319.9A priority Critical patent/CN104063056B/zh
Publication of CN101416139A publication Critical patent/CN101416139A/zh
Application granted granted Critical
Publication of CN101416139B publication Critical patent/CN101416139B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1037—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals being specially adapted for converting control signals received from the game device into a haptic signal, e.g. using force feedback
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/20—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of the game platform
    • A63F2300/204—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of the game platform the platform being a handheld device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/013—Force feedback applied to a game

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)

Abstract

描述了用于增强的触觉效果的系统和方法。一个被描述的方法包括：接收具有触觉信息和多媒体数据的输入信号，输入信号以第一格式被格式化；从输入信号解码触觉信息；并确定与触觉设备中的致动器相关联的参数。该方法进一步包括：至少部分地基于参数和触觉信息来生成致动器信号，并生成包括多媒体数据和致动器信号的输出信号，输出信号以第二格式被格式化。

Description

用于增强的触觉效果的系统和方法
相关申请的交叉引用
本申请要求2006年4月6日提交的，名称为“A Vibrotactile EffectsSystem”的美国临时申请No.60/790,408的优先权，所述申请的全部公开内容通过参考结合于此。
技术领域
本发明总的涉及触觉(haptic)控制技术。具体而言，本发明涉及用于触觉效果的系统和方法。
背景技术
便携设备正快速地演变为集计算、通信和娱乐功能于一个设备的多功能设备。触觉反馈越来越多地被包括在这些诸如移动电话、个人数字助理等的便携设备之中。但是，传统上来讲，便携设备仅具备有特色的基本的振动功能。例如，移动电话可能仅具有使振动致动器(actuator)单幅度地开和关的能力。
这些移动电话和其他触觉设备可通过多功能变频器(MFT)来驱动标准的音频信号以产生振动。一些这类装置可以依赖于音频信号的已有频率来在MFT中随机驱动振动，而不是使用特定的振动控制信号。如果在音频信号中没有发现这类频率，就不产生振动。
尽管目前在移动电话中存在一些振动能力，但便携设备技术的发展和用户要求正在驱动着对移动电话中先进的振动能力的需求。并且这些设备的生产商为了增强的功能和控制，可能寻求各种方式将这类先进的振动能力应用在他们的便携设备中。
在对振动反馈的要求增长的同时，支持振动反馈的不同触觉设备的数量也在增长。不同触觉设备的种类增长给设备设计者制造了两难处境。一方面，设备设计者可能将大量时间和资源用于将振动触觉反馈定制成不同设备的特定能力。另一方面，设备设计者可选择将相同的通用振动触觉反馈信号提供给很多不同设备，并接受通用信号可能不能利用任意特定触觉设备的增强功能。
发明内容
本发明的实施例提供用于增强的触觉效果的系统和方法。本发明的一个实施例执行包括以下内容的方法：接收以第一格式格式化的输入信号，该输入信号具有多媒体数据；根据所述多媒体数据确定触觉信息；确定与触觉设备中的致动器相关联的参数；并且至少部分地基于该参数和该触觉信息来生成致动器信号。该方法进一步包括生成包括多媒体数据和致动器信号的输出信号，该输出信号以第二格式被格式化。。
本发明的还提出了与上述方法对应的系统。
提出这些说明性实施例并非意欲限定或定义本发明，而是提供实例来帮助理解本发明。在具体实施方式中讨论说明性实施例，并且在那里提供了对本发明的进一步描述。通过检查本说明，可进一步理解本发明的各种实施例所提供的优点。
附图说明
当参照附图来阅读以下详细描述时，会更好地理解本发明的这些和其他特征、方面和优点。
图1是在本发明的一个实施例中，用于提供增强的触觉反馈的设备的图解。
图2是在本发明的一个实施例中，用于提供增强的触觉反馈的设备的第二图解。
图3是示出在本发明的一个实施例中，用于提供增强的触觉反馈的系统的框图。
图4是示出在本发明的一个实施例中，用于提供增强的触觉反馈的方法的流程图。
具体实施方式
本发明的实施例提供用于增强的触觉反馈的系统和方法。在一个说明性实施例中，计算机可读介质存储关于触觉设备的性能的信息。处理器接收具有在预定频率上编码的触觉信息的媒体流。处理器使用带通滤波器从媒体流中提取触觉信息。随后，处理器生成致动器信号，以用于产生与触觉信息相关的触觉效果。致动器信号至少部分地基于存储在计算机可读介质中的信息，并且与特定触觉设备的性能相关。在生成致动器信号之后，处理器生成包括多媒体数据和致动器信号的输出信号。输出信号与输入信号的格式相同。一旦处理器生成了输出信号，触觉设备可使用致动器来提供触觉效果。
给出本实例以向读者介绍将讨论的通用主题事项。本发明不限于本实例。以下描述了用于增强的触觉反馈的示例系统和方法。
用于增强的触觉反馈的说明性设备
在被配置来提供增强的触觉反馈的设备的一个说明性实施例中，可将便携音乐播放器进行配置以通过扬声器播放音乐，并用致动器产生触觉效果。在一个这类实施例中，便携音乐播放器可包括被配置来接收包括音频数据和触觉数据的输入数据的处理器。处理器从输入数据中提取触觉数据。处理器随后分析与致动器相关联的参数，例如致动器的共振频率，并且至少部分地基于触觉数据和所述参数来生成致动器信号。随后，可进一步配置处理器来将音频数据输出到扬声器以产生声音，并将致动器信号发送到致动器以提供触觉效果。在说明性实施例中，可发送致动器信号和音频数据使得触觉效果与声音大致同步。
可有利地采用这类说明性实施例来播放音频文件，在其中触觉效果可以与音频数据一同编码。这类音频文件可将音乐提供给用户来收听，并提供同步的触觉效果来增强听音乐的体验。这类说明性实施例还可包括诸如视频数据，以提供与音频和视频都同步的触觉效果。例如，可使用触觉效果来增强观看电影或播放视频游戏的体验。
给出第二实例以向读者介绍此处讨论的通用主题事项。本发明不限于这些实例。以下部分描述用于增强的触觉反馈的系统和方法的各种实施例。
增强的触觉反馈
现在参照附图，其中相同的标号在各个图中指示相同的单元，图1是在本发明的一个实施例中，用于提供增强的触觉反馈的设备的图解。图1中的设备包括移动电话102，其具有显示器104、数字按键键盘106和扬声器108。尽管图1所示的实施例包括移动电话，其他实施例可包括其它设备。例如，其它实施例可包括个人数字助理(PDA)、寻呼机、便携音乐或视频播放器、游戏控制器或其他操控器(manipulandum)、便携游戏系统、或便携导航设备。
图2是在本发明的一个实施例中，用于提供增强的触觉反馈的设备的第二图解。图2代表图1所示的移动电话102的内部的透视图。移动电话102包括处理器204和致动器206。处理器204与致动器206进行通信。
将处理器204进行配置，以接收以第一格式格式化的输入信号，该输入信号具有多媒体数据和触觉信息。还将处理器204进行配置以产生以第二格式格式化的输出信号。输出信号可包括多媒体数据和致动器信号。输出信号的第二格式可与输入信号的第一格式相同。可将输出信号发送到移动电话102的一个或多个单元，例如扬声器108或致动器206。在一个实施例中，可在基本上相同的时间，将输出信号发送给扬声器108和致动器206。在这类实例中，移动电话102的扬声器108可至少部分地基于多媒体数据来播放声音，并且致动器206可至少部分地基于致动器信号来产生触觉效果。在一个实施例中，触觉效果和音频可以是同步的。例如，在一个实施例中，扬声器108可与由致动器206产生的触觉效果基本上同步地播放声音。
在其他实施例中，触觉效果和音频可以是不同步的。在一个实施例中，可将致动器进行配置以不生成触觉效果。例如，如果触觉信息没有被识别出或者不可用，那么可将致动器信号进行配置以不生成触觉效果。
尽管示出的设备包括一个处理器204，其他设备可包括两个或更多的处理器。处理器204，以及其他被并入本发明的一个或多个实施例中的处理器，可包括计算机可读介质，例如耦合到处理器的随机存取存储器(RAM)。处理器执行存储于存储器中的计算机可执行程序指令，例如执行一个或多个计算机程序来生成振动触觉或其他触觉效果。这类处理器可包括微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、和状态机。这类处理器可进一步包括：诸如PLC的可编程电子器件、可编程中断控制器(PIC)、可编程逻辑器件(PLD)、可编程只读存储器(PROM)、电可编程只读存储器(EPROM或EEPROM)或其他类似器件。
这类处理器可包括介质，或者可与介质进行通信，例如计算机可读介质，其可存储指令，当存储器执行这些指令时可使得处理器来执行此处描述的步骤，如同处理器执行或辅助一样。计算机可读介质的实施例可包括但不限于，能够提供给处理器(例如在web服务器中的处理器)计算机可读指令的电、光、磁或其他的存储或传输设备。介质的其他实例包括但不限于：软盘、CD-ROM、磁盘、存储芯片、ROM、RAM、ASIC、已配置的处理器、所有的光介质、所有的磁带或其他磁介质、或计算机处理器可从其读取的任何其他介质。并且，各种其他形式的计算机可读介质可发送或携带指令到计算机，例如路由器、私网或公网、或其他传输设备或信道。所描述的处理器和处理可以在一个或多个结构中，并且可以分散在一个或多个结构中。处理器可包括用于执行此处描述的一个或多个方法(或方法的部分)的代码。指令可包括来自任何适当的计算机程序语言的代码，包括诸如C、C+、C++、Visual Basic、Java、Python和JavaScript。
致动器206可以是多种不同类型的致动器的任何一种，包括偏心旋转质量(ERM)致动器、MFT、线性质量致动器、电磁致动器、电机、音圈、气动或液压致动器、电活性聚合物、或任何其他适当的致动器。在一个实施例中，致动器206可包括多个致动器。例如，在一个实施例中，可采用两个致动器。可将第一致动器配置来提供具有高频振动(例如大于200Hz)的振动触觉或其他触觉效果，而可将第二致动器配置来提供具有低频振动(例如小于200Hz)的振动触觉或其他触觉效果。在另一实施例中，可采用第一致动器和第二致动器来提供触觉效果以模拟方向效果。例如，第一和第二致动器可以位于设备的相对侧，并且可以被激励以提供显现为从设备的一边移动到另一边的触觉效果，或提供与屏幕上的图像同步的振动源的方向的指示。
用于增强的触觉反馈的系统的实例
图3是示出在本发明的一个实施例中，用于提供增强的触觉反馈的系统的框图。在示出的实施例中，系统包括媒体播放器302、网络320和设计工具322。媒体播放器302包括媒体流解码器304、触觉媒体引擎306、致动器310、多功能变频器312、显示器314、和扬声器316。
媒体播放器
可配置媒体播放器302来通过扬声器316播放音频，和/或通过显示器314播放视频。在一个实施例中，可配置媒体播放器302来使用MFT312向用户提供触觉效果。在另一实施例中，可配置媒体播放器302来使用致动器310向用户提供触觉效果。媒体播放器302可具有一个或多个多功能变频器312和一个或多个致动器310的组合。在一个实施例中，媒体播放器302可包括全保真振动触觉播放器，其能够产生广泛的具有变化的强度、频率、持续时间、节奏、声调和其他动态的振动触觉和其他触觉效果。
可配置媒体播放器302来接收具有触觉信息和多媒体数据的输入信号。在一些实施例中，多媒体数据可以是多媒体文件，其包括一个或多个媒体流，例如音频流和视频流。在一些实施例中，通过网络320接收输入信号，网络320包括但不限于因特网或蜂窝电话网。媒体播放器302可无线接收输入信号，例如通过无线网络(例如802.11)、蜂窝网、蓝牙、红外、或其他用于数据的无线传输的手段。在一些实施例中，媒体播放器302可通过直接电连接来接收输入信号，例如以太网、通用串行总线(USB)、火线、平行或串行连接。
在其他实施例中，从本地存储器(未示出)接收输入信号。还可配置媒体播放器302来从应用接收输入信号。例如，媒体播放器302可从设计工具322接收输入信号，以用于创建包括触觉信息的内容。
媒体播放器302包括媒体流解码器304。在一个实施例中，媒体流解码器304包括由处理器执行的程序代码(未示出)。例如，媒体播放器302可包括处理器和存储器。存储器可包括程序代码，该程序代码包括媒体流解码器304。媒体流解码器304可包括用于接收具有触觉信息和多媒体数据的输入信号的程序代码，其中输入信号可以是以第一格式被格式化。
第一格式可以是多媒体格式。例如，在一个实施例中，输入信号包括使用运动图像专家组-1音频3层(MP3)格式来格式化的音频数据。在一个实施例中，输入信号可包括使用运动图像专家组(MPEG)格式来格式化的视频和/或数据。在其他实施例中，可使用用于音频和/或视频数据的其他多媒体格式，其包括：波形音频格式(WAV)、音乐设备数字化接口(MIDI)、Ogg、DivXTM、QuickTimeTM、MP3、AppleTM的MPEG-4 Part 3(M4P)、先进音频编码(AAC)格式、或任何其他用于编码音频和/或视频数据的格式。输入信号可与诸如音频文件的单个媒体相关联。在其他实施例中，媒体流可以是多媒体文件，例如具有音频和视频数据的电影文件。
输入信号还包括触觉信息。触觉信息可作为独立的媒体流被存储在多媒体数据中。例如，在一些实施例中，可将触觉信息嵌入在媒体中，例如作为在现有多媒体文件内的包。可将嵌入的触觉信息用这样一种方式放置在输入数据中以使得触觉内容对不是被设计来识别触觉数据的媒体播放器不可见。在其他实施例中，可将输入信号的格式扩展以包括触觉数据，使得被设计来识别触觉信息的媒体播放器可选择忽视或播放该触觉信息。
在一些实施例中，将触觉信息编码在特定的媒体流之中。例如，可将触觉信息从其最初的格式转换为与多媒体数据一样的格式。在一个实施例中，可将触觉数据在媒体流数据的一个或多个频率上编码为调幅或调频数据。例如，在一个实施例中，可将触觉数据在具有140Hz频率的载波上编码为调幅数据，随后混合进现有的音频流。在另一实施例中，可将触觉数据编码为调频数据。可将触觉数据在不被触觉设备的扬声器识别的频率上进行编码。例如，如果触觉设备的扬声器不识别135Hz以下的频率，那么可在130Hz上来编码触觉信息。
可将触觉数据编码为描述触觉效果的信息。例如，在一个实施例中，触觉数据可包括规定频率、幅度、持续时间、周期、脉冲宽度、包络、和/或其他与要输出的触觉效果相关联的信息的数据。在一个实施例中，触觉数据可包括要被输出为触觉效果的波形。例如，可将定义数字化致动器信号本身的数据点，而不是描述致动器信号的编码信息编码为触觉数据。在一个实施例中，触觉数据可包括描述致动器信号的信息和定义至少部分数字化致动器信号的数据点。
在一个实施例中，可将同步数据嵌入在输入信号中，以将触觉效果与音频和/或视频相同步。2006年10月18日提交的共同待审美国专利申请，序号为No.11/583,483，描述了用于在媒体传输流中同步触觉效果数据的方法，将其整体以引用的方式结合于此。例如，在一个实施例中，可将在多媒体数据流中的一系列帧中的触觉信息与相应的时间戳相关联。当生成输出信号时，可使用时间戳来将致动器信号与多媒体数据进行同步，以使得接收输出信号的致动器在扬声器播放鼓点的同时提供触觉效果。
在一个实例中，媒体播放器302可包括触觉敏感屏幕，例如触摸屏。用户可通过接触触摸屏来选择目标，例如选择框、窗口、或特定文件。例如，用户可按下在触摸屏上的虚拟按钮。在一些实施例中，随后，媒体播放器302可同步地播放声音效果，并产生与选择相关联的触觉效果。在其他实施例中，随后，媒体播放器302可在不播放声音效果或其他媒体的情况下，产生触觉效果。
在一个实施例中，输入数据可包括音频数据和触觉数据，其中可配置触觉数据以提供与音频数据之内的鼓点相同步的触觉效果。在另一实施例中，可从音频数据中推测出触觉数据。例如，可配置媒体流解码器304来分析音频和/或视频数据，从而确定与触觉事件相关联的频率模型。例如，可配置媒体流解码器来分析可能与爆炸相关联的低频、高幅度信号的音频数据，并生成相关联的触觉效果。
媒体流解码器304可进一步包括程序代码，以从输入信号中解码触觉信息。例如，在图3所示的实施例中，媒体流解码器304包括触觉媒体引擎306。触觉媒体引擎306可访问描述触觉设备的性能的信息，并具有能力来重新格式化来自输入信号触觉信息，以说明触觉设备的特定参数。
可配置触觉媒体引擎306来从输入信号中解码触觉信息。可配置触觉媒体引擎306来从输入数据中提取描述致动器信号的信息或定义数字化致动器信号的数据点。可配置触觉媒体引擎306以在特定的预定频率上从输入信号中提取触觉信息。在一个实施例中，可配置触觉媒体引擎306来从在输入数据内的具有特定频率的载波中解码调幅数据。在另一实施例中，可配置触觉媒体引擎306来从输入数据中提取调频数据。
在一个实施例中，在诸如140Hz的预定频率上将触觉数据编码在输入信号中。触觉媒体引擎306可包括带通滤波器。带通滤波器可以在输入信号的预定频率上解码触觉数据。
媒体流解码器304可进一步包括程序代码，用于确定与触觉设备中的致动器相关联的参数。例如，在一个实施例中，触觉媒体引擎306可确定致动器310或多功能变频器312的共振频率。参数数据可包括，诸如(例如但不限于)致动器的共振频率、致动器的最大峰峰幅度或大小、或最小致动器响应时间。参数数据还可包括与媒体播放器的其他组件相关联的数据，例如扬声器316对其有较差的频率响应的音频频率。
在图3所示的实施例中，触觉媒体引擎306进一步包括程序代码，用于至少部分地基于参数和触觉信息来生成致动器信号。例如，在一个实施例中，触觉媒体引擎306可使用与致动器相关联的参数，例如致动器的共振频率。在这类实施例中，触觉媒体引擎306可生成具有与致动器的共振频率大致相同的频率，并具有与触觉信息相关联的特性的致动器信号。例如，可用至少部分地基于触觉信息的幅度和持续时间来配置致动器信号。在一个实施例中，触觉信息可包括定义数字化致动器信号的数据点。在这类实施例中，触觉媒体引擎306可生成具有与致动器的共振频率大致相同的频率，并具有由来自触觉信息的数据点所定义的波形的致动器信号。在一个实施例中，触觉媒体引擎306可生成具有与致动器的最大峰峰幅度相等的幅度的致动器信号。在一个实施例中，触觉媒体引擎306可基于致动器的最小响应时间来生成致动器信号。
媒体流解码器304进一步包括用于生成包括多媒体数据和致动器信号的输出信号的程序代码，所述输出信号以第二格式被编码。第二格式可以是多媒体格式，例如WAV、MIDI、Ogg、DivXTM、QuickTimeTM、MP3、M4P、AAC、或任何其他用于编码音频和/或视频数据的格式。替代性地，可将输出信号格式化为致动器信号。第二格式可以与第一格式相同。
在一个实施例中，可将输出信号的致动器信号部分直接发送给致动器。例如，可将输出信号格式化为直接电压致动器信号，将其直接对致动器播放。
在其他实施例中，媒体播放器302可生成输出信号，以用于用媒体混合器来使用。媒体混合器可接收不同类型的媒体，并将媒体发送到合适的设备。媒体混合器可将多个输入媒体统一在一个输出中。在一个实施例中，媒体播放器302可在致动器驱动电路或媒体驱动电路上生成输出信号。
结构
在图3所示的本发明的实施例中，配置媒体播放器302来接收数据，并且使用该数据来播放音频/视频并产生触觉效果。在图3所示的实施例中，媒体播放器302包括媒体流解码器304应用。图3所示的媒体流解码器304是被配置以驻留在媒体播放器302内的存储器中，并且在媒体播放器302内的处理器上执行的软件应用。媒体流解码器304可包括用于从数据源接收数据、读取存储在媒体播放器302中的存储器内的数据的代码，以及用于将数据输出到输出设备的代码，所述输出设备例如：致动器310、多功能变频器312、扬声器316、和/或显示器314。例如，媒体播放器302可包括非易失性存储器，例如闪存，其可以存储与一个或多个输出设备(例如致动器310或多功能变频器312)相关联的参数。
在图3所示的实施例中，媒体流解码器还包括触觉媒体引擎306。触觉媒体引擎306可以是专用应用，用于：从输入数据提取触觉信息、至少部分地基于触觉信息和与致动器310相关联的参数来确定致动器信号、至少部分地基于致动器信号和多媒体数据来确定输出信号、并输出致动器信号。还可配置触觉媒体引擎306来读取存储在媒体播放器302内的存储器(未示出)中的数据。例如，可配置触觉媒体引擎306来读取包括与致动器310或多功能变频器312相关联的参数的数据。触觉媒体引擎306可与媒体流解码器304协调运行，以提供编码在由媒体流解码器304所接收的多媒体数据流内的触觉效果。
在一个实施例中，媒体流解码器304可包括用于与数据源进行相互作用的代码，所述数据源诸如(例如但不限于)硬盘驱动器、CD播放器、DVD播放器、闪存驱动器、存储器、或网络连接。在一个实施例中，配置媒体流解码器来从存储器接收数据，例如铃声。铃声可包括被格式化以在移动电话或其他设备上播放的声音文件，其被播放以指示来电呼叫。媒体流解码器可读取与铃声相关联的铃声数据。媒体流解码器可提取并处理在铃声数据内的音频数据。例如，媒体流解码器304可以至少部分地基于铃声数据来构建要输出给扬声器316的音频信号。媒体流解码器还可将铃声数据提供给触觉媒体引擎306。
触觉媒体引擎306可从铃声数据中提取触觉信息。触觉媒体引擎306还可从媒体播放器302本地的存储器读取与致动器310相关联的参数数据。触觉媒体引擎306可以至少部分地基于触觉信息来构建致动器信号。接着，触觉媒体引擎306可以至少部分地基于与致动器相关联的参数数据来修改致动器信号。例如，铃声数据可包括数字化波形以生成触觉效果，其中所述波形具有200Hz的频率。触觉媒体引擎306可计算新的致动器信号，其具有与致动器310的共振频率大致相等的频率，例如140Hz等。触觉媒体引擎306还可规范数字化波形的幅度，以符合致动器310和媒体播放器302的性能特性。例如，致动器310可能受限于具有3伏的最大峰峰幅度的输入致动器信号。如果数字化波形包括5伏的最大峰峰幅度，触觉媒体引擎306可将数字化波形规范以具有3伏峰峰最大幅度。可使用与致动器310相关联的其他特性来修改触觉信息。例如，致动器310可能具有大的偏心质量导致致动器花费更长时间来加速和减速。这类致动器可能不能播放非常快速地排列的振动。在这类实施例中，触觉媒体引擎306可将从触觉信息中构建的致动器信号进行再整型，以符合致动器的性能特性。例如，触觉媒体引擎306可将三个具有比致动器能够生成的最小脉冲更小的脉冲宽度的短脉冲进行组合，以创建两个脉冲。
在示出的实施例中，在触觉媒体引擎306已经构建致动器信号之后，触觉媒体引擎306可将致动器信号发送到媒体流解码器304，其随后可将音频信号和致动器信号都输出，以提供与音频大致同步的触觉效果。在一个实施例中，触觉媒体引擎306可从媒体流解码器304接收命令，以输出致动器信号。在一个实施例中，触觉媒体引擎306可在没有来自媒体流解码器304的命令的情况下，将致动器信号直接输出给致动器310。
在一个实施例中，可配置触觉媒体引擎306来生成包括多媒体数据和致动器信号的输出信号。在一些实施例中，输出信号可以与由媒体流解码器304所接收到的输入信号的格式相同。例如，输出信号可以是具有媒体和触觉信息的MP4文件。
在一个实施例中，可对特定的触觉设备来优化输出信号。如果为在特定设备上重放而优化输出信号，那么接收输出信号的设备能够使用该设备的多种组件，例如显示器、扬声器、和一个或多个致动器，来播放输出信号。例如，在一个实施例中，触觉媒体引擎306可在不被触觉设备的扬声器处理的特定频率上编码触觉驱动信号。在这类实施例中，可在触觉设备上播放输出信号，以使得触觉设备的扬声器播放输出信号，并且由于扬声器对在其上致动器信号被编码的频率没有响应，所以最小化了音频失真，同时致动器可以解释输出信号的触觉部分。
触觉媒体引擎306可以至少部分地基于用户的偏好来生成输出信号。例如，用户的偏好可指示音频的一个音量水平、视频的亮度水平、和触觉效果的振动水平。在一个这类实施例中，触觉媒体引擎306能够最大化输出信号的触觉部分的强度，同时使输出信号的音频部分减半。
用于增强的触觉反馈的方法的实例
图4是示出在本发明的一个实施例中，用于提供增强的触觉反馈的方法的流程图。在步骤402中，由媒体播放器302接收输入信号。媒体播放器302可接收作为数字信号的输入信号。在另一实施例中，媒体播放器302可接收作为模拟信号的输入信号。输入信号可包括触觉信息和多媒体数据。在一个实施例中，可将信号以诸如MP3格式的多媒体格式来格式化。
在步骤404，媒体流解码器304从输入信号解码触觉信息。可在特定频率将触觉信息编码进输入信号。在一个实施例中，在输入信号中触觉信息可与多媒体数据交织在一起。在这类实施例中，输入数据可包括多媒体数据和触觉信息，其中多媒体数据和触觉信息在输入数据中交替放置。例如，多媒体数据可包括数据包，其中每个包的数据具有第一固定数目字节，同时触觉信息可包括数据包，其中每个包的数据具有第二固定数目字节。输入数据可包括一系列数据包，其中每个多媒体数据包之后都跟着一个触觉信息包。在其他实施例中，多媒体数据可以用不同顺序和数量的多媒体数据和触觉信息来与触觉信息交织在一起。
在步骤406，触觉媒体引擎306确定与触觉设备相关联的参数。触觉媒体引擎306可确定与触觉设备相关联的多个参数。在一个实施例中，触觉媒体引擎306可本地存储这些参数。在这类实施例中，触觉媒体引擎306可访问这些本地存储的参数，以生成致动器信号。例如，触觉媒体引擎306可访问存储在本地存储器中的配置文件，以确定与触觉设备相关联的参数。
在一些实施例中，触觉媒体引擎306可通过计算参数来确定与触觉设备相关联的参数。例如，如果触觉媒体引擎306不访问配置文件，那么触觉媒体引擎306可对用在媒体播放器302中的一类致动器302计算默认的参数。
在步骤408，触觉媒体引擎306至少部分地基于该参数和触觉信息来生成致动器信号。致动器信号对于媒体播放器302上的致动器可以是特定的。在一个实施例中，致动器信号可以是原始的振动驱动信号流。在一个实施例中，触觉媒体引擎306可生成具有与致动器的共振频率大致相同的频率，并具有与触觉信息相关联的特性的致动器信号。
在步骤410，触觉媒体引擎306生成包括致动器控制信号的输出信号。在一个实施例中，用与输入信号相同的格式来格式化致动器控制信号。在另一实施例中，用不同于输入信号的格式来格式化致动器控制信号。
在一个实施例中，可将致动器控制信号直接发送给致动器驱动硬件。在一个实施例中，可将致动器控制信号发送给媒体流混合器。在这类实施例中，可将来自音频流的音频数据与致动器控制信号进行混合，然后发送到多功能变频器，其产生声音和振动。
在步骤412中，媒体播放器302至少部分地基于输出信号来生成触觉效果。在一个实施例中，媒体播放器302可通过向致动器310发送输出信号来生成触觉效果。在另一实施例中，媒体播放器302可通过向多功能变频器312发送输出信号来生成触觉效果。
可在与设备播放多媒体数据的输出大致相同的时间生成412触觉效果。在一个实施例中，可以在显示器314再现视频数据的同时来生成触觉效果。作为另一实例，在一个实施例中，在媒体播放器302通过扬声器316播放鼓点的同时媒体播放器302振动。替代性地，在其他实施例中，可在播放多媒体数据稍微之前或稍微之后来生成触觉效果。
产生412的触觉效果可以是运动知觉(kinesthetic)反馈效果。在其他实施例中，产生412的触觉效果可以是振动触觉反馈效果，例如振动。在一些实施例中，产生412的触觉效果是效果的组合。
本发明的实施例提供超过传统系统的多种优越性，并提供用于提供触觉反馈的方法。例如，一些实施例以全保真的方式输出致动器信号。另外，一些实施例提供对强度、频率、持续时间、节奏、声调和动态的广泛的控制，包括使振动输出倾斜向上和向下并突然使其停止的能力。通过这些增强的触觉效果，本发明的设备更易于使用，并且能够生成事件和情感的逼真的、娱乐性的触觉刺激。
综述
前面对本发明的实施例的描述仅仅是为了说明和描述的目的进行了介绍，而并不是意图穷尽或限定本发明于所披露的特定形式。在不偏离本发明的精神和范围的前提下，各种修改和调整对本领域的普通技术人员是显而易见的。

Claims (15)

1.一种用于增强的触觉效果的方法，包括
接收具有多媒体数据的输入信号，所述输入信号以第一格式被格式化；
分析所述多媒体数据以确定与触觉事件相关联的频率模型；
根据所述频率模型推测出触觉信息；
确定与触觉设备中的致动器相关联的一个或多个参数，其中所述的与触觉设备中的致动器相关联的一个或多个参数包括可达到的强度参数；
至少部分地基于所述参数和所述触觉信息来生成致动器信号；以及
生成包括所述多媒体数据和所述致动器信号的输出信号，所述输出信号以第二格式被格式化。
2.权利要求1所述的方法，进一步包括至少部分地基于所述输出信号来产生触觉效果。
3.权利要求1所述的方法，其中所述输入信号进一步包括同步数据。
4.权利要求1所述的方法，其中所述多媒体数据包括音频数据或视频数据中的至少一个。
5.权利要求1所述的方法，其中所述第一格式是多媒体格式。
6.权利要求5所述的方法，其中所述多媒体格式是下述内容之一：WAV格式、MIDI格式、Ogg格式、DIVX格式、QuickTime格式、MP3格式、MPEG-2格式、MPEG-4格式、M4P格式、或AAC格式。
7.权利要求1所述的方法，其中与所述触觉设备中的所述致动器相关联的一个或多个参数还包括动态响应特性。
8.权利要求1所述的方法，其中与所述触觉设备中的所述致动器相关联的一个或多个参数还包括频率响应特性。
9.权利要求1所述的方法，其中所述输出信号包括与所述输入信号相同的格式。
10.权利要求1所述的方法，其中所述输出信号的所述致动器信号部分被直接发送给所述致动器。
11.一种用于增强的触觉效果的系统，包括
用于接收具有多媒体数据的输入信号的装置，所述输入信号以第一格式被格式化；
用于分析所述多媒体数据以确定与触觉事件相关联的频率模型的装置；
用于根据所述频率模型推测出触觉信息的装置；
用于确定与触觉设备中的致动器相关联的一个或多个参数的装置，其中所述的与触觉设备中的致动器相关联的一个或多个参数包括可达到的强度参数；
用于至少部分地基于所述一个或多个参数和所述触觉信息来生成致动器信号的装置；和
用于生成包括所述多媒体数据和所述致动器信号的输出信号的装置，所述输出信号以第二格式被格式化。
12.权利要求11所述的系统，进一步包括致动器，其被配置为至少部分地基于所述输出信号来产生触觉效果。
13.权利要求11所述的系统，其中所述系统进一步包括与所述处理器通信的本地存储器。
14.权利要求13所述的系统，其中所述本地存储器被配置为存储特定于触觉设备的参数。
15.权利要求13所述的系统，其中所述本地存储器被配置为存储多媒体文件。
CN200780012335.3A 2006-04-06 2007-04-06 用于增强的触觉效果的系统和方法 Expired - Fee Related CN101416139B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410255319.9A CN104063056B (zh) 2006-04-06 2007-04-06 用于增强的触觉效果的系统和方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US79040806P 2006-04-06 2006-04-06
US60/790,408 2006-04-06
PCT/US2007/008659 WO2007117649A2 (en) 2006-04-06 2007-04-06 Systems and methods for enhanced haptic effects

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201410255319.9A Division CN104063056B (zh) 2006-04-06 2007-04-06 用于增强的触觉效果的系统和方法

Publications (2)

Publication Number Publication Date
CN101416139A CN101416139A (zh) 2009-04-22
CN101416139B true CN101416139B (zh) 2014-07-09

Family

ID=38474143

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201410255319.9A Expired - Fee Related CN104063056B (zh) 2006-04-06 2007-04-06 用于增强的触觉效果的系统和方法
CN200780012335.3A Expired - Fee Related CN101416139B (zh) 2006-04-06 2007-04-06 用于增强的触觉效果的系统和方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201410255319.9A Expired - Fee Related CN104063056B (zh) 2006-04-06 2007-04-06 用于增强的触觉效果的系统和方法

Country Status (6)

Country Link
US (2) US10152124B2 (zh)
EP (2) EP2002323A2 (zh)
JP (2) JP5025721B2 (zh)
KR (1) KR101384434B1 (zh)
CN (2) CN104063056B (zh)
WO (1) WO2007117649A2 (zh)

Families Citing this family (103)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007030603A2 (en) 2005-09-08 2007-03-15 Wms Gaming Inc. Gaming machine having display with sensory feedback
WO2007117418A2 (en) * 2006-03-31 2007-10-18 Wms Gaming Inc. Portable wagering game with vibrational cues and feedback mechanism
KR101131856B1 (ko) * 2006-11-03 2012-03-30 엘지전자 주식회사 방송 신호 송신 장치 및 이를 이용한 방송 신호 송수신방법
KR101134926B1 (ko) * 2006-11-03 2012-04-17 엘지전자 주식회사 방송용 단말기 및 방송용 단말기의 진동 제어 방법
US8199033B2 (en) * 2007-07-06 2012-06-12 Pacinian Corporation Haptic keyboard systems and methods
US8248277B2 (en) * 2007-07-06 2012-08-21 Pacinian Corporation Haptic keyboard systems and methods
US7741979B2 (en) * 2007-07-06 2010-06-22 Pacinian Corporation Haptic keyboard systems and methods
US20090088220A1 (en) * 2007-10-01 2009-04-02 Sony Ericsson Mobile Communications Ab Cellular terminals and other electronic devices and methods using electroactive polymer transducer indicators
US8253686B2 (en) * 2007-11-26 2012-08-28 Electronics And Telecommunications Research Institute Pointing apparatus capable of providing haptic feedback, and haptic interaction system and method using the same
US8310444B2 (en) 2008-01-29 2012-11-13 Pacinian Corporation Projected field haptic actuation
WO2009102992A1 (en) * 2008-02-15 2009-08-20 Pacinian Corporation Keyboard adaptive haptic response
US8203531B2 (en) * 2008-03-14 2012-06-19 Pacinian Corporation Vector-specific haptic feedback
US9056549B2 (en) 2008-03-28 2015-06-16 Denso International America, Inc. Haptic tracking remote control for driver information center system
CN102014738B (zh) 2008-05-08 2013-08-14 皇家飞利浦电子股份有限公司 用于确定生理状况的方法和系统
US8952888B2 (en) * 2008-05-09 2015-02-10 Koninklijke Philips N.V. Method and system for conveying an emotion
US8347210B2 (en) * 2008-09-26 2013-01-01 Apple Inc. Synchronizing video with audio beats
US9400555B2 (en) * 2008-10-10 2016-07-26 Internet Services, Llc System and method for synchronization of haptic data and media data
KR100926046B1 (ko) * 2008-10-16 2009-11-11 솔로몬유(주) 엠피쓰리 재생기능을 가진 인형
EP2353066A4 (en) * 2008-11-04 2014-10-15 Bayer Ip Gmbh ELECTRO-ACTIVE POLYMER TRANSDUCERS FOR TOUCH FEEDBACK DEVICES
US8515239B2 (en) * 2008-12-03 2013-08-20 D-Box Technologies Inc. Method and device for encoding vibro-kinetic data onto an LPCM audio stream over an HDMI link
US20100152620A1 (en) * 2008-12-12 2010-06-17 Immersion Corporation Method and Apparatus for Providing A Haptic Monitoring System Using Multiple Sensors
KR101030389B1 (ko) * 2008-12-17 2011-04-20 삼성전자주식회사 휴대용 단말기의 햅틱 기능 제어 방법
US8760413B2 (en) * 2009-01-08 2014-06-24 Synaptics Incorporated Tactile surface
US10007340B2 (en) 2009-03-12 2018-06-26 Immersion Corporation Systems and methods for interfaces featuring surface-based haptic effects
US9746923B2 (en) 2009-03-12 2017-08-29 Immersion Corporation Systems and methods for providing features in a friction display wherein a haptic effect is configured to vary the coefficient of friction
KR101324687B1 (ko) * 2009-08-10 2013-11-04 한국과학기술원 이미지에 햅틱 정보를 인코딩하는 방법, 이미지로부터 햅틱 정보를 디코딩하는 방법 및 이를 위한 햅틱 정보 처리 장치
US8624839B2 (en) 2009-10-15 2014-01-07 Synaptics Incorporated Support-surface apparatus to impart tactile feedback
US10068728B2 (en) * 2009-10-15 2018-09-04 Synaptics Incorporated Touchpad with capacitive force sensing
US8902050B2 (en) * 2009-10-29 2014-12-02 Immersion Corporation Systems and methods for haptic augmentation of voice-to-text conversion
EP2502215B1 (en) * 2009-11-17 2020-06-03 Immersion Corporation Systems and methods for increasing haptic bandwidth in an electronic device
WO2011071275A2 (ko) * 2009-12-11 2011-06-16 광주과학기술원 컨트롤 정보를 이용한 촉각 정보 표현 방법 및 촉각 정보 전송 시스템
KR101640043B1 (ko) * 2010-04-14 2016-07-15 삼성전자주식회사 가상 세계 처리 장치 및 방법
US9715275B2 (en) 2010-04-26 2017-07-25 Nokia Technologies Oy Apparatus, method, computer program and user interface
US9791928B2 (en) 2010-04-26 2017-10-17 Nokia Technologies Oy Apparatus, method, computer program and user interface
US9733705B2 (en) 2010-04-26 2017-08-15 Nokia Technologies Oy Apparatus, method, computer program and user interface
KR100986681B1 (ko) * 2010-05-06 2010-10-08 (주)이미지스테크놀로지 촉각 발생을 위한 다중 액튜에이터 구동 제어장치
JP2012010212A (ja) * 2010-06-28 2012-01-12 Casio Comput Co Ltd 画像表示装置及びプログラム
WO2012001587A1 (en) * 2010-06-28 2012-01-05 Koninklijke Philips Electronics N.V. Enhancing content viewing experience
US8309870B2 (en) 2011-01-04 2012-11-13 Cody George Peterson Leveled touchsurface with planar translational responsiveness to vertical travel
US8912458B2 (en) 2011-01-04 2014-12-16 Synaptics Incorporated Touchsurface with level and planar translational travel responsiveness
US8847890B2 (en) 2011-01-04 2014-09-30 Synaptics Incorporated Leveled touchsurface with planar translational responsiveness to vertical travel
US8717152B2 (en) 2011-02-11 2014-05-06 Immersion Corporation Sound to haptic effect conversion system using waveform
US9448626B2 (en) 2011-02-11 2016-09-20 Immersion Corporation Sound to haptic effect conversion system using amplitude value
CN103477374B (zh) * 2011-03-04 2016-08-17 索尼爱立信移动通讯有限公司 振动控制
US9448713B2 (en) * 2011-04-22 2016-09-20 Immersion Corporation Electro-vibrotactile display
US9058714B2 (en) 2011-05-23 2015-06-16 Wms Gaming Inc. Wagering game systems, wagering gaming machines, and wagering gaming chairs having haptic and thermal feedback
US9449456B2 (en) 2011-06-13 2016-09-20 Bally Gaming, Inc. Automated gaming chairs and wagering game systems and machines with an automated gaming chair
US10013857B2 (en) * 2011-12-21 2018-07-03 Qualcomm Incorporated Using haptic technologies to provide enhanced media experiences
KR102024006B1 (ko) * 2012-02-10 2019-09-24 삼성전자주식회사 진동 장치간 진동 전달을 제어하는 장치 및 방법
US9715276B2 (en) * 2012-04-04 2017-07-25 Immersion Corporation Sound to haptic effect conversion system using multiple actuators
EP2839360A4 (en) * 2012-04-19 2016-01-20 Nokia Technologies Oy DISPLAY DEVICE
US9218927B2 (en) 2012-08-06 2015-12-22 Synaptics Incorporated Touchsurface assembly with level and planar translational responsiveness via a buckling elastic component
US9040851B2 (en) 2012-08-06 2015-05-26 Synaptics Incorporated Keycap assembly with an interactive spring mechanism
US9324515B2 (en) 2012-08-06 2016-04-26 Synaptics Incorporated Touchsurface assembly utilizing magnetically enabled hinge
US9177733B2 (en) 2012-08-06 2015-11-03 Synaptics Incorporated Touchsurface assemblies with linkages
US9092059B2 (en) * 2012-10-26 2015-07-28 Immersion Corporation Stream-independent sound to haptic effect conversion system
CN103034331B (zh) * 2012-12-12 2016-06-29 中兴通讯股份有限公司 一种触觉反馈装置及终端
US9202350B2 (en) 2012-12-19 2015-12-01 Nokia Technologies Oy User interfaces and associated methods
US9128523B2 (en) 2012-12-20 2015-09-08 Amazon Technologies, Inc. Dynamically generating haptic effects from audio data
US9261960B2 (en) 2013-01-24 2016-02-16 Immersion Corporation Haptic sensation recording and playback
US8866601B2 (en) * 2013-02-05 2014-10-21 Immersion Corporation Overdrive voltage for an actuator to generate haptic effects
US9384919B2 (en) 2013-03-14 2016-07-05 Synaptics Incorporated Touchsurface assembly having key guides formed in a sheet metal component
US9064385B2 (en) * 2013-03-15 2015-06-23 Immersion Corporation Method and apparatus to generate haptic feedback from video content analysis
US9992491B2 (en) * 2013-03-15 2018-06-05 Immersion Corporation Method and apparatus for encoding and decoding haptic information in multi-media files
US9997032B2 (en) 2013-04-09 2018-06-12 Immersion Corporation Offline haptic conversion system
EP2987050A1 (en) * 2013-04-14 2016-02-24 KOC Universitesi A stylus providing haptic feedback
US9213372B2 (en) 2013-04-19 2015-12-15 Synaptics Incorporated Retractable keyboard keys
US9519346B2 (en) * 2013-05-17 2016-12-13 Immersion Corporation Low-frequency effects haptic conversion system
US9274603B2 (en) * 2013-05-24 2016-03-01 Immersion Corporation Method and apparatus to provide haptic feedback based on media content and one or more external parameters
US9437087B2 (en) * 2013-05-24 2016-09-06 Immersion Corporation Method and system for haptic data encoding and streaming using a multiplexed data stream
JP6667987B2 (ja) * 2013-09-06 2020-03-18 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 触覚フィードバックを提供するための制御トラックを変換する方法及び装置
US9443401B2 (en) * 2013-09-06 2016-09-13 Immersion Corporation Automatic remote sensing and haptic conversion system
US9317120B2 (en) * 2013-09-06 2016-04-19 Immersion Corporation Multiplexing and demultiplexing haptic signals
US9245429B2 (en) * 2013-09-06 2016-01-26 Immersion Corporation Haptic warping system
US9213408B2 (en) 2013-10-08 2015-12-15 Immersion Corporation Generating haptic effects while minimizing cascading
US10802038B2 (en) 2013-10-14 2020-10-13 Nike, Inc. Calculating pace and energy expenditure from athletic movement attributes
CN104683781B (zh) * 2013-11-26 2016-08-17 深圳市快播科技有限公司 视频播放处理方法及装置
KR20150110356A (ko) 2014-03-21 2015-10-02 임머숀 코퍼레이션 센서의 데이터를 햅틱 효과들로 변환하는 시스템들 및 방법들
US20150323994A1 (en) * 2014-05-07 2015-11-12 Immersion Corporation Dynamic haptic effect modification
US9330547B2 (en) 2014-05-20 2016-05-03 Immersion Corporation Haptic effect authoring tool based on a haptification model
EP3167350A4 (en) 2014-07-07 2018-01-24 Immersion Corporation Second screen haptics
KR101641418B1 (ko) * 2014-07-25 2016-07-20 포항공과대학교 산학협력단 청각 주목도에 기반한 햅틱 신호 생성 방법 및 이를 위한 장치
US9812165B2 (en) 2014-12-19 2017-11-07 Immersion Corporation Systems and methods for recording haptic data for use with multi-media data
US9891714B2 (en) * 2014-12-24 2018-02-13 Immersion Corporation Audio enhanced simulation of high bandwidth haptic effects
JP6445921B2 (ja) 2015-04-21 2018-12-26 任天堂株式会社 振動信号生成プログラム、振動信号生成システム、振動信号生成装置、振動信号生成方法、およびデータ出力プログラム
US20160366450A1 (en) * 2015-06-12 2016-12-15 Immersion Corporation Broadcast haptics architectures
CN105245704A (zh) * 2015-09-25 2016-01-13 努比亚技术有限公司 一种移动终端来电提醒方法及装置
US9847000B2 (en) * 2015-10-29 2017-12-19 Immersion Corporation Ambient triggered notifications for rendering haptic effects
WO2017087460A1 (en) * 2015-11-16 2017-05-26 D-Box Technologies Inc. Method and system for synchronizing vibro-kinetic effects to a virtual reality session
US10031580B2 (en) * 2016-01-13 2018-07-24 Immersion Corporation Systems and methods for haptically-enabled neural interfaces
CN105975053A (zh) * 2016-05-11 2016-09-28 乐视控股（北京）有限公司 虚拟头盔控制方法、装置及虚拟头盔
US10210724B2 (en) * 2016-06-29 2019-02-19 Immersion Corporation Real-time patterned haptic effect generation using vibrations
EP3907734B1 (en) * 2016-11-14 2022-11-02 Goodix Technology (HK) Company Limited Linear resonant actuator controller
JP2018092012A (ja) * 2016-12-05 2018-06-14 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US10564725B2 (en) * 2017-03-23 2020-02-18 Immerson Corporation Haptic effects using a high bandwidth thin actuation system
JP2018185704A (ja) * 2017-04-27 2018-11-22 日本電信電話株式会社 生体電気刺激装置、生体電気刺激システムおよび生体電気刺激方法
US10409376B2 (en) * 2017-10-04 2019-09-10 Immersion Corporation Haptic actuator having a smart material actuation component and an electromagnet actuation component
CN109407832B (zh) * 2018-09-29 2021-06-29 维沃移动通信有限公司 一种终端设备的控制方法及终端设备
JP6721664B2 (ja) * 2018-11-30 2020-07-15 任天堂株式会社 データ出力プログラム、データ出力装置、およびデータ出力方法
WO2020121662A1 (ja) * 2018-12-13 2020-06-18 ソニー株式会社 情報処理装置、情報処理システム、情報処理方法、及びプログラム
US20240045504A1 (en) * 2019-09-13 2024-02-08 Nippon Telegraph And Telephone Corporation Tactile Presentation Device and Tactile Presentation Method
CN111766946B (zh) * 2020-06-30 2023-12-01 瑞声科技(新加坡)有限公司 触觉效果的优化方法及设备、计算机可读存储介质
US20230059333A1 (en) * 2021-08-18 2023-02-23 Cirrus Logic International Semiconductor Ltd. Haptics signal generation

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5436622A (en) * 1993-07-06 1995-07-25 Motorola, Inc. Variable frequency vibratory alert method and structure
US5524061A (en) * 1994-08-29 1996-06-04 Motorola, Inc. Dual mode transducer for a portable receiver
CN1450451A (zh) * 2002-03-20 2003-10-22 精工爱普生株式会社 运算器的功率控制装置、及其程序与方法和节能解码器

Family Cites Families (125)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3618070A (en) 1969-07-03 1971-11-02 Bell & Howell Comm Co Vibratory alerting devices
US3911416A (en) 1974-08-05 1975-10-07 Motorola Inc Silent call pager
US4028502A (en) 1976-02-13 1977-06-07 Inventive Industries, Inc. Apparatus for adapting multi-line telephone instrument for use by the blind
US4278920A (en) 1976-07-26 1981-07-14 The Bendix Corporation Method and apparatus for generating position or path control programs using force feedback
FR2419548A1 (fr) 1978-03-09 1979-10-05 Materiel Telephonique Simulateur electro-hydraulique de commande de vol
US4262549A (en) 1978-05-10 1981-04-21 Schwellenbach Donald D Variable mechanical vibrator
JPS5853782Y2 (ja) 1979-01-08 1983-12-07 日本電気株式会社 個人選択呼出受信機
US4464117A (en) 1980-08-27 1984-08-07 Dr. Ing. Reiner Foerst Gmbh Driving simulator apparatus
US4333070A (en) 1981-02-06 1982-06-01 Barnes Robert W Motor vehicle fuel-waste indicator
US4436188A (en) 1981-11-18 1984-03-13 Jones Cecil R Controlled motion apparatus
US4421953A (en) 1981-12-07 1983-12-20 Northern Telecom Limited Telephone tactile alert system
US4484191A (en) 1982-06-14 1984-11-20 Vavra George S Tactile signaling systems for aircraft
US4964004A (en) 1983-12-02 1990-10-16 Lex Computer And Management Corporation Video composition method and apparatus employing visual and tactile feedback
JPS60159500U (ja) 1984-03-31 1985-10-23 星野楽器株式会社 電子ドラムのパツド
US4603284A (en) 1984-06-05 1986-07-29 Unimation, Inc. Control system for manipulator apparatus with resolved compliant motion control
JPH0763193B2 (ja) 1986-05-30 1995-07-05 日本電気株式会社 個別選択呼出受信機
US4853674A (en) 1986-07-21 1989-08-01 Kiss Michael Z Signalling apparatus for hearing impaired persons
US4794392A (en) 1987-02-20 1988-12-27 Motorola, Inc. Vibrator alert device for a communication receiver
US4823634A (en) 1987-11-03 1989-04-25 Culver Craig F Multifunction tactile manipulatable control
US5844498A (en) 1987-11-13 1998-12-01 Nec Corporation Paging receiver with a message selection circuit
US4931765A (en) 1989-02-09 1990-06-05 Motorola, Inc. Unitized housing for silent and tone pager alerting system
JPH0727741Y2 (ja) 1989-10-23 1995-06-21 フクダ電子株式会社 波形表示付携帯型無線呼出し用受信機
US5117449A (en) 1989-11-03 1992-05-26 Motorola, Inc. Dual receiver apparatus for integrated paging and radiotelephone functions
US5189389A (en) 1990-04-23 1993-02-23 Motorola, Inc. Electronic device having position selectable alert modes
US5165897A (en) 1990-08-10 1992-11-24 Tini Alloy Company Programmable tactile stimulator array system and method of operation
JP2643619B2 (ja) 1991-02-19 1997-08-20 日本電気株式会社 無線選択呼出受信機
US5351412A (en) 1991-06-11 1994-10-04 International Business Machines Corporation Micro positioning device
US5175459A (en) 1991-08-19 1992-12-29 Motorola, Inc. Low profile vibratory alerting device
US5220260A (en) 1991-10-24 1993-06-15 Lex Computer And Management Corporation Actuator having electronically controllable tactile responsiveness
US5889670A (en) 1991-10-24 1999-03-30 Immersion Corporation Method and apparatus for tactilely responsive user interface
JPH06510646A (ja) 1992-01-22 1994-11-24 モトローラ・インコーポレイテッド 無音および可聴警報を有する無線機
JPH05218947A (ja) 1992-02-05 1993-08-27 Nec Corp 無線選択呼出受信機
US5368484A (en) 1992-05-22 1994-11-29 Atari Games Corp. Vehicle simulator with realistic operating feedback
US5366376A (en) 1992-05-22 1994-11-22 Atari Games Corporation Driver training system and method with performance data feedback
US5437607A (en) 1992-06-02 1995-08-01 Hwe, Inc. Vibrating massage apparatus
US5296871A (en) 1992-07-27 1994-03-22 Paley W Bradford Three-dimensional mouse with tactile feedback
US5283970A (en) 1992-09-25 1994-02-08 Strombecker Corporation Toy guns
US5666473A (en) 1992-10-08 1997-09-09 Science & Technology Corporation & Unm Tactile computer aided sculpting device
US5389865A (en) 1992-12-02 1995-02-14 Cybernet Systems Corporation Method and system for providing a tactile virtual reality and manipulator defining an interface device therefor
US6433771B1 (en) 1992-12-02 2002-08-13 Cybernet Haptic Systems Corporation Haptic device attribute control
US6131097A (en) 1992-12-02 2000-10-10 Immersion Corporation Haptic authoring
US5629594A (en) 1992-12-02 1997-05-13 Cybernet Systems Corporation Force feedback system
JP2518525B2 (ja) 1993-06-28 1996-07-24 日本電気株式会社 無線選択呼出受信機
US5731804A (en) 1995-01-18 1998-03-24 Immersion Human Interface Corp. Method and apparatus for providing high bandwidth, low noise mechanical I/O for computer systems
US5625576A (en) 1993-10-01 1997-04-29 Massachusetts Institute Of Technology Force reflecting haptic interface
WO1995020787A1 (en) 1994-01-27 1995-08-03 Exos, Inc. Multimode feedback display technology
US5482051A (en) 1994-03-10 1996-01-09 The University Of Akron Electromyographic virtual reality system
IL109943A (en) * 1994-06-08 2006-08-01 Develogen Israel Ltd Conformationally constrained backbone cyclized peptide analogs
US5575761A (en) 1994-07-27 1996-11-19 Hajianpour; Mohammed-Ali Massage device applying variable-frequency vibration in a variable pulse sequence
AU3329595A (en) 1994-08-18 1996-03-14 Interval Research Corporation Content-based haptic input device for video
EP0727065B1 (en) 1994-09-07 2002-02-06 Koninklijke Philips Electronics N.V. Virtual workspace with user-programmable tactile feedback
US5619181A (en) 1994-11-21 1997-04-08 Motorola, Inc. Vibratory alerting device with audible sound generator
US5646589A (en) 1994-12-19 1997-07-08 Lucent Technologies Inc. Electronic device having selectable alert modes
JPH11502901A (ja) 1995-03-31 1999-03-09 アクゾ ノーベル ナムローゼ フェンノートシャップ 工業的用途のためのセルロースヤーン及びコード
US5867796A (en) 1995-04-28 1999-02-02 Nec Corporation Portable telephone set capable of being put in a holding mode by operation of a vibration unit which is for announcing reception of an incoming call to a user
US5754096A (en) 1995-05-26 1998-05-19 Seiko Instruments Inc. Electronic apparatus with vibration informing function
JPH08331212A (ja) 1995-06-01 1996-12-13 Nec Corp バイブレータ付携帯電話端末
JPH0918966A (ja) 1995-06-30 1997-01-17 Sony Corp 受信装置
JP2852205B2 (ja) 1995-07-13 1999-01-27 静岡日本電気株式会社 無線選択呼出受信機
US5642413A (en) 1995-08-07 1997-06-24 Little; Randall P. Telephone call alert device with selectable alert modes
US6473069B1 (en) 1995-11-13 2002-10-29 Cirque Corporation Apparatus and method for tactile feedback from input device
EP0806002A1 (en) 1995-11-24 1997-11-12 Koninklijke Philips Electronics N.V. A method for presenting virtual reality enhanced with tactile stimuli, and a system for executing the method
US5956484A (en) 1995-12-13 1999-09-21 Immersion Corporation Method and apparatus for providing force feedback over a computer network
US5729589A (en) 1995-12-14 1998-03-17 Oraelectronics, Inc. Apparatus and method for incoming call detection and alarm circuitry for cellular telephones
JP2693941B2 (ja) 1995-12-25 1997-12-24 静岡日本電気株式会社 無線選択呼出受信機
US5692956A (en) 1996-02-09 1997-12-02 Mattel, Inc. Combination computer mouse and game play control
US6374255B1 (en) 1996-05-21 2002-04-16 Immersion Corporation Haptic authoring
JPH09308768A (ja) * 1996-05-24 1997-12-02 Ikyo Kk ゲーム機
JPH09321682A (ja) * 1996-05-27 1997-12-12 Sony Corp 通信システム，通信方法及び端末装置
JP2834085B2 (ja) 1996-07-16 1998-12-09 静岡日本電気株式会社 無線機器の通報装置
US6061451A (en) * 1996-09-03 2000-05-09 Digital Vision Laboratories Corporation Apparatus and method for receiving and decrypting encrypted data and protecting decrypted data from illegal use
GB9622556D0 (en) 1996-10-30 1997-01-08 Philips Electronics Nv Cursor control with user feedback mechanism
US6118979A (en) 1996-11-22 2000-09-12 Robert B. Nicholson, III Method for signaling an incoming telephone call without an audible signal
CA2278726C (en) 1997-01-27 2004-08-31 Immersion Corporation Method and apparatus for providing high bandwidth, realistic force feedback including an improved actuator
US5966655A (en) 1997-04-30 1999-10-12 Lucent Technologies Inc. Automatic determination of audio or vibration alerting for an incoming call in a wireless handset
US5887995A (en) 1997-09-23 1999-03-30 Compaq Computer Corporation Touchpad overlay with tactile response
US5917906A (en) 1997-10-01 1999-06-29 Ericsson Inc. Touch pad with tactile feature
US6448977B1 (en) 1997-11-14 2002-09-10 Immersion Corporation Textures and other spatial sensations for a relative haptic interface device
JP3148174B2 (ja) 1998-01-14 2001-03-19 日本電気株式会社 無線選択呼出受信機
US6300938B1 (en) 1998-04-13 2001-10-09 Immersion Corporation Multiple-cylinder control device for computers and other electronic apparatus
US6087942A (en) 1998-05-18 2000-07-11 Jb Research, Inc. Tactile alert and massaging system
US6686901B2 (en) 1998-06-23 2004-02-03 Immersion Corporation Enhancing inertial tactile feedback in computer interface devices having increased mass
US6563487B2 (en) 1998-06-23 2003-05-13 Immersion Corporation Haptic feedback for directional control pads
JP2000023253A (ja) 1998-06-26 2000-01-21 Nec Corp マルチモード移動無線装置及びマルチモード無線装置、並びにマルチモード移動無線装置及びマルチモード無線装置における着信通知方法
AU5652599A (en) * 1998-09-22 2000-04-10 Yasufumi Mase Information processor for visually disabled person and tactile input/output device
US6218958B1 (en) 1998-10-08 2001-04-17 International Business Machines Corporation Integrated touch-skin notification system for wearable computing devices
US6373463B1 (en) 1998-10-14 2002-04-16 Honeywell International Inc. Cursor control system with tactile feedback
US6218966B1 (en) 1998-11-05 2001-04-17 International Business Machines Corporation Tactile feedback keyboard
US6373465B2 (en) * 1998-11-10 2002-04-16 Lord Corporation Magnetically-controllable, semi-active haptic interface system and apparatus
US6650338B1 (en) 1998-11-24 2003-11-18 Interval Research Corporation Haptic interaction with video and image data
US6113459A (en) 1998-12-21 2000-09-05 Nammoto; Mikio Remote toy steering mechanism
US6091321A (en) 1998-12-30 2000-07-18 Karell; Manuel L Method and apparatus of a vibratory indicator for use in vehicles
JP2000299575A (ja) 1999-04-12 2000-10-24 Sony Corp 入力装置
US6337678B1 (en) 1999-07-21 2002-01-08 Tactiva Incorporated Force feedback computer input and output device with coordinated haptic elements
JP2001100879A (ja) * 1999-09-27 2001-04-13 Olympus Optical Co Ltd 情報閲覧システム
DE20080209U1 (de) 1999-09-28 2001-08-09 Immersion Corp Steuerung von haptischen Empfindungen für Schnittstellenvorrichtungen mit Vibrotaktiler Rückkopplung
US6424251B1 (en) 1999-11-10 2002-07-23 Matthew T. Byrne Personal electronic device notification system
US6822635B2 (en) * 2000-01-19 2004-11-23 Immersion Corporation Haptic interface for laptop computers and other portable devices
US7196688B2 (en) 2000-05-24 2007-03-27 Immersion Corporation Haptic devices using electroactive polymers
JP3949912B2 (ja) 2000-08-08 2007-07-25 株式会社エヌ・ティ・ティ・ドコモ 携帯型電子機器、電子機器、振動発生器、振動による報知方法および報知制御方法
WO2002025902A1 (fr) 2000-09-25 2002-03-28 Yamaha Corporation Dispositif terminal mobile
US6864877B2 (en) 2000-09-28 2005-03-08 Immersion Corporation Directional tactile feedback for haptic feedback interface devices
JP2002119912A (ja) 2000-10-12 2002-04-23 Nec Saitama Ltd 複合音響アクチュエータ駆動回路及び携帯情報端末
US6418323B1 (en) 2001-01-22 2002-07-09 Wildseed, Ltd. Wireless mobile phone with Morse code and related capabilities
JP4308448B2 (ja) * 2001-04-11 2009-08-05 セイコーエプソン株式会社 出力装置に応じたコンテンツの生成
US20040125120A1 (en) * 2001-06-08 2004-07-01 Michael Weiner Method and apparatus for interactive transmission and reception of tactile information
US7154470B2 (en) * 2001-07-17 2006-12-26 Immersion Corporation Envelope modulator for haptic feedback devices
US7269334B2 (en) * 2001-07-27 2007-09-11 Thomson Licensing Recording and playing back multiple programs
US7623114B2 (en) * 2001-10-09 2009-11-24 Immersion Corporation Haptic feedback sensations based on audio output from computer devices
US6703550B2 (en) * 2001-10-10 2004-03-09 Immersion Corporation Sound data output and manipulation using haptic feedback
JP2003198680A (ja) * 2001-12-28 2003-07-11 Nec Tokin Corp 移動体通信機器と多機能振動アクチュエータの搭載方法
US7250846B2 (en) 2002-03-05 2007-07-31 International Business Machines Corporation Method and apparatus for providing dynamic user alert
US6904823B2 (en) 2002-04-03 2005-06-14 Immersion Corporation Haptic shifting devices
JP4555072B2 (ja) * 2002-05-06 2010-09-29 シンクロネイション インコーポレイテッド ローカライズされたオーディオ・ネットワークおよび関連するディジタル・アクセサリ
US8031059B2 (en) 2002-05-31 2011-10-04 Motorola Mobility, Inc. Communication system
CA2496047C (en) * 2002-10-18 2012-03-27 Cel-Kom Llc Direct manual examination of remote patient with virtual examination functionality
US8276091B2 (en) 2003-09-16 2012-09-25 Ram Consulting Haptic response system and method of use
US20050235032A1 (en) 2004-04-15 2005-10-20 Mason Wallace R Iii System and method for haptic based conferencing
US20060015560A1 (en) * 2004-05-11 2006-01-19 Microsoft Corporation Multi-sensory emoticons in a communication system
US8115091B2 (en) * 2004-07-16 2012-02-14 Motorola Mobility, Inc. Method and device for controlling vibrational and light effects using instrument definitions in an audio file format
US9046922B2 (en) 2004-09-20 2015-06-02 Immersion Corporation Products and processes for providing multimodal feedback in a user interface device
JP4350627B2 (ja) * 2004-09-27 2009-10-21 ソフトバンクモバイル株式会社 ストリーミングデータ受信再生端末
JP2006163579A (ja) * 2004-12-03 2006-06-22 Sony Corp 情報処理システム、情報処理装置及び情報処理方法
JP2006201912A (ja) * 2005-01-19 2006-08-03 Nippon Telegr & Teleph Corp <Ntt> ３次元仮想オブジェクト情報提供サービス処理方法と３次元仮想オブジェクト提供システムおよびプログラム
KR20060024807A (ko) * 2005-12-19 2006-03-17 노키아 코포레이션 Ｓｍｓ 문자들을 사운드, 진동, 또는 그래픽 효과들 등에매핑하는 휴대장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5436622A (en) * 1993-07-06 1995-07-25 Motorola, Inc. Variable frequency vibratory alert method and structure
US5524061A (en) * 1994-08-29 1996-06-04 Motorola, Inc. Dual mode transducer for a portable receiver
CN1450451A (zh) * 2002-03-20 2003-10-22 精工爱普生株式会社 运算器的功率控制装置、及其程序与方法和节能解码器

Also Published As

Publication number Publication date
KR101384434B1 (ko) 2014-04-10
US20070236449A1 (en) 2007-10-11
EP3287874A1 (en) 2018-02-28
KR20080109907A (ko) 2008-12-17
JP5025721B2 (ja) 2012-09-12
WO2007117649A3 (en) 2008-09-12
CN104063056B (zh) 2018-04-20
US20190079586A1 (en) 2019-03-14
CN101416139A (zh) 2009-04-22
CN104063056A (zh) 2014-09-24
JP5385430B2 (ja) 2014-01-08
JP2012230690A (ja) 2012-11-22
US10152124B2 (en) 2018-12-11
WO2007117649A2 (en) 2007-10-18
JP2009532808A (ja) 2009-09-10
EP2002323A2 (en) 2008-12-17

Similar Documents

Publication Publication Date Title
CN101416139B (zh) 用于增强的触觉效果的系统和方法
US10431057B2 (en) Method, system, and device for converting audio signal to one or more haptic effects
KR102204606B1 (ko) 다수의 액츄에이터를 사용하는 사운드-햅틱 효과 변환 시스템
CN108874144B (zh) 使用映射的声音-触觉效应转换系统
JP6096092B2 (ja) 記憶された効果を有する触覚フィードバックシステム
EP2624099B1 (en) Method and system for sound to haptic effect conversion using waveform
JP6534799B2 (ja) ハプティック信号の多重化および逆多重化
KR20160078226A (ko) 고대역폭 햅틱 효과의 오디오 향상된 시뮬레이션
CN103793048A (zh) 独立于流的声音到触觉效应转换系统
CN101828382A (zh) 媒体传输流中的触觉效应数据的同步
US8494206B2 (en) Electronic device and method thereof
CN106126184A (zh) 一种音频信号播放方法及移动终端
CN108687779A (zh) 一种家用机器人的舞蹈开发方法和系统
CN106527700A (zh) 一种声音振动反馈方法和系统及一种虚拟现实头盔
JP2002041094A (ja) 音楽出力装置及び振動出力装置
Ratnaningsih et al. The Analyze of Android's microphone audio streaming BeatME
TW202403508A (zh) 編碼/解碼觸覺資料的方法及設備
CN117708492A (zh) 振动控制方法、装置、电子设备和计算机可读存储介质
Pakarinen et al. Review of sound synthesis and effects processing for interactive mobile applications
CN101860565A (zh) 根据数据下载速率编辑并播放音乐的方法、装置及终端
CN1610399A (zh) 具有音讯实时整合功能的影像处理装置
CN104008003A (zh) 一种信息处理方法及电子设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C56 Change in the name or address of the patentee
CP01 Change in the name or title of a patent holder

Address after: California, USA

Patentee after: Immersion Corp.

Address before: California, USA

Patentee before: IMMERSION Corp.

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20140709