CN102349038A - 用于纹理引擎的系统和方法 - Google Patents

用于纹理引擎的系统和方法 Download PDF

Info

Publication number
CN102349038A
CN102349038A CN2010800117439A CN201080011743A CN102349038A CN 102349038 A CN102349038 A CN 102349038A CN 2010800117439 A CN2010800117439 A CN 2010800117439A CN 201080011743 A CN201080011743 A CN 201080011743A CN 102349038 A CN102349038 A CN 102349038A
Authority
CN
China
Prior art keywords
haptic effect
processor
touch
actuator
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2010800117439A
Other languages
English (en)
Other versions
CN102349038B (zh
Inventor
君·曼扭尔·克鲁斯-赫南德斯
丹尼·A·格兰特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Immersion Corp
Original Assignee
Immersion Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US12/697,042 external-priority patent/US10564721B2/en
Priority claimed from US12/696,908 external-priority patent/US10007340B2/en
Priority claimed from US12/696,893 external-priority patent/US9746923B2/en
Priority claimed from US12/697,010 external-priority patent/US9874935B2/en
Priority claimed from US12/696,900 external-priority patent/US9696803B2/en
Priority claimed from US12/697,037 external-priority patent/US9927873B2/en
Priority to CN201610662488.3A priority Critical patent/CN106339169B/zh
Application filed by Immersion Corp filed Critical Immersion Corp
Publication of CN102349038A publication Critical patent/CN102349038A/zh
Application granted granted Critical
Publication of CN102349038B publication Critical patent/CN102349038B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B06—GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS IN GENERAL
    • B06B—METHODS OR APPARATUS FOR GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS OF INFRASONIC, SONIC, OR ULTRASONIC FREQUENCY, e.g. FOR PERFORMING MECHANICAL WORK IN GENERAL
    • B06B1/00—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency
    • B06B1/02—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency making use of electrical energy
    • B06B1/06—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency making use of electrical energy operating with piezoelectric effect or with electrostriction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1601—Constructional details related to the housing of computer displays, e.g. of CRT monitors, of flat displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483—Interaction with page-structured environments, e.g. book metaphor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02N—ELECTRIC MACHINES NOT OTHERWISE PROVIDED FOR
    • H02N2/00—Electric machines in general using piezoelectric effect, electrostriction or magnetostriction
    • H02N2/02—Electric machines in general using piezoelectric effect, electrostriction or magnetostriction producing linear motion, e.g. actuators; Linear positioners ; Linear motors
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02N—ELECTRIC MACHINES NOT OTHERWISE PROVIDED FOR
    • H02N2/00—Electric machines in general using piezoelectric effect, electrostriction or magnetostriction
    • H02N2/02—Electric machines in general using piezoelectric effect, electrostriction or magnetostriction producing linear motion, e.g. actuators; Linear positioners ; Linear motors
    • H02N2/06—Drive circuits; Control arrangements or methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163—Indexing scheme relating to constructional details of the computer
    • G06F2200/1637—Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/014—Force feedback applied to GUI
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00—Tactile signalling systems, e.g. personal calling systems

Abstract

公开了用于纹理引擎的系统和方法。例如，一种公开的系统包括：处理器，该处理器被配置成接收包括多个像素的显示信号，确定包括纹理的触觉效果，以及将与该触觉效果相关联的触觉信号传送至与处理器通信的致动器；致动器，该致动器被配置成接收触觉信号并输出触觉效果。

Description

用于纹理引擎的系统和方法
相关申请的交叉引用
本专利申请要求于2009年3月12日提交的标题为“LocatingFeatures Using a Friction Display”的美国临时专利申请No.61/159,482的优先权，通过引用的方式将其全部内容合并于此。
本专利申请要求于2009年11月17日提交的标题为“System andMethod for Increasing Haptic Bandwidth in an Electronic Device”的美国临时专利申请No.61/262,041的优先权，通过引用的方式将其全部内容合并于此。
本专利申请要求于2009年11月17日提交的标题为“Friction RotaryDevice for Haptic Feedback”的美国临时专利申请No.61/262,038的优先权，通过引用的方式将其全部内容合并于此。
本专利申请要求于2010年1月29日提交的标题为“Systems AndMethods For Providing Features In A Friction Display”的美国实用新型专利申请No.12/696,893的优先权，通过引用的方式将其全部内容合并于此。
本专利申请要求于2010年1月29日提交的标题为“Systems AndMethods For Friction Displays And Additional Haptic Effects”的美国实用新型专利申请No.12/696,900的优先权，通过引用的方式将其全部内容合并于此。
本专利申请要求于2010年1月29日提交的标题为“Systems AndMethods For Interfaces Featuring Surface-Based Haptic Effects”的美国实用新型专利申请No.12/696,908的优先权，通过引用的方式将其全部内容合并于此。
本专利申请要求于2010年1月29日提交的标题为“Systems AndMethods For A Texture Engine”的美国实用新型专利申请No.12/697,010的优先权，通过引用的方式将其全部内容合并于此。
本专利申请要求于2010年1月29日提交的标题为“Systems AndMethods For Using Textures In Graphical User Interface Widgets”的美国实用专利申请No.12/697,037的优先权，通过引用的方式将其全部内容合并于此。
本专利申请要求于2010年1月29日提交的标题为“Systems AndMethods For Using Multiple Actuators To Realize Textures”的美国实用新型专利申请No.12/697,042的优先权，通过引用的方式将其全部内容合并于此。
技术领域
本发明总体上涉及触觉反馈，并且更具体地涉及用于纹理引擎的系统和方法。
背景技术
在过去几年中，所有类型的手持设备的使用都成指数增长。这些设备被用作便携式组织器、电话、音乐播放器、以及游戏系统。多种现代手持设备现在都结合某种类型的触觉反馈。随着触觉技术改进，设备可以结合模仿纹理的触觉反馈。因此，需要触觉纹理引擎。
发明内容
本发明的实施例提供了用于纹理引擎的系统和方法。例如，在一个实施例中，用于纹理引擎的系统包括：处理器，该处理器被配置成接收包括多个像素的显示信号，确定包括纹理的触觉效果，以及将与触觉效果相关联的触觉信号传送至与处理器通信的致动器，该致动器被配置成接收触觉信号并且输出触觉效果。
该说明性实施例被提及以不限制或限定本发明，而是提供帮助理解本发明的示例。说明性实施例在具体实施方式中论述，其提供本发明的进一步描述。由本发明的多种实施例提供的优点可以通过检查本说明书进一步理解。
附图说明
当参考附图阅读以下具体实施方式时，将更好地理解本发明的这些和其他特征、方面以及优点，在附图中：
图1是根据本发明的一个实施例的用于纹理引擎的系统的框图；
图2是根据本发明的一个实施例的用于纹理引擎的系统的图示；
图3a是根据本发明的一个实施例的用于纹理引擎的系统的图示；
图3b是根据本发明的一个实施例的用于纹理引擎的系统的图示；
图4是根据本发明的一个实施例的用于纹理引擎的方法的流程图；
图5a是根据本发明的一个实施例的纹理引擎可以生成的纹理之一的图示；
图5b是根据本发明的一个实施例的纹理引擎可以生成的纹理之一的另一图示；
图5c是根据本发明的一个实施例的纹理引擎可以生成的纹理之一的另一图示；
图5d是根据本发明的一个实施例的纹理引擎可以生成的纹理之一的另一图示；
图5e是根据本发明的一个实施例的纹理引擎可以生成的纹理之一的另一图示；
图5f是根据本发明的一个实施例的纹理引擎可以生成的纹理之一的另一图示；
图5g是根据本发明的一个实施例的纹理引擎可以生成的纹理之一的另一图示；以及
图5h是根据本发明的一个实施例的纹理引擎可以生成的纹理之一的另一图示。
具体实施方式
本发明的实施例提供用于纹理引擎的系统和方法。
纹理引擎的说明性实施例
本发明的一个说明性实施例包括消息发送设备，诸如移动电话。在说明性实施例中，消息发送设备包括装配有Immersion公司的TouchSense3000、TouchSense
Figure BPA00001434050400042
4000、或TouchSense
Figure BPA00001434050400043
5000振动触觉反馈系统(先前已知为Immersion公司的VibeTonz
Figure BPA00001434050400044
振动触觉反馈系统)的三星触摸电话(SCH-W420)。在其他实施例中，可以利用不同消息发送设备和触觉反馈系统。
说明性消息发送设备包括显示器、扬声器、网络接口、存储器、以及与这些元件中的每个通信的处理器。说明性消息发送设备还包括触摸敏感接口界面和致动器，两者均与处理器通信。触摸敏感界面被配置成感测用户与消息发送设备的交互，并且致动器被配置成输出触觉效果。说明性消息发送设备可以进一步包括：操纵机构(manipulandum)，该操纵机构被配置成检测用户交互并且将与用户交互相关联的界面信号传送至处理器。
在说明性消息发送设备中，显示器被配置成将图形用户界面显示给用户。图形用户界面可以包括虚拟对象，例如，图标、按钮、或虚拟键盘。说明性消息发送设备进一步包括触摸敏感界面，诸如，触摸屏，其被装配在显示器的顶部上。触摸敏感界面允许用户与在图形用户界面中显示的虚拟对象交互。例如，在一个实施例中，图形用户界面可以包括虚拟键盘，并且在这样的实施例中，触摸敏感界面允许用户触摸虚拟键盘上的键，以输入与键相关联的字母数字字符。该功能可以被用于键入消息，或者另外与图形用户界面中的对象交互。
在说明性消息发送设备中，处理器被配置成确定触觉效果并且将与触觉效果相对应的触觉信号传送至被配置成输出触觉效果的致动器。在说明性消息发送设备中，该触觉效果模仿用户在触摸敏感界面的表面上感觉到的纹理。所模仿的纹理可以与显示器上示出的用户界面相关联。例如，显示器可以示出包括岩石的形状的图标。在这样的实施例中，处理器可以确定被配置成模仿在触摸敏感界面的表面上的岩石的纹理的触觉效果。然后，处理器将触觉信号传送至被配置成输出触觉效果的致动器。当致动器接收到触觉信号时，其将以被配置成使触摸敏感界面的表面接近岩石的纹理的频率来输出诸如振动的触觉效果。
在说明性实施例中，处理器可以实现触觉映射(haptic map)，以确定触觉效果。例如，在说明性实施例中，处理器可以接收包括多个像素的显示信号，每个像素均与颜色相关联。例如，在说明性实施例中，显示信号中的每个像素都可以与红、绿或蓝颜色相关联，并且其可以进一步与用于每种颜色的强度相关联。在说明性实施例中，处理器将触觉值分配给每种颜色，并且进一步分配与每种颜色的强度相关联的触觉强度。然后，处理器将包括触觉值和触觉强度的触觉信号传送至被配置成输出触觉效果的致动器。
在说明性实施例中，处理器可以进一步基于外部触发来确定触觉效果。例如，在说明性实施例中，处理器被配置成从被配置成检测用户交互的触摸敏感界面接收界面信号。然后，在说明性实施例中，处理器将至少部分地基于界面信号来确定触觉效果。例如，处理器可以至少部分地基于界面信号来修改触觉值或触觉强度。在说明性实施例中，如果触摸敏感界面检测到高速或高压用户交互，则处理器将确定较高强度的触觉效果。
说明性消息发送设备可以输出触觉效果用于多种目的。例如，在一个实施例中，触觉效果可以充当处理器已经接收到与用户交互相关联的界面信号的确认。例如，图形用户界面可以包括按钮，并且触摸敏感界面可以检测与按压按钮相关联的用户交互，并且将界面信号传送至处理器。作为响应，处理器可以确定触觉效果，以确认接收界面信号。在这样的实施例中，触觉效果可能使用户感觉到在触摸敏感界面的表面上的纹理。在说明性实施例中，处理器可以进一步确定触觉效果用于其它目的。例如，说明性消息发送设备可以输出纹理，以警告用户在显示器的边界上或者作为对诸如显示器的表面上的图标的对象的标识(identification)。
该说明性示例被给出，以给读者介绍在此论述的一般主题。本发明不限于该示例。以下部分描述了用于纹理引擎的系统和方法的多种附加非限制性实施例和示例。
用于纹理引擎的说明性系统
现在参考附图，其中，相同的数字贯穿多个附图表示相同的元件，图1是根据本发明的一个实施例的用于纹理引擎的系统的框图。如图1所示，系统100包括消息发送设备102，诸如移动电话、便携式数字助理(PDA)、便携式多媒体播放器、便携式计算机、便携式游戏设备、或某种其他移动设备。在一些实施例中，消息发送设备102可以包括膝上型电脑、写字板、桌上型PC、或其他类似设备。在还有的其他实施例中，消息发送设备可以包括用于与PC或某种其他设备一起使用的外部监视器。消息发送设备102包括与网络接口112通信的处理器110、触摸敏感界面114、显示器116、致动器118、扬声器120、以及存储器122。
处理器110被配置成执行在存储器122中存储的计算机可执行程序指令。例如，处理器110可以执行用于消息发送或用于生成触觉反馈的一个或多个计算机程序。处理器110可以包括微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、一个或多个现场可编程门阵列(FPGA)、或状态机。处理器110可以进一步包括可编程电子器件，诸如可编程逻辑控制器(PLC)、可编程中断控制器(PIC)、可编程逻辑器件(PLD)、可编程只读存储器(PROM)、电可编程只读存储器(EPROM或EEPROM)、或其他类似设备。
存储器122包括存储指令的计算机可读介质，当由处理器110执行指令时，使处理器110执行多个步骤，诸如在此描述的那些。计算机可读介质的实施例可以包括但不限于电子、光学、磁性或其他储存器或者能够向处理器110提供计算机可读指令的传送设备。介质的其他示例包括但不限于软盘、CD-ROM、磁盘、存储芯片、ROM、RAM、ASIC、配置的处理器、所有光学介质、所有磁带或其他磁性介质、或计算机处理器可以从其读取的任何其他介质。另外，多种其他设备可以包括计算机可读介质，诸如路由器、专用或公共网络、或其他传送设备。处理器110和描述的处理可以是一个或多个指令，并且可以遍及一个或多个结构散布。
处理器110与网络接口112通信。网络接口112可以包括一种或多种移动通信的方法，诸如红外、无线电、Wi-Fi、或蜂窝网络通信。在其他变体中，网络接口112包括有线网络接口，诸如以太网。消息发送设备102可以被配置成在诸如蜂窝网络和/或互联网的网络上与其他设备(未示出)交换消息或虚拟消息对象。在设备之间交换的消息的实施例可以包括语音消息、文本消息、数据消息、或其他形式的数字消息。
处理器110还与一个或多个触摸敏感界面114通信。在一些实施例中，触摸敏感界面114可以包括触摸屏或触摸板。例如，在一些实施例中，触摸敏感界面114可以包括装配在被配置成接收显示信号并将图像输出至用户的显示器的顶部上的触摸屏。在其他实施例中，触摸敏感界面114可以包括光学传感器或另一种类型的传感器。在一个实施例中，触摸敏感界面可以包括LED检测器。例如，在一个实施例中，触摸敏感界面114可以包括装配在显示器116的侧面上的LED手指检测器。在一些实施例中，处理器与单个触摸敏感界面114通信，在其他实施例中，处理器与多个触摸敏感界面通信，例如，第一触摸屏和第二触摸屏。触摸敏感界面114被配置成检测用户交互，并且基于用户交互将信号传送至处理器110。在一些实施例中，触摸敏感界面114可以被配置成检测用户交互的多个方面。例如，触摸敏感界面114可以检测用户交互的速度和压力，并且将该信息合并到界面信号中。
在图1中所示的实施例中，处理器110还与显示器116通信。处理器110可以被配置成生成要在显示器116上示出的用户界面的图形表示，然后将包括该图形表示的显示信号传送至显示器116。在其他实施例中，显示器116被配置成从另一设备接收显示信号。例如，在一些实施例中，显示器116可以包括外部显示器，诸如计算机监视器。显示器116被配置成接收显示信号并且输出与该显示信号相关联的图像。在一些实施例中，显示信号可以包括视频图形阵列(vga)、高清晰度多媒体接口(hdmi)、高级视频图形阵列(svga)、视频、二分量视频(s-video)、或本领域中已知的其他类型的显示信号。在一些实施例中，显示器116包括平板屏幕显示器，诸如液晶显示器(LCD)或等离子体屏幕显示器。在其他实施例中，显示器116包括阴极射线管(CRT)或本领域中已知的其他类型的显示器。在还有的其他实施例中，显示器116可以包括触摸敏感界面114，例如，显示器116可以包括触摸屏LCD。在还有的其他实施例中，显示器116可以包括柔性屏幕或柔性显示器。例如，在一些实施例中，显示器116可以包括装配在其表面之下的触觉基板。在这样的实施例中，显示器116由柔性材料制成，并且响应于从处理器110接收到的信号，触觉基板弯曲，在显示器116的表面上形成桥、槽、或其他特征。在一些实施例中，触觉基板可以包括等离子体致动器、压电致动器、电活性聚合物、微机电系统、形状记忆合金、充液或充气单元的栅格。
在一些实施例中，处理器110从触摸敏感界面114接收同与在显示器116上示出的图形用户界面的交互相关联的信号。例如，在一个实施例中，触摸敏感界面114可以包括触摸屏，并且显示器116上的图形用户界面可以包括虚拟键盘。在这样的实施例中，当用户与覆盖虚拟键盘的键之一的触摸屏的一部分交互时，触摸屏将与该用户交互相对应的界面信号发送至处理器110。基于该界面信号，处理器110将确定用户按压了虚拟键盘上的一个键。该功能性允许用户与显示器116上的其他图标和虚拟对象交互。例如，在一些实施例中，用户可以轻触触摸屏，以移动虚拟球状物或旋转虚拟旋钮。
如图1所示，处理器110还与致动系统通信，该致动系统包括一个或多个致动器118、用于每个致动器的悬挂系统、以及用于每个致动器的电功率和控制布线。在一些实施例中，消息发送设备102包括多于一个致动系统。处理器110被配置成确定触觉效果，并且将与该触觉效果相对应的触觉信号传送至致动器118。在一些实施例中，触觉效果包括在显示器116的表面、触摸敏感界面114、或消息发送设备102的壳体上感受到的振动触觉纹理。在一些实施例中，确定触觉效果可以包括执行一系列计算。在其他实施例中，确定触觉效果可以包括访问查找表。在还有的其他实施例中，确定触觉效果可以包括查找表和算法的组合。
在一些实施例中，确定触觉效果可以包括触觉映射。在这样的实施例中，确定触觉效果可以包括将显示信号映射至致动器。例如，显示信号可以包括多个像素，每个像素都与颜色相关联。在这样的实施例中，每个像素都可以与红、绿、或蓝颜色相关联；每种颜色都可以进一步与强度相关联，例如，强度1-8。在这样的实施例中，确定触觉效果可以包括将触觉效果分配给每种颜色。在一些实施例中，触觉效果可以包括操作的方向和强度，例如，在一个实施例中，触觉信号可以被配置成使旋转致动器以一半功率顺时针方向旋转。在一些实施例中，操作的强度可以与颜色的强度相关联。一旦处理器110确定触觉效果，则它就传送包括该触觉效果的触觉信号。在一些实施例中，处理器110可以将触觉效果仅分配给显示信号中的一些像素。例如，在这样的实施例中，触觉效果可以仅与显示信号的一部分相关联。
在一些实施例中，处理器110可以利用触觉映射来确定触觉效果，并且然后将显示信号输出至显示器116。在其他实施例中，处理器110可以使用触觉映射来确定触觉效果，并且然后不将显示信号传送至显示器116。在这样的实施例中，显示器116可以保持黑暗或关闭，同时致动器118输出触觉效果。例如，在这样的实施例中，处理器110可以从与消息发送设备102相关联的数字相机接收显示信号。在一些实施例中，为了保存电池电力，用户可以去禁用显示器116。在这样的实施例中，处理器可以利用触觉映射来向用户提供模仿显示器的表面上的纹理的触觉效果。该纹理可以用于当相机聚焦或者当某个其他事件发生时警告用户。例如，处理器110可以使用面部识别软件来确定模仿在显示器116上的多个位置处的纹理的触觉效果，其中，如果显示器116被激活，则所述纹理将与脸部相关联。
在一些实施例中，处理器110可以至少部分地基于用户交互或触发来确定触觉效果。在这样的实施例中，处理器110从触摸敏感界面114接收界面信号，并且至少部分地基于界面信号来确定触觉效果。例如，在一些实施例中，处理器110可以基于由触摸敏感界面114检测到的用户交互的位置来确定触觉效果。例如，在这样的实施例中，处理器110可以确定模仿用户在显示器116上触摸的虚拟对象的纹理的触觉效果。在其他实施例中，处理器110可以至少部分地基于界面信号来确定触觉效果的强度。例如，如果触摸敏感界面114检测到高压力用户交互，则处理器110可以确定高强度触觉效果。在另一实施例中，如果触摸敏感界面114检测到低压力用户交互，则处理器110可以确定低强度触觉效果。在还有的其他实施例中，处理器110可以至少部分地基于用户交互的速度来确定触觉效果的强度。例如，在一个实施例中，当触摸敏感界面114检测到低速度用户交互时，处理器110可以确定低强度触觉效果。在还有的其他实施例中，处理器110可以确定没有触觉效果，除非其从触摸敏感界面114接收到与用户交互相关联的界面信号。
一旦处理器110确定触觉效果，则它就将与触觉效果相关联的触觉信号传送至致动器118。致动器118被配置成从处理器110接收触觉信号，并且生成触觉效果。致动器118可以例如是压电致动器、电动机、电磁致动器、音圈、形状记忆合金、电活性聚合物、螺线管、偏心转动惯量电动机(ERM)、或线性谐振致动器(LRA)。在一些实施例中，致动器118可以包括多个致动器，例如，ERM和LRA。
在本发明的一个实施例中，由致动器118生成的触觉效果被配置成模仿用户在触摸敏感界面114或显示器116的表面上感觉到的纹理。该纹理可以与在显示器116上示出的图形用户界面相关联。例如，显示器116可以示出包括岩石的形状的图标。在这样的实施例中，处理器110可以确定被配置成模仿在触摸敏感界面114的表面上的岩石的纹理的触觉效果。然后，处理器110将与触觉效果相关联的触觉信号传送至致动器118，其输出触觉效果。例如，当致动器118接收到触觉信号时，其可以以被配置成使触摸敏感界面的表面包括岩石的纹理的频率来输出振动。在其他实施例中，致动器118可以被配置成以使显示器116或触摸敏感界面114的表面包括以下的纹理的频率来输出振动：水、冰、皮革、沙子、砂砾、雪、皮肤、毛皮、或某种其他表面。在一些实施例中，触觉效果可以被输出到消息发送设备102的不同部分上，例如，输出到其壳体上。在一些实施例中，致动器118可以输出被配置成同时输出多种纹理的大量振动。例如，致动器118可以输出被配置成使显示器116的表面包括沙子的纹理的振动。在这样的实施例中，致动器118可以被配置成输出附加振动，其被配置成使用户感觉到沙子中的岩石的纹理。
处理器110可以为多种原因来确定触觉效果。例如，在一些实施例中，处理器110可以输出与在显示器116上示出的对象的纹理相对应的触觉效果。在这样的实施例中，显示器可以示出多个对象，并且当用户将他/她的手指从对象移动到对象时，处理器可以确定不同触觉效果，从而模仿用于每个对象的不同纹理。在一些实施例中，触觉效果可以充当处理器110已经接收到与用户交互相关联的信号的确认。例如，在一个实施例中，图形用户界面可以包括按钮，并且触摸敏感界面114可以检测与按压按钮相关联的用户交互。当触摸敏感界面114将与用户交互相关联的界面信号传送至处理器110时，处理器110可以确定触觉效果，以确认界面信号的接收。在这样的实施例中，触觉效果可以使用户感觉到在触摸敏感界面114的表面上的纹理。例如，处理器可以输出模仿沙子的纹理的触觉效果，以确认处理器110已经接收到用户输入。在其他实施例中，处理器可以确定不同纹理，例如，水、冰、油、岩石或皮肤的纹理。在一些实施例中，触觉效果可以用于不同目的，例如，警告用户在显示器116的边界上，或者向用户提供关于显示器116上的图像的触觉信息。例如，在一些实施例中，显示器116上的每个图标都可以包括不同纹理，并且当用户将他/她的手指从一个图标移动到另一图标时，处理器将确定模仿每个图标的纹理的触觉效果。在进一步实施例中，当用户的手指从与图标的接触移动到与显示器的背景的接触时，处理器可以改变纹理，从而警告用户他/她不再触摸图标。
如图1所示，处理器110还与扬声器120通信。扬声器120被配置成从处理器110接收音频信号，并且将它们输出至用户。在一些实施例中，音频信号可以与由致动器118输出的触觉效果或由显示器116输出的图像相关联。在其他实施例中，音频信号可以不对应于该触觉效果或图像。
在一些实施例中，处理器110可以进一步包括一个或多个传感器，例如，GPS传感器、成像传感器、加速计、位置传感器、旋转速度传感器、光传感器、相机、麦克风、或某种其他类型的传感器。传感器可以被配置成检测加速度、倾斜度、惯性或位置的改变。例如，消息发送设备102可以包括被配置成测量消息发送设备的加速度的加速计。传感器被配置成将传感器信号传送至处理器110。
传感器信号可以包括与消息发送设备102的位置、运动、加速度、或“跃度(jerk)”(即，加速度的导数)相关联的一个或多个参数。例如，在一个实施例中，传感器可以生成并且传送包括多个参数的传感器信号，每个参数都与沿着或者关于测量的平移或旋转轴的运动相关联。在一些实施例中，传感器输出处理器110被编程为解释用于指示沿着一个或多个轴的运动的电压或电流。
在一些实施例中，处理器110将接收传感器信号并且确定其应当激活虚拟工作空间，并且将感测到的消息发送设备102在X、Y或Z方向上的运动解释为对应于虚拟工作空间“内”的虚拟运动。然后，用户可以在虚拟工作空间内移动设备102，以通过在虚拟空间内作手势来选择功能或文件。例如，通过在Z轴上移动消息发送设备102来选出虚拟工作空间内的功能。在一些实施例中，用户可以在虚拟工作空间内使用手势来修改由消息发送设备102输出的触觉效果。
图2是根据本发明的一个实施例的用于纹理引擎的系统的图示。图2包括消息发送设备200，诸如移动电话、PDA、便携式媒体播放器、便携式游戏设备、或移动计算机。消息发送设备200被配置成在诸如蜂窝网络或互联网的网络上发送和接收诸如语音邮件、文本消息、以及其他数据消息的信号。消息发送设备200可以包括无线网络接口和/或有线网络接口(图2中未示出)。虽然设备200在图2中被图示为手持消息发送设备，但是其他实施例可以包括不同设备，诸如视频游戏系统和/或个人计算机。
如图2所示，消息发送设备200包括壳体202和显示器216。在一些实施例中，显示器216可以包括LCD显示器。在其他实施例中，显示器216可以包括等离子体显示器、或本领域中已知的其他类型的显示器。显示器216被配置成接收显示信号并且输出与该显示信号相关联的图像。在一些实施例中，显示信号可以包括视频图形阵列(vga)、高清晰度多媒体接口(hdmi)、高级视频图形阵列(svga)、视频、二分量视频(s-video)、或本领域中已知的其他类型的显示信号。在图2中所示的实施例中，显示器216包括有纹理的球状物204。显示器216进一步包括纹理选择图标206，其包括岩石、沙子和水的纹理。
还参考图2，消息发送设备200进一步包括操纵机构214。在图2中所示的实施例中，操纵机构214包括滚动球和按钮。消息发送设备200还包括触摸敏感界面218。在图2中所示的实施例中，触摸敏感界面218包括位于显示器216的顶部上的触摸屏。在一些实施例中，显示器216和触摸屏可以包括单个集成组件，诸如触摸屏显示器。
操纵机构214和触摸敏感界面218被配置成检测用户交互，并且将与用户交互相对应的界面信号传送至处理器。在一些实施例中，用户交互与在显示器216上示出的图形用户界面相关联。在这样的实施例中，处理器接收界面信号，并且至少部分地基于该界面信号来操纵图形用户界面。例如，在图2中所示的实施例中，用户可以使用操纵机构214或触摸敏感界面218来选择纹理选择图标206中的一个。一旦用户已经选择了用于有纹理的球状物204的纹理，则其在屏幕上的外观就可以改变为对应于该纹理。例如，如果用户选择了沙子纹理图标，则处理器可以操纵显示器，以给有纹理的球状物204沙子表面的外观，并且进一步确定当与有纹理的球状物204交互时使用户感觉到沙子纹理的触觉效果。或者，在另一实施例中，如果用户选择岩石纹理图标，则处理器可以确定当用户与有纹理的球状物204交互时使用户感觉到岩石纹理的触觉效果。
消息发送设备200进一步包括被配置成接收触觉信号并输出触觉效果的致动器(图2中未示出)。在一些实施例中，触觉效果包括由消息发送设备200的用户感觉到的振动触觉纹理。处理器110被配置成确定触觉效果，并且将与该触觉效果相对应的触觉信号传送至致动器。在一些实施例中，确定触觉效果可以包括一系列计算，以确定触觉效果。在其他实施例中，确定触觉效果可以包括访问查找表，以确定合适的触觉效果。在还有的其他实施例中，确定触觉效果可以包括使用查找表和算法的组合。一旦处理器110确定触觉效果，则其将与该触觉效果相关联的触觉信号传送至致动器。致动器从处理器110接收触觉信号，并且生成触觉效果。用户可以经由显示器216的表面或者通过消息发送设备200的某个其他部分(例如，经由操纵机构214或壳体202)来感觉触觉效果。在一些实施例中，当用户将他/她的手指在有纹理的球状物204的表面之上移动时，处理器可以修改该触觉效果，以模仿纹理的改变。
用于纹理引擎的系统的说明
图3a是根据本发明的一个实施例的用于纹理引擎的系统的图示。图3a包括消息发送设备300，诸如移动电话、PDA、便携式媒体播放器、便携式游戏设备、或移动计算机。消息发送设备300被配置成在诸如蜂窝网络或互联网的网络上发送和接收包括消息的信号，诸如语音邮件、文本消息的消息和其他数据消息。消息发送设备300可以包括无线网络界面和/或有线网络界面(图3a中未示出)。虽然设备300在图3a中被图示为手持消息发送设备，但是其他实施例可以包括不同设备，诸如视频游戏系统和/或个人计算机。
如图3a所示，消息发送设备300包括显示器316。显示器316被配置成接收显示信号，并且至少部分地基于该显示信号来输出图像。消息发送设备300进一步包括处理器(图3a中未示出)，该处理器被配置成将显示信号传送至显示器316。消息发送设备300进一步包括装配在显示器316的顶部上的触摸敏感界面314。触摸敏感界面314被配置成检测用户交互，并且将与该用户交互相对应的界面信号传送至处理器。显示器316包括两个图标302和304。当用户与图标302和304中的一个交互时，触摸敏感界面314将检测用户交互，并且将相应界面信号传送至处理器。基于该界面信号，处理器可以确定用户已经打开了链接至图标之一的文件或者执行了本领域中已知的某个其他动作。
如图3a中所示，图标302和304中的每个都包括纹理。在所示的实施例中，图标302包括砖块的纹理，并且图标304包括岩石的纹理。在其他实施例中，可以使用不同纹理，例如，沙子、水、油、草、皮毛、皮肤、皮革、冰、木头、或本领域中已知的某种其他纹理的纹理。当用户同显示器316与每个图标相关联的部分交互时，如图3a中手指306所示，处理器将确定被配置成模仿该图标的纹理的触觉效果。然后，处理器将与该触觉效果相关联的信号输出至被配置成输出触觉效果的致动器(图3a中未示出)。例如，在图3a中所示的实施例中，当用户同显示器316与图标302相关联的部分交互时，处理器将确定与砖块的纹理相关联的触觉效果。该触觉效果可以通过当用户的手指306跨过灰浆(mortar)移动时高功率脉冲介入(punctuate)的随机信号来表征。在其他实施例中，其他触觉效果将被用于模仿可以与在显示器316上示出的图像相对应的不同纹理。
图3b是根据本发明的一个实施例的用于纹理引擎的系统的图示。在图3b中所示的实施例中，确定触觉效果包括：将显示信号映射至致动器。图3b中所示的实施例包括显示器350的放大部分。显示器350被配置成从处理器接收显示信号。显示信号包括多个像素，每个像素均与颜色和该颜色的强度相关联。显示器350接收该显示信号，并且输出与该显示信号相关联的图像。在图3b中所示的实施例中，显示器350的放大部分包括六个像素：351、352、353、354、355和356。每个像素都与颜色和在1-10的范围内的颜色的强度相关联。例如，像素355与绿颜色相关联，并且颜色强度是10中的3。因此，显示器350将在像素355的位置以强度3输出绿颜色。
在图3b中所示的实施例中，处理器将至少部分地基于显示信号和从装配在显示器350(图3b中未示出)的顶部上的触摸敏感界面接收到的界面信号来确定触觉效果。例如，在图3b中所示的实施例中，处理器使用显示信号来使触觉效果与每个像素相关联或者“映射”触觉效果与每个像素。例如，在图3b中所示的实施例中，处理器可以确定用于每种颜色的不同频率触觉效果。处理器可以进一步使在每个像素处的触觉效果的强度与在每个像素处的颜色的强度相关联。例如，处理器可以确定具有颜色强度8的像素还将具有触觉强度8。当处理器接收到与在显示器的像素的顶部上的用户交互相关联的界面信号时，处理器将输出与用户正在交互的像素相关联的触觉信号。该触觉效果被配置成使用户感觉到在显示器的表面上的纹理。
例如，在图3b中所示的实施例中，处理器可以确定蓝色像素与敲击触觉效果相关联，红色像素与脉冲振动相关联，以及绿色像素与点击触觉效果相关。在这样的实施例中，当触摸敏感界面检测到用户的手指已经在像素351上经过时，处理器将确定具有强度1的敲击。然后，当用户的手指在像素352上移动时，处理器将确定具有强度5的脉冲振动。并且，当用户的手指继续在显示器350上移动至像素353时，处理器可以确定具有强度3的点击效果。
当用户在显示器350的表面上移动他/她的手指时，这些触觉效果被配置成使用户感觉到在显示器350的表面上的纹理。在一些实施例中，处理器可以与多于一个致动器通信，并且每种颜色都可以与其自己的致动器相关联。在其他实施例中，颜色、强度、以及触觉效果的不同组合可以用于使用户感觉到显示器的表面上的纹理。
图4是根据本发明的一个实施例的用于纹理引擎的方法的流程图，关于图1中所示的设备对其进行论述。如图4中所示，当处理器110接收到包括多个像素402的显示信号时，方法400开始。显示信号可以包括视频图形阵列(vga)、高清晰度多媒体接口(hdmi)、高级视频图形阵列(svga)、视频、二分量视频(s-video)、或本领域中已知的其他类型的显示信号。显示信号可以包括图形用户界面或者消息发送设备将经由显示器116向用户显示的其他图像。
然后，触摸敏感界面114将界面信号传送至处理器110，其接收界面信号404。在一些实施例中，触摸敏感界面114可以包括触摸屏或者触摸板。例如，在一些实施例中，触摸敏感界面114可以包括装配在被配置成接收显示信号并将图像输出至用户的显示器的顶部上的触摸屏。在其他实施例中，触摸敏感界面可以包括按钮、开关、滚轮、滚动球、或本领域中已知的某种其他类型的物理设备接口。在一些实施例中，处理器110与单个触摸敏感界面114通信。在其他实施例中，处理器110与多个触摸敏感界面114通信，例如，触摸屏和滚动球。触摸敏感界面114被配置成检测用户交互，并且至少部分地基于该用户交互将信号传送至处理器。在一些实施例中，触摸敏感界面114可以被配置成检测用户交互的多个方面。例如，触摸敏感界面114可以检测用户交互的速度和压力，并且将该信息合并到界面信号中。
接下来，处理器110确定包括纹理406的触觉效果。该触觉效果可以包括用户可以通过触摸敏感界面或操纵机构的表面感觉到的振动。在一些实施例中，该振动可以使用户感觉到在触摸敏感界面的表面上的纹理。例如，皮革、雪、沙子、冰、皮肤、或某种其他表面的纹理。在一些实施例中，确定触觉效果可以包括确定触觉效果的一系列计算。在其他实施例中，确定触觉效果可以包括访问查找表以确定合适的触觉效果。在还有的其他实施例中，确定触觉效果可以包括查找表和算法的组合。
在一些实施例中，确定触觉效果可以包括触觉映射。在这样的实施例中，确定触觉效果可以包括将显示信号映射至致动器。例如，显示信号可以包括多个像素，每个像素均与颜色相关联。在这样的实施例中，确定触觉效果可以包括将触觉效果分配给每种颜色。然后，处理器110将输出包括该触觉效果的触觉信号。在一些实施例中，处理器110可以将触觉效果仅分配给显示信号中的一些像素。例如，在这样的实施例中，触觉效果可以仅与显示信号的一部分相关联。
在一些实施例中，处理器110可以至少部分地基于用户交互或触发来确定触觉效果。在这样的实施例中，处理器110从触摸敏感界面114接收界面信号，并且至少部分地基于该界面信号来确定触觉效果。例如，在一些实施例中，处理器110可以基于从触摸敏感界面114接收到的界面信号来确定不同强度的触觉效果。例如，如果触摸敏感界面114检测到高压力用户交互，则处理器110可以确定高强度触觉效果。在另一实施例中，如果触摸敏感界面114检测到低压力用户交互，则处理器110可以确定低强度触觉效果。在还有的其他实施例中，当触摸敏感界面114检测到低速度用户交互时，处理器110可以确定低强度触觉效果。而且，当触摸敏感界面114检测到高速度用户交互时，处理器110可以确定高强度触觉效果。在还有的其他实施例中，处理器110可以确定没有触觉效果，除非其从触摸敏感界面114接收到包括用户交互的界面信号。
最后，处理器110将与触觉效果相关联的触觉信号发送至致动器118，其被配置成接收触觉信号并且输出触觉效果408。致动器118被配置成从处理器110接收触觉信号，并且生成触觉效果。致动器118可以是例如压电致动器、电动机、电磁致动器、音圈、线性谐振致动器、形状记忆合金、电活性聚合物、螺线管、偏心转动惯量电动机(ERM)、或线性谐振致动器(LRA)。
图5a是根据本发明的一个实施例的纹理引擎可以生成的纹理之一的图示。图5a中所示的实施例包括砖块。砖块的纹理通过具有来自砖块的粗糙不规则纹理、介入来自灰浆的砂质凹部感觉来表征。在用户的手指移动的同时，用于纹理引擎的系统可以通过用介质达到高最大方差的随机信号驱动诸如LRA、LPA或FPA的致动器来生成砖块的粗糙不规则纹理。在一些实施例中，该方差可以被调节用于不同粗糙度。在一些实施例中，从砖块到灰浆的过渡可以通过由ERM创建的高持续时间弹出(high duration pop)来提供。另外，如果灰浆足够厚，则可以通过用具有比用于驱动输出砖块的纹理的致动器更高的方差的较低幅度信号驱动致动器来提供精细纹理。
图5b是根据本发明的一个实施例的纹理引擎可以生成的纹理之一的图示。图5b中所示的实施例包括岩石。岩石的纹理通过当用户从岩石移动到岩石时过渡(transition)介入的光滑表面来表征。为了输出岩石的纹理，诸如FPA的致动器被用于创建低摩擦的斑片。各个岩石可以通过所显示的图像的非虚拟边缘图来提供，并且当触摸敏感界面检测到用户的运动时，将高幅度触觉信号输出至致动器，诸如LPA或ERM。例如，无论何时触摸敏感界面检测到用户的手指正从岩石过渡到岩石，都输出触觉效果。
图5c是根据本发明的一个实施例的纹理引擎可以生成的纹理之一的图示。图5c中所示的实施例包括沙子或沙纸。沙子通过粗糙有砂砾的感觉以及在用户的手指前建立一堆沙粒的感觉来表征。为了输出沙子的粗糙有砂砾的纹理，在用户的手指移动的同时，诸如LRA、LPA或FPA的致动器通过具有高最大方差的随机信号被驱动。在一些实施例中，处理器可以调节信号的方差，以创建不同程度的粗糙度。为了创建沙子堆积的感觉，可以使用诸如FPA的致动器。在这样的实施例中，当用户跨过触摸屏移动他们的手指时，处理器将用信号来驱动致动器，该信号以低强度开始并且随着用户在一个方向上移动他/她的手指逐步加强。
在另一实施例中，图5c中所示的纹理可以包括沙纸。沙纸通过具有粗糙有砂砾的感觉来表征。为了创建粗糙有砂砾的感觉，处理器用具有高最大方差的随机信号来驱动致动器，诸如LRA、LPA或FPA。在一些实施例中，仅当用户的手指正跨过触摸敏感界面的表面移动时，才输出该信号。在一些实施例中，处理器可以调节信号的方差，以改变粗糙度的等级。
图5d是根据本发明的一个实施例的纹理引擎可以生成的纹理之一的图示。在图5c中所示的实施例中，纹理包括草的纹理。草通过几乎使用户的手指觉得痒的周期性轻感觉(periodic light sensation)来表征。为了创建草的感觉，处理器可以用被配置成创建通过多块草地覆盖的低摩擦的斑片的信号来驱动诸如FPA的致动器。在一些实施例中，当用户界面检测到用户交互时，处理器可以通过具有所显示的图像的非虚拟边缘图并且将低幅度信号输出至诸如LPA或ERM的致动器来提供各个草叶。
图5e是根据本发明的一个实施例的纹理引擎可以生成的纹理之一的图示。在图5e中所示的实施例中，纹理包括织物的纹理。织物通过轻平滑感(light smooth sensation)来表征。为了创建织物的纹理的感觉，当用户的手指跨过触摸敏感界面的表面移动时，处理器可以用低幅度高频信号来驱动诸如LPA或LRA的致动器。
图5f是根据本发明的一个实施例的纹理引擎可以生成的纹理之一的图示。在图5f中所示的实施例中，纹理包括水或糖蜜的纹理。水通过几乎没有感觉来表征。然而，扰乱的水可以溅射到周围并且撞击用户的手指。为了模仿水的纹理，处理器可以驱动诸如FPA的致动器以减少在触摸传感器界面的表面上的摩擦。为了模仿水溅射，处理器可以仅当用户正触摸屏幕时才输出触觉信号。为了模仿诸如糖蜜或油的更粘的流体的纹理，当用户的手指跨过触摸敏感界面的表面移动时，处理器可以用被配置成增加用户的手指上的摩擦的信号来驱动致动器。
图5g是根据本发明的一个实施例的纹理引擎可以生成的纹理之一的图示。在图5g中所示的实施例中，纹理包括皮革的纹理。皮革通过包括皮革的表面的凸起和凹部的整体光滑感觉来表征。为了创建皮革的纹理的感觉，处理器可以用被配置成当用户的手指跨过触摸敏感界面的表面移动时输出减小摩擦的触觉效果的信号来驱动诸如FPA的致动器。处理器可以通过在触摸敏感界面检测到用户的手指正在移动时用非常短的低幅度触觉信号驱动致动器来输出裂纹和凸起。
图5g是根据本发明的一个实施例的纹理引擎可以生成的纹理之一的图示。在图5e中所示的实施例中，纹理包括木头的纹理。木头可以通过当用户从木板(board)移动到木板时通过尖锐过渡(sharptransition)介入的不规则崎岖不平纹理来表征。为了创建不规则崎岖不平纹理，处理器可以用所显示的图像的非虚拟边缘图来驱动诸如LRA、LPA、或FPA的致动器，并且当用户的手指正在移动时多次用非常短的低幅度信号来驱动致动器。为了输出从厚木板到厚木板的过渡，处理器可以输出被配置成使致动器生成高幅度短持续时间弹出的触觉信号。
在其他实施例中，可以输出与不同纹理相关联的触觉效果。例如，在一个实施例中，处理器可以传送被配置成使致动器输出被配置成使用户感觉到与冰的纹理相关联的纹理的触觉效果的触觉信号。冰通过低摩擦来表征，在一些实施例中，冰具有完全光滑的纹理。在其他实施例中，冰包括精细低幅度砂质纹理。为了创建冰的纹理，处理器可以确定被配置成使致动器在用户跨过触摸敏感界面的表面移动时尽可能多地减少摩擦的触觉信号。在另一实施例中，处理器可以用被配置成在用户移动他们的手指的同时输出低幅度效果的触觉信号来驱动诸如LPA或LRA的致动器。这些低幅度效果可以与冰的表面上的不完美性或粗砂(grit)相关联。
在另一实施例中，处理器可以用被配置成使致动器输出接近蜥蜴皮肤的纹理的触觉效果的信号来驱动致动器。蜥蜴皮肤通过由从皮肤上的凸起到凸起的过渡介入的整体光滑感觉来表征。为了实现包括蜥蜴皮肤的纹理的触觉效果，处理器可以用被配置成使致动器创建在触摸敏感界面上的低摩擦的斑片的触觉信号来驱动致动器。当触摸敏感界面检测到用户的手指正跨过其表面移动时，处理器可以通过定期性地输出高幅度触觉信号在皮肤的表面上提供裂纹。这些高幅度信号可能接近皮肤的表面中的裂纹。
在又一实施例中，处理器可以用被配置成使致动器输出接近皮毛的纹理的触觉效果的信号来驱动致动器。皮毛通过触摸起来非常柔软的定期性光感觉来表征。为了实现包括皮毛的纹理的触觉效果，处理器可以用被配置成使致动器输出被配置成减少用户在触摸敏感界面的表面上感觉到的摩擦的触觉效果的触觉信号来驱动致动器。当触摸敏感界面检测到用户的运动时，处理器可以进一步提供输出低幅度脉冲触觉信号的各个毛发。
在又一实施例中，处理器可以用被配置成使致动器输出接近金属的纹理的触觉效果的信号来驱动致动器。金属通过光滑低摩擦表面来表征，在一些实施例中，其包括光粗砂(light grit)。为了实现包括金属的纹理的触觉效果，处理器可以用被配置成降低用户在触摸敏感界面的表面上感觉到的摩擦的信号来驱动致动器。在一些实施例中，处理器可以通过当触摸敏感界面检测到用户正在其表面上移动时输出短暂的高幅度触觉信号来提供各个凸起。这些短暂的高幅度信号可以接近金属的表面上的粗砂。
在还有的其他实施例中，处理器可以用被配置成使致动器输出接近另一感觉(例如，热)的触觉效果的信号来驱动致动器。在这样的实施例中，当用户触摸与热相关联的显示器的元件时，处理器可以输出被配置成使致动器输出高频摇动效果的触觉信号。
用于纹理引擎的系统和方法的优点
存在用于纹理引擎的系统和方法的多种优点。例如，纹理引擎的系统和方法将先前未使用的触觉效果添加至移动设备。该新效果为用户提供用于从移动设备接收信息的新途径，而用户不必须注视移动设备的显示器。例如，纹理引擎的系统和方法可以允许用户将不同纹理分配给不同图标、按钮、或他们的显示器的其他组件。因此，用户能够在不必须注视该图标的情况下确定他们正在触摸哪个图标。这可以增加设备的可用性，并且可以使设备对视觉受损更加有用。
而且，因为用于纹理引擎的系统和方法向用户提供了更多信息，而不使用户从其他任务分心，所以其将减少用户错误。例如，如果用户利用用于纹理引擎的系统和方法，则用户将不太可能击中错误图标或者按压错误按键。该功能性可以用于增加用户满意度并且增加对合并用于纹理引擎的系统和方法的技术的采用率。
总体考虑
在此的“适于”或“配置成”的使用意味着不阻止适于或被配置成执行附加任务或步骤的开放式和包含语言。另外，“基于”的使用意味着开放式和包含，这是因为“基于”一个或多个记载的条件或值的处理、步骤、计算或其他动作实际上可以基于超过所记载的那些的附加条件或值。在此包括的标题、列表和编号仅用于更容易地解释，并且不意味着是限制性的。
根据本主题的多个方面的实施例可以在数字电子电路中、在计算机硬件、固件、软件中或者在前述结合中实现。在一个实施例中，计算机可以包括一个或多个处理器。处理器包括或能够对计算机可读介质进行访问，计算机可读介质诸如耦合至处理器的随机存取存储器(RAM)。处理器执行在存储器中存储的计算机可执行程序指令，诸如执行包括传感器采样例程、触觉效果选择例程、以及产生信号以生成上述所选择的触觉效果的合适程序设计的一个或多个计算机程序。
这样的处理器可以包括微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、以及状态机。这样的处理器可以进一步包括可编程电子器件，诸如PLC、可编程中断控制器(PIC)、可编程逻辑器件(PLD)、可编程只读存储器(PROM)、电可编程只读存储器(EPROM或EEPROM)、或其他类似设备。
这样的处理器可以包括或可以与可以存储指令的介质(例如，有形计算机可读介质)通信，当由处理器执行指令时，可以使处理器执行如由处理器执行或辅助的在此所述的步骤。计算机可读介质的实施例可以包括但不限于能够向诸如网络服务器中的处理器的处理器提供计算机可读指令的所有电子、光学、磁性或其他存储设备。介质的其他示例包括但不限于软盘、CD-ROM、磁盘、存储器芯片、ROM、RAM、ASIC、配置的处理器、所有光学介质、所有磁带或其他磁性介质、或计算机处理器可以从其读取的任何其他介质。而且，多种其他设备可以包括计算机可读介质，诸如路由器、专用或公共网络、或其他传输设备。处理器和描述的处理可以是一个或多个指令，并且可以通过一个或多个指令来散布。处理器可以包括用于执行在此所述的一种或多种方法(或方法的多个部分)的代码。
虽然已经关于其特定实施例详细地描述了本主题，但是将理解，本领域技术人员在获得前述理解时可以容易地产生对这样的实施例的替换、变化以及等同物。因此，应当理解，本公开被呈现用于举例而不是限制的目的，并且不排除对本主题的这样的修改、变化和/或添加的包含，这对于本领域普通技术人员来说将很容易是显而易见的。

Claims (24)

1.一种系统，包括：
处理器，所述处理器被配置成：
接收包括多个像素的显示信号；
确定包括纹理的触觉效果；以及
传送与所述触觉效果相关联的触觉信号；
致动器，所述致动器与所述处理器通信，所述致动器被配置成接收所述触觉信号并且输出所述触觉效果。
2.根据权利要求1所述的系统，其中，所述纹理是振动触觉效果。
3.根据权利要求1所述的系统，其中，所述纹理包括以下纹理：沙子、蜥蜴皮肤或砖块。
4.根据权利要求1所述的系统，其中，所述致动器包括以下之一：偏心转动惯量电动机、线性谐振致动器、形状记忆合金、电活性聚合物或压电致动器。
5.根据权利要求1所述的系统，其中，所述触觉效果至少部分地基于所述显示信号来确定。
6.根据权利要求5所述的系统，其中，所述多个像素中的每个与颜色相关联，并且其中，确定所述触觉效果包括将触觉值分配给所述颜色。
7.根据权利要求6所述的系统，其中，确定所述触觉效果包括：将触觉值仅分配给所述多个像素中的一些。
8.根据权利要求6所述的系统，其中，每种颜色包括强度，并且确定所述触觉效果进一步包括：调节所述触觉值以对应于所述强度。
9.根据权利要求1所述的系统，进一步包括：与所述处理器通信的显示器，所述显示器被配置成接收所述显示信号并且输出图像。
10.根据权利要求9所述的系统，其中，所述纹理被输出到所述显示器的表面上。
11.根据权利要求9所述的系统，其中，所述致动器耦合至所述显示器。
12.根据权利要求1所述的系统，进一步包括：壳体，所述壳体被配置成包围所述致动器和所述处理器。
13.根据权利要求12所述的系统，其中，所述壳体包括移动设备壳体。
14.根据权利要求12所述的系统，其中，所述致动器耦合至所述壳体。
15.根据权利要求1所述的系统，进一步包括：触摸敏感界面，触摸敏感界面被配置成检测用户交互，并且至少部分地基于所述用户交互将传感器信号传送至所述处理器。
16.根据权利要求15所述的系统，其中，所述处理器被进一步配置成至少部分地基于所述传感器信号来确定所述触觉效果。
17.根据权利要求16所述的系统，其中，所述触摸敏感界面被配置成检测所述用户交互的速度，并且其中，确定所述触觉效果包括：调节所述触觉效果以与所述用户交互的所述速度对应。
18.根据权利要求16所述的系统，其中，所述触摸敏感界面被配置成检测所述用户交互的压力，并且其中，确定所述触觉效果包括：调节所述触觉效果的强度以与所述用户交互的所述压力对应。
19.一种用于输出触觉效果的方法，包括：
接收包括多个像素的显示信号；
确定包括纹理的触觉效果；以及
将与所述触觉效果相关联的触觉信号传送至致动器，所述致动器被配置成接收所述触觉信号并且输出所述触觉效果。
20.根据权利要求19所述的方法，其中，所述触觉效果至少部分地基于所述显示信号来确定。
21.根据权利要求20所述的方法，其中，所述多个像素中的每个与颜色相关联，并且其中，确定所述触觉效果包括：将触觉值分配给每种颜色。
22.根据权利要求20所述的方法，其中，每种颜色包括强度，并且确定所述触觉效果进一步包括：使所述触觉值与所述强度相关联。
23.根据权利要求20所述的方法，进一步包括：从触摸敏感界面接收界面信号，并且其中，所述触觉效果至少部分地基于所述界面信号来确定。
24.一种系统，包括：
触摸敏感界面，所述触摸敏感界面被配置成检测用户交互并且传送与所述用户交互相对应的信号，所述触摸敏感界面被配置成检测所述用户交互的所述速度和压力；
处理器，所述处理器与所述触摸敏感界面通信，所述处理器被配置成：
接收包括多个像素的显示信号，其中，每个像素包括颜色和强度；
至少部分地基于每个像素的所述颜色和强度以及所述用户交互的所述速度和压力来确定触觉效果；以及
传送与所述触觉效果相关联的触觉信号；
致动器，所述致动器与所述处理器通信，所述致动器被配置成接收所述触觉信号并且输出所述触觉效果。
CN201080011743.9A 2009-03-12 2010-03-11 用于纹理引擎的系统和方法 Active CN102349038B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610662488.3A CN106339169B (zh) 2009-03-12 2010-03-11 用于纹理引擎的系统和方法

Applications Claiming Priority (19)

Application Number Priority Date Filing Date Title
US15948209P 2009-03-12 2009-03-12
US61/159,482 2009-03-12
US26203809P 2009-11-17 2009-11-17
US26204109P 2009-11-17 2009-11-17
US61/262,041 2009-11-17
US61/262,038 2009-11-17
US12/697,037 2010-01-29
US12/696,908 US10007340B2 (en) 2009-03-12 2010-01-29 Systems and methods for interfaces featuring surface-based haptic effects
US12/696,893 2010-01-29
US12/696,893 US9746923B2 (en) 2009-03-12 2010-01-29 Systems and methods for providing features in a friction display wherein a haptic effect is configured to vary the coefficient of friction
US12/697,042 2010-01-29
US12/697,010 US9874935B2 (en) 2009-03-12 2010-01-29 Systems and methods for a texture engine
US12/696,900 US9696803B2 (en) 2009-03-12 2010-01-29 Systems and methods for friction displays and additional haptic effects
US12/697,010 2010-01-29
US12/697,042 US10564721B2 (en) 2009-03-12 2010-01-29 Systems and methods for using multiple actuators to realize textures
US12/697,037 US9927873B2 (en) 2009-03-12 2010-01-29 Systems and methods for using textures in graphical user interface widgets
US12/696,908 2010-01-29
US12/696,900 2010-01-29
PCT/US2010/026909 WO2010105012A1 (en) 2009-03-12 2010-03-11 Systems and methods for a texture engine

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201610662488.3A Division CN106339169B (zh) 2009-03-12 2010-03-11 用于纹理引擎的系统和方法

Publications (2)

Publication Number Publication Date
CN102349038A true CN102349038A (zh) 2012-02-08
CN102349038B CN102349038B (zh) 2016-08-24

Family

ID=73451201

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080011743.9A Active CN102349038B (zh) 2009-03-12 2010-03-11 用于纹理引擎的系统和方法

Country Status (5)

Country Link
EP (1) EP2406704A1 (zh)
JP (1) JP5779508B2 (zh)
KR (2) KR102003426B1 (zh)
CN (1) CN102349038B (zh)
WO (1) WO2010105012A1 (zh)

Cited By (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102662477A (zh) * 2012-05-10 2012-09-12 孙晓颖 一种基于静电力触觉再现的装置
CN104750309A (zh) * 2013-12-31 2015-07-01 意美森公司 摩擦增强型控件和将触摸控制面板的按钮转换成摩擦增强型控件的方法
CN104750411A (zh) * 2013-12-31 2015-07-01 意美森公司 提供触觉通知的系统和方法
CN105556423A (zh) * 2013-06-11 2016-05-04 意美森公司 用于基于压力的触觉效果的系统和方法
CN105589557A (zh) * 2014-11-12 2016-05-18 乐金显示有限公司 触觉对象的触觉信号的建模方法、显示设备及其驱动方法
CN105955520A (zh) * 2015-03-08 2016-09-21 苹果公司 用于控制媒体呈现的设备和方法
US10067653B2 (en) 2015-04-01 2018-09-04 Apple Inc. Devices and methods for processing touch inputs based on their intensities
US10067645B2 (en) 2015-03-08 2018-09-04 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10073615B2 (en) 2012-05-09 2018-09-11 Apple Inc. Device, method, and graphical user interface for displaying user interface objects corresponding to an application
US10073527B2 (en) 2009-03-12 2018-09-11 Immersion Corporation Systems and methods for providing features in a friction display including a haptic effect based on a color and a degree of shading
US10078442B2 (en) 2012-12-29 2018-09-18 Apple Inc. Device, method, and graphical user interface for determining whether to scroll or select content based on an intensity theshold
US10095391B2 (en) 2012-05-09 2018-10-09 Apple Inc. Device, method, and graphical user interface for selecting user interface objects
US10095396B2 (en) 2015-03-08 2018-10-09 Apple Inc. Devices, methods, and graphical user interfaces for interacting with a control object while dragging another object
US10101887B2 (en) 2012-12-29 2018-10-16 Apple Inc. Device, method, and graphical user interface for navigating user interface hierarchies
US10126930B2 (en) 2012-05-09 2018-11-13 Apple Inc. Device, method, and graphical user interface for scrolling nested regions
US10162452B2 (en) 2015-08-10 2018-12-25 Apple Inc. Devices and methods for processing touch inputs based on their intensities
US10168826B2 (en) 2012-05-09 2019-01-01 Apple Inc. Device, method, and graphical user interface for transitioning between display states in response to a gesture
US10175864B2 (en) 2012-05-09 2019-01-08 Apple Inc. Device, method, and graphical user interface for selecting object within a group of objects in accordance with contact intensity
US10175757B2 (en) 2012-05-09 2019-01-08 Apple Inc. Device, method, and graphical user interface for providing tactile feedback for touch-based operations performed and reversed in a user interface
US10191627B2 (en) 2012-05-09 2019-01-29 Apple Inc. Device, method, and graphical user interface for manipulating framed graphical objects
US10200598B2 (en) 2015-06-07 2019-02-05 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US10203868B2 (en) 2015-08-10 2019-02-12 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10222980B2 (en) 2015-03-19 2019-03-05 Apple Inc. Touch input cursor manipulation
US10235035B2 (en) 2015-08-10 2019-03-19 Apple Inc. Devices, methods, and graphical user interfaces for content navigation and manipulation
US10248308B2 (en) 2015-08-10 2019-04-02 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interfaces with physical gestures
CN109582150A (zh) * 2013-04-26 2019-04-05 意美森公司 利用触觉单元阵列模拟有形用户界面交互和手势
US10303354B2 (en) 2015-06-07 2019-05-28 Apple Inc. Devices and methods for navigating between user interfaces
US10346030B2 (en) 2015-06-07 2019-07-09 Apple Inc. Devices and methods for navigating between user interfaces
US10387029B2 (en) 2015-03-08 2019-08-20 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus
US10416800B2 (en) 2015-08-10 2019-09-17 Apple Inc. Devices, methods, and graphical user interfaces for adjusting user interface objects
US10437333B2 (en) 2012-12-29 2019-10-08 Apple Inc. Device, method, and graphical user interface for forgoing generation of tactile output for a multi-contact gesture
US10496260B2 (en) 2012-05-09 2019-12-03 Apple Inc. Device, method, and graphical user interface for pressure-based alteration of controls in a user interface
US10620781B2 (en) 2012-12-29 2020-04-14 Apple Inc. Device, method, and graphical user interface for moving a cursor according to a change in an appearance of a control icon with simulated three-dimensional characteristics
CN111052060A (zh) * 2017-10-24 2020-04-21 微芯片技术股份有限公司 包括可配置虚拟小部件的触敏用户界面
US10775994B2 (en) 2012-05-09 2020-09-15 Apple Inc. Device, method, and graphical user interface for moving and dropping a user interface object
US10782871B2 (en) 2012-05-09 2020-09-22 Apple Inc. Device, method, and graphical user interface for providing feedback for changing activation states of a user interface object
US10908808B2 (en) 2012-05-09 2021-02-02 Apple Inc. Device, method, and graphical user interface for displaying additional information in response to a user contact
US11023116B2 (en) 2012-05-09 2021-06-01 Apple Inc. Device, method, and graphical user interface for moving a user interface object based on an intensity of a press input
CN113168083A (zh) * 2018-12-10 2021-07-23 环球城市电影有限责任公司 动画窗系统
US11231831B2 (en) 2015-06-07 2022-01-25 Apple Inc. Devices and methods for content preview based on touch input intensity
US11240424B2 (en) 2015-06-07 2022-02-01 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9927873B2 (en) 2009-03-12 2018-03-27 Immersion Corporation Systems and methods for using textures in graphical user interface widgets
US9448713B2 (en) * 2011-04-22 2016-09-20 Immersion Corporation Electro-vibrotactile display
WO2013157626A1 (ja) * 2012-04-20 2013-10-24 株式会社ニコン 電子機器及び振動制御方法
CN104737096B (zh) * 2012-05-31 2018-01-02 诺基亚技术有限公司 显示装置
JP6071372B2 (ja) * 2012-09-21 2017-02-01 キヤノン株式会社 電子機器及び電子機器の制御方法
US9196134B2 (en) * 2012-10-31 2015-11-24 Immersion Corporation Method and apparatus for simulating surface features on a user interface with haptic effects
JP6020083B2 (ja) * 2012-11-19 2016-11-02 アイシン・エィ・ダブリュ株式会社 操作支援システム、操作支援方法及びコンピュータプログラム
US9330544B2 (en) * 2012-11-20 2016-05-03 Immersion Corporation System and method for simulated physical interactions with haptic effects
SG11201404795WA (en) * 2013-09-26 2015-05-28 Fujitsu Ltd Drive control apparatus, electronic device, and drive control method
JP6289100B2 (ja) * 2014-01-06 2018-03-07 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
WO2015121970A1 (ja) 2014-02-14 2015-08-20 富士通株式会社 教育用触感提供装置、及び、システム
WO2015121969A1 (ja) * 2014-02-14 2015-08-20 富士通株式会社 触感提供装置、及び、システム
JPWO2015121964A1 (ja) * 2014-02-14 2017-03-30 富士通株式会社 入力装置
WO2015121971A1 (ja) * 2014-02-14 2015-08-20 富士通株式会社 触感提供装置、及び、システム
WO2015143121A1 (en) * 2014-03-21 2015-09-24 Immersion Corporation System, method and computer-readable medium for force-based object manipulation and haptic sensations
US9645646B2 (en) * 2014-09-04 2017-05-09 Intel Corporation Three dimensional contextual feedback wristband device
JP2016057764A (ja) * 2014-09-08 2016-04-21 株式会社東海理化電機製作所 触覚呈示装置
EP4141622B1 (en) * 2017-07-27 2024-01-31 Telefonaktiebolaget LM Ericsson (publ) Improved perception of haptic objects
JP7087367B2 (ja) * 2017-12-08 2022-06-21 富士フイルムビジネスイノベーション株式会社 情報処理装置、プログラム及び制御方法
JP7345387B2 (ja) * 2019-12-26 2023-09-15 Kddi株式会社 触感提示システム、触感提示システムのローカル端末およびサーバ装置ならびに触感提示方法および触感提示プログラム
WO2023108131A1 (en) * 2021-12-10 2023-06-15 Shaw Industries Group, Inc. Visceral surface covering simulator and method of use
KR102504937B1 (ko) 2021-12-22 2023-03-02 현대건설기계 주식회사 건설장비의 원격조종 시스템
KR102654176B1 (ko) 2022-01-10 2024-04-04 울산과학기술원 기계 학습 모델을 이용하여 시각 기반 촉감 출력을 위한 컴퓨터 장치 및 그의 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050057528A1 (en) * 2003-09-01 2005-03-17 Martin Kleen Screen having a touch-sensitive user interface for command input
US20060119586A1 (en) * 2004-10-08 2006-06-08 Immersion Corporation, A Delaware Corporation Haptic feedback for button and scrolling action simulation in touch input devices
US20060209037A1 (en) * 2004-03-15 2006-09-21 David Wang Method and system for providing haptic effects
EP1748350A2 (en) * 2005-07-28 2007-01-31 Avago Technologies General IP (Singapore) Pte. Ltd Touch device and method for providing tactile feedback
US20080068348A1 (en) * 1998-06-23 2008-03-20 Immersion Corporation Haptic feedback for touchpads and other touch controls

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001290572A (ja) * 2000-04-05 2001-10-19 Fuji Xerox Co Ltd 情報処理装置
JP2003099177A (ja) * 2001-09-21 2003-04-04 Fuji Xerox Co Ltd 触覚情報作成方法、触覚情報提示方法および触覚情報提示装置
US6703924B2 (en) * 2001-12-20 2004-03-09 Hewlett-Packard Development Company, L.P. Tactile display apparatus
JP3852368B2 (ja) * 2002-05-16 2006-11-29 ソニー株式会社 入力方法及びデータ処理装置
JP2004310518A (ja) * 2003-04-08 2004-11-04 Fuji Xerox Co Ltd 画像情報処理装置
US20060024647A1 (en) * 2004-07-30 2006-02-02 France Telecom Method and apparatus for communicating graphical information to a visually impaired person using haptic feedback
KR100791379B1 (ko) * 2006-01-02 2008-01-07 삼성전자주식회사 사용자 인터페이스 시스템 및 방법
US20080122589A1 (en) * 2006-11-28 2008-05-29 Ivanov Yuri A Tactile Output Device
US9170649B2 (en) * 2007-12-28 2015-10-27 Nokia Technologies Oy Audio and tactile feedback based on visual environment
US8766786B2 (en) * 2008-02-04 2014-07-01 Nokia Corporation Device and method for providing tactile information

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080068348A1 (en) * 1998-06-23 2008-03-20 Immersion Corporation Haptic feedback for touchpads and other touch controls
US20050057528A1 (en) * 2003-09-01 2005-03-17 Martin Kleen Screen having a touch-sensitive user interface for command input
US20060209037A1 (en) * 2004-03-15 2006-09-21 David Wang Method and system for providing haptic effects
US20060119586A1 (en) * 2004-10-08 2006-06-08 Immersion Corporation, A Delaware Corporation Haptic feedback for button and scrolling action simulation in touch input devices
EP1748350A2 (en) * 2005-07-28 2007-01-31 Avago Technologies General IP (Singapore) Pte. Ltd Touch device and method for providing tactile feedback

Cited By (93)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10073527B2 (en) 2009-03-12 2018-09-11 Immersion Corporation Systems and methods for providing features in a friction display including a haptic effect based on a color and a degree of shading
US10747322B2 (en) 2009-03-12 2020-08-18 Immersion Corporation Systems and methods for providing features in a friction display
US10942570B2 (en) 2012-05-09 2021-03-09 Apple Inc. Device, method, and graphical user interface for providing tactile feedback for operations performed in a user interface
US10969945B2 (en) 2012-05-09 2021-04-06 Apple Inc. Device, method, and graphical user interface for selecting user interface objects
US11947724B2 (en) 2012-05-09 2024-04-02 Apple Inc. Device, method, and graphical user interface for providing tactile feedback for operations performed in a user interface
US11354033B2 (en) 2012-05-09 2022-06-07 Apple Inc. Device, method, and graphical user interface for managing icons in a user interface region
US11314407B2 (en) 2012-05-09 2022-04-26 Apple Inc. Device, method, and graphical user interface for providing feedback for changing activation states of a user interface object
US11221675B2 (en) 2012-05-09 2022-01-11 Apple Inc. Device, method, and graphical user interface for providing tactile feedback for operations performed in a user interface
US11068153B2 (en) 2012-05-09 2021-07-20 Apple Inc. Device, method, and graphical user interface for displaying user interface objects corresponding to an application
US11023116B2 (en) 2012-05-09 2021-06-01 Apple Inc. Device, method, and graphical user interface for moving a user interface object based on an intensity of a press input
US11010027B2 (en) 2012-05-09 2021-05-18 Apple Inc. Device, method, and graphical user interface for manipulating framed graphical objects
US10073615B2 (en) 2012-05-09 2018-09-11 Apple Inc. Device, method, and graphical user interface for displaying user interface objects corresponding to an application
US10996788B2 (en) 2012-05-09 2021-05-04 Apple Inc. Device, method, and graphical user interface for transitioning between display states in response to a gesture
US10175757B2 (en) 2012-05-09 2019-01-08 Apple Inc. Device, method, and graphical user interface for providing tactile feedback for touch-based operations performed and reversed in a user interface
US10095391B2 (en) 2012-05-09 2018-10-09 Apple Inc. Device, method, and graphical user interface for selecting user interface objects
US10191627B2 (en) 2012-05-09 2019-01-29 Apple Inc. Device, method, and graphical user interface for manipulating framed graphical objects
US10496260B2 (en) 2012-05-09 2019-12-03 Apple Inc. Device, method, and graphical user interface for pressure-based alteration of controls in a user interface
US10114546B2 (en) 2012-05-09 2018-10-30 Apple Inc. Device, method, and graphical user interface for displaying user interface objects corresponding to an application
US10126930B2 (en) 2012-05-09 2018-11-13 Apple Inc. Device, method, and graphical user interface for scrolling nested regions
US10592041B2 (en) 2012-05-09 2020-03-17 Apple Inc. Device, method, and graphical user interface for transitioning between display states in response to a gesture
US10775994B2 (en) 2012-05-09 2020-09-15 Apple Inc. Device, method, and graphical user interface for moving and dropping a user interface object
US10168826B2 (en) 2012-05-09 2019-01-01 Apple Inc. Device, method, and graphical user interface for transitioning between display states in response to a gesture
US10175864B2 (en) 2012-05-09 2019-01-08 Apple Inc. Device, method, and graphical user interface for selecting object within a group of objects in accordance with contact intensity
US10775999B2 (en) 2012-05-09 2020-09-15 Apple Inc. Device, method, and graphical user interface for displaying user interface objects corresponding to an application
US10481690B2 (en) 2012-05-09 2019-11-19 Apple Inc. Device, method, and graphical user interface for providing tactile feedback for media adjustment operations performed in a user interface
US10908808B2 (en) 2012-05-09 2021-02-02 Apple Inc. Device, method, and graphical user interface for displaying additional information in response to a user contact
US10884591B2 (en) 2012-05-09 2021-01-05 Apple Inc. Device, method, and graphical user interface for selecting object within a group of objects
US10782871B2 (en) 2012-05-09 2020-09-22 Apple Inc. Device, method, and graphical user interface for providing feedback for changing activation states of a user interface object
CN102662477A (zh) * 2012-05-10 2012-09-12 孙晓颖 一种基于静电力触觉再现的装置
US10185491B2 (en) 2012-12-29 2019-01-22 Apple Inc. Device, method, and graphical user interface for determining whether to scroll or enlarge content
US10175879B2 (en) 2012-12-29 2019-01-08 Apple Inc. Device, method, and graphical user interface for zooming a user interface while performing a drag operation
US10915243B2 (en) 2012-12-29 2021-02-09 Apple Inc. Device, method, and graphical user interface for adjusting content selection
US10620781B2 (en) 2012-12-29 2020-04-14 Apple Inc. Device, method, and graphical user interface for moving a cursor according to a change in an appearance of a control icon with simulated three-dimensional characteristics
US10437333B2 (en) 2012-12-29 2019-10-08 Apple Inc. Device, method, and graphical user interface for forgoing generation of tactile output for a multi-contact gesture
US10101887B2 (en) 2012-12-29 2018-10-16 Apple Inc. Device, method, and graphical user interface for navigating user interface hierarchies
US10078442B2 (en) 2012-12-29 2018-09-18 Apple Inc. Device, method, and graphical user interface for determining whether to scroll or select content based on an intensity theshold
CN109582150A (zh) * 2013-04-26 2019-04-05 意美森公司 利用触觉单元阵列模拟有形用户界面交互和手势
CN105556423B (zh) * 2013-06-11 2019-01-15 意美森公司 用于基于压力的触觉效果的系统和方法
CN105556423A (zh) * 2013-06-11 2016-05-04 意美森公司 用于基于压力的触觉效果的系统和方法
US9939904B2 (en) 2013-06-11 2018-04-10 Immersion Corporation Systems and methods for pressure-based haptic effects
US10488931B2 (en) 2013-06-11 2019-11-26 Immersion Corporation Systems and methods for pressure-based haptic effects
CN104750309A (zh) * 2013-12-31 2015-07-01 意美森公司 摩擦增强型控件和将触摸控制面板的按钮转换成摩擦增强型控件的方法
CN104750411A (zh) * 2013-12-31 2015-07-01 意美森公司 提供触觉通知的系统和方法
CN104750411B (zh) * 2013-12-31 2020-01-21 意美森公司 提供触觉通知的系统和方法
CN104750309B (zh) * 2013-12-31 2019-12-03 意美森公司 将触摸面板的按钮转换成摩擦增强型控件的方法和系统
CN105589557B (zh) * 2014-11-12 2018-06-08 乐金显示有限公司 触觉对象的触觉信号的建模方法、显示设备及其驱动方法
CN105589557A (zh) * 2014-11-12 2016-05-18 乐金显示有限公司 触觉对象的触觉信号的建模方法、显示设备及其驱动方法
US9984479B2 (en) 2014-11-12 2018-05-29 Lg Display Co., Ltd. Display apparatus for causing a tactile sense in a touch area, and driving method thereof
US11112957B2 (en) 2015-03-08 2021-09-07 Apple Inc. Devices, methods, and graphical user interfaces for interacting with a control object while dragging another object
US10860177B2 (en) 2015-03-08 2020-12-08 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10268341B2 (en) 2015-03-08 2019-04-23 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10402073B2 (en) 2015-03-08 2019-09-03 Apple Inc. Devices, methods, and graphical user interfaces for interacting with a control object while dragging another object
US10268342B2 (en) 2015-03-08 2019-04-23 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10067645B2 (en) 2015-03-08 2018-09-04 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10613634B2 (en) 2015-03-08 2020-04-07 Apple Inc. Devices and methods for controlling media presentation
CN105955520B (zh) * 2015-03-08 2019-02-19 苹果公司 用于控制媒体呈现的设备和方法
US10387029B2 (en) 2015-03-08 2019-08-20 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus
US10095396B2 (en) 2015-03-08 2018-10-09 Apple Inc. Devices, methods, and graphical user interfaces for interacting with a control object while dragging another object
US10180772B2 (en) 2015-03-08 2019-01-15 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
CN105955520A (zh) * 2015-03-08 2016-09-21 苹果公司 用于控制媒体呈现的设备和方法
US10338772B2 (en) 2015-03-08 2019-07-02 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US11054990B2 (en) 2015-03-19 2021-07-06 Apple Inc. Touch input cursor manipulation
US11550471B2 (en) 2015-03-19 2023-01-10 Apple Inc. Touch input cursor manipulation
US10222980B2 (en) 2015-03-19 2019-03-05 Apple Inc. Touch input cursor manipulation
US10599331B2 (en) 2015-03-19 2020-03-24 Apple Inc. Touch input cursor manipulation
US10152208B2 (en) 2015-04-01 2018-12-11 Apple Inc. Devices and methods for processing touch inputs based on their intensities
US10067653B2 (en) 2015-04-01 2018-09-04 Apple Inc. Devices and methods for processing touch inputs based on their intensities
US11240424B2 (en) 2015-06-07 2022-02-01 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US10346030B2 (en) 2015-06-07 2019-07-09 Apple Inc. Devices and methods for navigating between user interfaces
US10303354B2 (en) 2015-06-07 2019-05-28 Apple Inc. Devices and methods for navigating between user interfaces
US11835985B2 (en) 2015-06-07 2023-12-05 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US11681429B2 (en) 2015-06-07 2023-06-20 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US10200598B2 (en) 2015-06-07 2019-02-05 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US10705718B2 (en) 2015-06-07 2020-07-07 Apple Inc. Devices and methods for navigating between user interfaces
US10455146B2 (en) 2015-06-07 2019-10-22 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US11231831B2 (en) 2015-06-07 2022-01-25 Apple Inc. Devices and methods for content preview based on touch input intensity
US10841484B2 (en) 2015-06-07 2020-11-17 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US11327648B2 (en) 2015-08-10 2022-05-10 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10203868B2 (en) 2015-08-10 2019-02-12 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10248308B2 (en) 2015-08-10 2019-04-02 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interfaces with physical gestures
US11182017B2 (en) 2015-08-10 2021-11-23 Apple Inc. Devices and methods for processing touch inputs based on their intensities
US10235035B2 (en) 2015-08-10 2019-03-19 Apple Inc. Devices, methods, and graphical user interfaces for content navigation and manipulation
US10209884B2 (en) 2015-08-10 2019-02-19 Apple Inc. Devices, Methods, and Graphical User Interfaces for Manipulating User Interface Objects with Visual and/or Haptic Feedback
US10162452B2 (en) 2015-08-10 2018-12-25 Apple Inc. Devices and methods for processing touch inputs based on their intensities
US10416800B2 (en) 2015-08-10 2019-09-17 Apple Inc. Devices, methods, and graphical user interfaces for adjusting user interface objects
US10884608B2 (en) 2015-08-10 2021-01-05 Apple Inc. Devices, methods, and graphical user interfaces for content navigation and manipulation
US10754542B2 (en) 2015-08-10 2020-08-25 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10698598B2 (en) 2015-08-10 2020-06-30 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10963158B2 (en) 2015-08-10 2021-03-30 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US11740785B2 (en) 2015-08-10 2023-08-29 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
CN111052060B (zh) * 2017-10-24 2023-11-24 微芯片技术股份有限公司 包括可配置虚拟小部件的触敏用户界面
CN111052060A (zh) * 2017-10-24 2020-04-21 微芯片技术股份有限公司 包括可配置虚拟小部件的触敏用户界面
CN113168083A (zh) * 2018-12-10 2021-07-23 环球城市电影有限责任公司 动画窗系统

Also Published As

Publication number Publication date
JP5779508B2 (ja) 2015-09-16
JP2012520137A (ja) 2012-09-06
WO2010105012A1 (en) 2010-09-16
KR20110130469A (ko) 2011-12-05
KR102003426B1 (ko) 2019-07-24
CN102349038B (zh) 2016-08-24
EP2406704A1 (en) 2012-01-18
KR102051180B1 (ko) 2019-12-02
KR20160110547A (ko) 2016-09-21

Similar Documents

Publication Publication Date Title
CN102349038A (zh) 用于纹理引擎的系统和方法
US10198077B2 (en) Systems and methods for a texture engine
JP6588951B2 (ja) テクスチャを実現するために複数のアクチュエータを用いるシステム及び方法
CN105892921B (zh) 用于使用多个致动器实现纹理的系统和方法
CN102362246A (zh) 用于使用多个致动器实现纹理的系统和方法
CN101910977B (zh) 基于视觉环境的音频和触觉反馈
JP2019050003A (ja) 触覚セルのアレイを用いた有形のユーザ・インターフェース・インタラクション及びジェスチャのシミュレーション
KR20130050251A (ko) 터치 감지 표면들에서의 다중 압력 상호 작용을 위한 시스템들 및 방법들
EP3333674A1 (en) Systems and methods for compliance simulation with haptics
KR101992070B1 (ko) 텍스처 엔진에 대한 시스템 및 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C53 Correction of patent of invention or patent application
CB02 Change of applicant information

Address after: American California

Applicant after: IMMERSION CORPORATION

Address before: American California

Applicant before: Immersion Corp

COR Change of bibliographic data

Free format text: CORRECT: APPLICANT; FROM: IMMERSION CORP. TO: YIMEISEN CO., LTD.

C14 Grant of patent or utility model
GR01 Patent grant