CN105425959A - 用于包括基于表面的触觉效果的界面的系统和方法 - Google Patents

用于包括基于表面的触觉效果的界面的系统和方法 Download PDF

Info

Publication number
CN105425959A
CN105425959A CN201510772201.8A CN201510772201A CN105425959A CN 105425959 A CN105425959 A CN 105425959A CN 201510772201 A CN201510772201 A CN 201510772201A CN 105425959 A CN105425959 A CN 105425959A
Authority
CN
China
Prior art keywords
touch
haptic effect
place
actuator
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510772201.8A
Other languages
English (en)
Inventor
君·曼扭尔·克鲁斯-赫南德斯
丹尼·A·格兰特
阿利·莫达雷斯
安德鲁·格斯林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Immersion Corp
Original Assignee
Immersion Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US12/697,037 external-priority patent/US9927873B2/en
Priority claimed from US12/697,042 external-priority patent/US10564721B2/en
Priority claimed from US12/697,010 external-priority patent/US9874935B2/en
Priority claimed from US12/696,900 external-priority patent/US9696803B2/en
Priority claimed from US12/696,893 external-priority patent/US9746923B2/en
Application filed by Immersion Corp filed Critical Immersion Corp
Priority claimed from CN201080011746.2A external-priority patent/CN102349040B/zh
Publication of CN105425959A publication Critical patent/CN105425959A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B06—GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS IN GENERAL
    • B06B—METHODS OR APPARATUS FOR GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS OF INFRASONIC, SONIC, OR ULTRASONIC FREQUENCY, e.g. FOR PERFORMING MECHANICAL WORK IN GENERAL
    • B06B1/00—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency
    • B06B1/02—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency making use of electrical energy
    • B06B1/06—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency making use of electrical energy operating with piezoelectric effect or with electrostriction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1601—Constructional details related to the housing of computer displays, e.g. of CRT monitors, of flat displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483—Interaction with page-structured environments, e.g. book metaphor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02N—ELECTRIC MACHINES NOT OTHERWISE PROVIDED FOR
    • H02N2/00—Electric machines in general using piezoelectric effect, electrostriction or magnetostriction
    • H02N2/02—Electric machines in general using piezoelectric effect, electrostriction or magnetostriction producing linear motion, e.g. actuators; Linear positioners ; Linear motors
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02N—ELECTRIC MACHINES NOT OTHERWISE PROVIDED FOR
    • H02N2/00—Electric machines in general using piezoelectric effect, electrostriction or magnetostriction
    • H02N2/02—Electric machines in general using piezoelectric effect, electrostriction or magnetostriction producing linear motion, e.g. actuators; Linear positioners ; Linear motors
    • H02N2/06—Drive circuits; Control arrangements or methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163—Indexing scheme relating to constructional details of the computer
    • G06F2200/1637—Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/014—Force feedback applied to GUI
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00—Tactile signalling systems, e.g. personal calling systems

Abstract

描述了用于包括基于表面的触觉效果的界面的系统和方法。一种描述的系统包括：传感器，该传感器被配置成当对象接触触摸表面时，检测触摸区域中的触摸。触摸表面可以对应于显示区域或者可以对应于计算设备或与计算设备对接的外设的非显示表面。该系统可以进一步包括：与处理器通信并且耦合至触摸表面的致动器，该致动器被配置成输出触觉效果；以及处理器，该处理器被配置成选择要生成的触觉效果。可以基于触摸的位置并且识别通过该触摸提供的输入手势和/或在映射至在触摸处或触摸附近的触摸区域中的位置的地点处在图形用户界面中显示的内容来选择触觉效果。触觉效果可以提供纹理，模仿障碍物，和/或调节表面的摩擦系数。

Description

用于包括基于表面的触觉效果的界面的系统和方法
本申请是申请日为2010年3月11日、申请号为201080011746.2、发明创造名称为“用于包括基于表面的触觉效果的界面的系统和方法”的中国专利申请的分案申请。
相关申请的交叉引用
本专利申请要求于2009年3月12日提交的标题为“LocatingFeaturesUsingaFrictionDisplay”的美国临时专利申请No.61/159,482的优先权，通过引用的方式将其全部内容合并于此。
本专利申请要求于2009年11月17日提交的标题为“SystemandMethodforIncreasingHapticBandwidthinanElectronicDevice”的美国临时专利申请No.61/262,041的优先权，通过引用的方式将其全部内容合并于此。
本专利申请要求于2009年11月17日提交的标题为“FrictionRotaryDeviceforHapticFeedback”的美国临时专利申请No.61/262,038的优先权，通过引用的方式将其全部内容合并于此。
本专利申请要求于2010年1月29日提交的标题为“SystemsAndMethodsForProvidingFeaturesInAFrictionDisplay”的美国实用新型专利申请No.12/696,893的优先权，通过引用的方式将其全部内容合并于此。
本专利申请要求于2010年1月29日提交的标题为“SystemsAndMethodsForFrictionDisplaysAndAdditionalHapticEffects”的美国实用新型专利申请No.12/696,900的优先权，通过引用的方式将其全部内容合并于此。
本专利申请要求于2010年1月29日提交的标题为“SystemsAndMethodsForInterfacesFeaturingSurface-BasedHapticEffects”的美国实用新型专利申请No.12/696,908的优先权，通过引用的方式将其全部内容合并于此。
本专利申请要求于2010年1月29日提交的标题为“SystemsAndMethodsForATextureEngine”的美国实用新型专利申请No.12/697,010的优先权，通过引用的方式将其全部内容合并于此。
本专利申请要求于2010年1月29日提交的标题为“SystemsAndMethodsForUsingTexturesInGraphicalUserInterfaceWidgets”的美国实用新型专利申请No.12/697,037的优先权，通过引用的方式将其全部内容合并于此。
本专利申请要求于2010年1月29日提交的标题为“SystemsAndMethodsForUsingMultipleActuatorsToRealizeTextures”的美国实用新型专利申请No.12/697,042的优先权，通过引用的方式将其全部内容合并于此。
背景技术
触摸使能设备正日益流行。例如，移动和其他设备可以配置有触摸敏感显示器，使得用户可以通过触摸敏感显示器的多个部分来提供输入。作为另一示例，与显示器分离的触摸使能表面可以用于输入，诸如触控板、鼠标或其他设备。
例如，用户可以触摸被映射至屏幕上图形用户界面(GUI)的显示器或表面的一部分，诸如按钮或控件(control)。作为另一示例，可以提供手势，诸如，一个或多个触摸的序列、跨过表面的拖拽、或由设备感测到的其他可识别模式。虽然触摸使能显示器和其他基于触摸的界面大大增强了设备功能性，但是仍然存在缺陷。例如，即使在屏幕上显示键盘，习惯于物理键盘的用户在使用触摸使能设备时也可能不具有相同的体验。
发明内容
本发明的实施例可以提供包括基于表面的触觉效果的触摸使能设备，触觉效果包括但不限于纹理的改变、触摸表面的摩擦系数的改变、和/或触摸表面上的边界或障碍物的模仿。通过使用这样的特征，设备可以更加用户友好，并且可以提供整体上更激发兴趣的用户体验。
在一个实施例中，一种系统，包括：传感器，该传感器被配置成当对象接触触摸表面时检测触摸区域中的触摸，触摸区域被映射至图形用户界面的显示区域。触摸表面可以对应于显示区域或者可以对应于计算设备或与计算设备对接的外设的非显示表面。
该系统可以进一步包括与处理器通信并且耦合至触摸表面的致动器，该致动器被配置成输出触觉效果。该系统可以包括与致动器和传感器通信的一个或多个处理器，处理器被配置成基于标识触摸的位置和以下中的至少一个来选择要生成的触觉效果：(a)识别由触摸提供的输入手势或者(b)在被映射至触摸处或附近的触摸区域中的位置的显示区域中的地点处显示在图形用户界面中的内容。处理器可以命令致动器在触摸发生的同时生成所选择的触觉效果，从而提供纹理，模仿障碍物或者边界，和/或提供调节后的显示器的摩擦系数。这些效果可以使用用于提供触觉效果(包括但不限于振动触觉效果)的一个或多个致动器和/或使用以受控方式改变显示器的摩擦系数的致动器来实现。
提及这些说明性实施例并不是为了限制或定义本主题的范围，而是提供帮助其理解的示例。在具体实施方式中讨论了说明性实施例，并且在此提供了进一步的描述。通过检查本说明书和/或通过实施所要求的主题的一个或多个实施例可以进一步理解通过多种实施例提供的优点。
附图说明
在说明书的其余部分中更特别地阐述全部和允许的公开。说明书对以下附图作出参考。
图1A示出了用于提供基于表面的触觉效果的说明性系统。
图1B示出了在图1A中所示的系统的一个实施例的外部视图。
图1C图示了在图1A中所示的系统的另一实施例。
图2是图示可以在一些实施例中用于选择触觉效果的像素200的阵列的视图。
图3是示出用于给界面提供基于表面的触觉效果的说明性方法的流程图。
图4A是图示包括包括触觉使能显示器的计算设备的系统的外部视图的视图。
图4B示出了图4A的设备的横截面图。
图4C至图4D提供了当处理器被配置成响应于识别翻页输入手势而选择触觉效果时，图4A的设备中的图形用户界面的示例。
图5A至图5B中的每个图示了包括包括触摸表面并且与分离显示器对接的计算设备的系统。
具体实施方式
现在对多种和可选示意性实施例和附图详细地作出参考。每个示例都通过解释提供，并且不作为限制。对本领域技术人员将显而易见的是，可以作出修改和改变。例如，如作为一个实施例的一部分所图示或描述的特征可以在另一个实施例中使用，以产生还有的进一步实施例。因此，本公开意在包括落入所附权利要求及其等同物的范围内的修改和变体。
使用可变摩擦界面的设备的说明性示例
本发明的一个说明性实施例包括计算系统，诸如，便携式音乐设备或移动设备(两者都可以从美国加利福尼亚州的库珀蒂诺的苹果公司得到)或者Zune(R)便携式设备(可以从华盛顿的雷蒙德的微软公司得到)。计算系统可以包括和/或可以与一个或多个传感器通信，诸如加速计、以及用于确定相对于在该示例中与设备的屏幕相对应的显示区域的触摸的地点的传感器(例如，光学的、电阻的或电容的)。
当用户与设备交互时，一个或多个致动器被用于提供触觉效果。例如，当用户跨过设备移动手指时，屏幕的摩擦系数可以基于手指的位置、速度、和/或加速度而变化。根据摩擦如何变化，用户可以感知特征和/或纹理。作为特定示例，摩擦可以变化，使得用户感知与屏幕上按钮的边缘相对应的凸起、边界或其他障碍物。如在以下进一步详细论述的，使摩擦系数变化可以以任何数量的方式用于给用户提供反馈。
用于提供基于表面的触觉效果的说明性系统
图1A示出了用于提供基于表面的触觉效果的说明性系统100。特别地，在该示例中，系统100包括包括经由总线106与其他硬件对接的处理器102的计算设备101。内存104包括配置计算设备的操作的程序组件，其可以包括任何合适的有形(并且非瞬时)计算机可读介质，诸如，RAM、ROM、EEPROM等。在该示例中，计算设备101进一步包括一个或多个网络接口设备110、输入/输出(I/O)接口组件112、以及附加存储器114。
网络设备(多个)110可以表示促进网络连接的任何组件。示例包括但不限于有线接口，诸如以太网、USB、IEEE1394；和/或无线接口，诸如IEEE802.11、蓝牙、或用于访问蜂窝电话网络的无线电接口(例如，用于访问CDMA、GSM、UMT、或其他移动通信网络的收发器/天线)。
I/O组件112可以用于促进到诸如一个或多个显示器、键盘、鼠标、扬声器、麦克风和/或用于输入数据或输出数据的其他硬件的设备的连接。存储器114表示非易失性存储器，诸如磁性、光学、或在设备101中包括的其他存储介质。
系统100进一步包括触摸表面116，其在该示例中被整合到设备101中。触摸表面116表示被配置成感测用户的触觉输入的任何表面。一个或多个传感器108被配置成当对象与触摸表面接触时检测触摸区域中的触摸并且通过处理器102来提供用于使用的合适数据。可以使用任何合适数量、类型或配置的传感器。例如，电阻和/或电容传感器可以被嵌入触摸表面116中并且用于确定触摸的地点和其他信息，诸如压力。作为另一示例，光学传感器可以用于确定触摸位置。
在该示例中，与处理器102通信的致动器118耦合至触摸表面116。在一些实施例中，致动器118被配置成输出响应于触觉信号而改变触摸表面的摩擦系数的触觉效果。另外地或替代地，致动器118可以提供以受控方式移动触摸表面的触觉效果。一些触觉效果可以利用耦合至设备的壳体的致动器，并且一些触觉效果可以顺序地和/或一起使用多个致动器。例如，摩擦系数可以通过使表面以不同频率振动而变化。变化的不同组合/顺序可以用于模仿纹理的感觉。
虽然在此示出单个致动器118，但是实施例可以使用相同或不同类型的多个致动器来改变触摸表面的摩擦系数。例如，在一些实施例中使用压电致动器，以以超声频率垂直地和/或水平地转移一些或所有触摸表面116。在一些实施例中，诸如偏心转动惯量电动机和线性谐振致动器的多个致动器可以单独或一起使用，以提供不同纹理、摩擦变化和其他触觉效果。致动器的其他示例包括电活性聚合物、形状记忆合金、静电、和磁致伸缩致动器。
转向内存104，描述示例性程序组件124、126和128以说明在一些实施例中如何将设备配置成提供可变摩擦显示器。在该示例中，检测模块124配置处理器102，以经由传感器(多个)108监控触摸表面116来确定触摸的位置。例如，模块124可以对传感器108进行采样，以便跟踪触摸的存在或不存在，并且如果触摸存在，则随着时间跟踪触摸的地点、路径、速度、加速度、压力和/或其他特性。
触觉效果确定模块126表示分析关于触摸特性的数据以选择要生成的触觉效果的程序组件。例如，在一些实施例中，包括一个或多个触摸的序列的输入手势可以被识别并且与一个或多个触觉效果相关。作为另一示例，触摸表面116的一些或所有区域可以被映射至图形用户界面。可以基于触摸的地点来选择不同的触觉效果，以便通过改变触摸表面116的摩擦来模仿特征的存在，使得当在界面中看到该特征的相应表示时，“感觉到”该特征。然而，即使在界面中没有显示相应元素(例如，即使没有显示边界，如果界面中的边界交叉，则也可以提供触觉效果)，可以经由触摸表面116来提供触觉效果。
触觉效果生成模块128表示使处理器102生成触觉信号和将触觉信号传送至致动器(多个)118，以至少当触摸发生时生成所选择的触觉效果的程序设计。例如，生成模块128可以访问存储的波形或命令，以发送至致动器118。作为另一示例，触觉效果生成模块128可以接收期望的摩擦系数，并且利用信号处理算法来生成合适信号以发送至致动器(多个)118。作为进一步示例，期望的纹理可以与用于被发送至一个或多个振动触觉致动器的纹理和合适波形的目标坐标一起被指示，以生成表面(和/或其他设备组件)的合适移位，以提供纹理。
根据计算系统的特定配置，触摸表面可以覆盖或不覆盖(或者另外对应于)显示器。在图1B中，示出了计算系统100B的外部视图。计算设备101包括将触摸表面和设备的显示器组合的触摸使能显示器116。触摸表面可以对应于显示器外部或者实际显示器组件之上的一层或多层材料。
在该示例中，基于在图形用户界面130中显示的文本的内容来选择触觉效果。特别地，如界面元件132所指示的，“寻找”命令已经被用于触发搜索查询。触觉效果可以被选择，以在被映射至与所搜索到的内容相对应的用户界面中的位置的触摸区域中的位置处生成触觉效果。在该示例中，触摸表面被直接映射至显示区域，并且因此当所搜索到的内容(词语“patent”)被定位时，在界面130中强调词语“patent”，如在134、136和138处示出的。
根据本主题的多个方面，设备101的处理器(处理)可以选择合适触觉效果，使得当用户在134、136和/或138处或附近触摸屏幕116时，改变屏幕的摩擦系数。例如，这可以允许用户使用他或她的手指“浏览”文本，并且通过较高(或较低)摩擦系数或与其他显示的内容不同的纹理来触觉上强调感兴趣的文本。还可以创建更复杂的效果；例如，可以使用设备101的一个或多个致动器来生成强调词语周围的边界或纹理。
如上所述，触摸表面不需要覆盖显示器。图1C图示了触摸使能计算系统100C的另一示例。在该示例中，计算设备101包括触摸表面116，其被映射至在与设备101对接的计算系统120中包括的显示器122中的提供的图形用户界面。例如，计算设备101可以包括鼠标、触控板、或其他设备，而系统120可以包括桌上型或膝上型计算机、机顶盒(例如，DVD播放器、DVR、有线电视盒)、或另一计算系统。作为另一示例，触摸表面116和显示器122可以包括在同一设备中，诸如包括显示器122的膝上型计算机中的触摸使能触控板。
是否与显示器或其他整合，在此的示例中的2-D矩形触摸表面的描述并不意指是限制性的。其他实施例包括弯曲或不规则触摸使能表面，其进一步被配置成提供基于表面的触觉效果。
返回图1C，在该示例中，在响应于经由触摸表面116输入的用户手势进行选择的处理中，用户界面包括文本内容(词语“检查(Examination)”)。特别地，第一部分140基于手指146通过触摸表面116的区域150的移动而被强调。当选择了该词语时，手指146将移动至在148处示出的位置，同时在图形用户界面中，词语的部分142和144被强调。
响应于手势和/或基于词语的内容可以提供触觉效果。例如，如区域150、152和154的不同交叉晕线所指示的，当词语被强调时，可以改变表面116的摩擦系数。在一些实施例中，所选文本或其他项的内容被用于确定触觉效果。
例如，摩擦可以基于所选文本的“高度地图”改变，并且矮字母(“e”、“r”)具有低高度，并且较高字母(诸如，“l”、“f”)具有较高高度。频率变换可以用于找到词语的频率内容；替代地，字母之间的距离可以用于确定用于词语的“感觉”。作为另一示例，可以简单地基于选择来调节摩擦，诸如当达到词语、短语或其他单位的端部时，摩擦增加；这可以帮助用户避免选择邻近内容的不期望部分。当然，词语之间的边界可以通过标识空间来识别，而本领域中已知的语法分析(例如，分析上下文、用法)可以用于识别短语。
在该示例中，基于左到右强调描述了文本选择。基于表面的文本效果可以与其他类型的选择动作相关联。例如，用户可以通过在原点处触摸并且然后将第二对象向外拖动来拉盒子，并且两个点表示边界框的对角。在选择进行的同时和/或在选择完成之后，可以提供诸如改变摩擦或纹理的触觉效果。另外地或替代地，当选择了区域时，与所选择的区域相对应的触摸区域的部分可以具有不同纹理或摩擦系数。作为另一示例，可以通过边界或周长(例如，触觉点击、弹出、或摩擦变化以标识何时触摸跨过所选择的区域中或之外)在触觉上指示所选择的区域。
用于确定要提供的触觉效果的说明性方法
图2是图示在一些实施例中可以用于基于将检测到的触摸映射至一个或多个像素位置来选择要提供的触觉效果的像素200的阵列的视图。例如，阵列200可以包括具有与每个像素相关联的一个或多个值的位图或其他图像文件，并且该值(多个)被用于确定如何提供触觉效果。该示例示出可相对小数量的像素；实践中，阵列可以包括成千上万个像素。
在一些实施例中，由触摸表面限定的触摸区域内的触摸的位置可以被返回，并且然后被转换为一个或多个像素地址。与像素地址(多个)相关联的一个或多个值可以被访问并且用于驱动触觉设备(包括一个或多个可变摩擦设备)的致动器(多个)。例如，每个像素地址都可以与强度值相关联，强度值与驱动压电致动器的幅度相关。作为更复杂的示例，每个像素地址可以与三个强度值(即，RGB)相关联。在一些实施例中，这三个强度值中的每个可以与不同致动器强度相关联。作为另一示例，一些值可以指定强度，并且其他值指定操作的持续时间。作为进一步示例，不同像素强度值可以与不同的期望纹理或用于驱动致动器以模仿单一纹理的组件相关。更进一步，可以使用多层RGB图像文件，并且每层对应于特定致动器。
在该示例中，第一多个像素202与强度值相关联并且形成“块”，而第二多个像素204形成不同图案。不同图案可能基于对象如何遇到(encounter)图案而导致不同效果。例如，从顶部移动到底部的对象可能遇到由图案202引起的摩擦的第一改变并且然后是由图案204引起的不同变化；以相反顺序(即，底部到顶部)遇到的相同图案可以模仿完全不同的感觉。
触摸表面和图形用户界面之间的映射可以是绝对的或者可以缩放的。例如，在一些实施例中，触摸地点直接与一个或多个相应像素地址相关，并且相关联的值在选择触觉效果中用于驱动致动器(多个)。在其他实施例中，考虑触摸地点和速度。例如，实际触摸地址可以在图案202之上，但是可以与指示朝向图案202的运动的矢量相关联，并且因此图案202中的像素的值被用于及时驱动致动器，用于要适当进行的触觉效果。
图3是示出用于给界面提供基于表面的触觉效果的说明性方法300的流程图。框302表示确定触摸区域中的触摸的位置。例如，处理器可以利用嵌入或查看触摸使能显示器或表面中的一个或多个传感器来跟踪表面上的触摸的位置。基于触摸的当前和/或过去位置，可以确定与映射至触摸区域的图形用户界面的交互。基于该交互，可以选择一种或多种触觉效果，诸如改变触摸表面的摩擦和/或其他效果。
在该示例中，在框304和312处识别交互，其中，该方法在304处首先确定是否指示了手势。诸如基于跨过屏幕的挥扫(swipe)方向和长度、图案中的不连续触摸的序列、或者另一可识别交互，手势可以被识别为一个或多个触摸的序列或者触摸的图案。在该示例中，如果手势被识别，则流程移动至框306，其表示确定与该手势相关联的期望触觉效果。
例如，在手势正在进行的同时，基于由设备的处理器执行的图案识别，“Z”形触摸轨迹可以被识别为一种类型的输入手势。在手势正在进行的同时和/或在手势完成之后，一种或多种触觉效果可以与可对指示要输出的效果的处理器进行访问的数据中的“Z”手势相关联。例如，数据可以提供给表面，以当手势接近完成时呈现纹理或摩擦的改变。另外地或替代地，在手势被识别以便确认手势的输入之后，纹理或显示器的摩擦系数可以改变。
如果在框304处手势未被识别，则流程移动至框312，其中，该方法估计在触摸的位置处或附近是否存在基于GUI的特征。如在此所论述的，多种特征可以呈现在被映射至触摸表面的图形用户界面中，并且特征可以与触觉效果相关联。特征可以对应于或可以不对应于在图形用户界面中实际显示的内容。框312表示确定一个或多个这样的特征是否是在所触摸的地点处或所触摸的地点附近，并且框314表示确定与该特征相对应的一种或多种触觉效果。
例如，基于触摸的速度的用于触摸的当前像素地点和/或投影的像素地点可以与指定用于多种像素位置的触觉效果的位图进行比较。基于触觉效果(多个)，合适触觉信号可以被访问/生成，以提供在位图中指定的输出。
作为另一示例，触摸的当前或投影的地点可以与标识GUI特征(诸如，控件、纹理内容、边界等)的地点的数据进行比较。然后，如果在该地点处标识出GUI特征，则可以访问使一种或多种触觉效果与该特征相关联的数据。例如，处理器可以跟踪触摸的地点，并且确定触摸是在被映射至图形用户界面中的特定控件(例如，按钮)的触摸区域中的位置处或靠近该位置。然后，处理器可以查阅界面元素的列表来确定与该按钮相关联的触觉效果(例如，纹理、摩擦变化)，并且基于该触觉效果而采取进一步措施以生成触觉效果。
在该示例中，框306和314通向框308，其表示访问或生成一个或多个触觉信号，以生成所选择的触觉效果(多个)。例如，处理器可以访问在内存中存储的并且与特定触觉效果相关联的驱动信号。作为另一示例，信号可以通过访问存储的算法和输入与效果相关联的参数来生成。例如，算法可以输出用于在基于幅度和频率参数来生成驱动信号中使用的数据。作为另一示例，触觉信号可以包括被发送至致动器以由致动器进行解码的数据。例如，致动器本身可以对指定诸如幅度和频率的参数的命令做出响应。
框310表示将触觉信号传送至致动器(多个)以生成期望的效果(多个)。例如，如果要提供模拟驱动信号，则处理器可以利用板上D/A转换器来创建信号。如果将数字命令提供给致动器，则可以通过处理器的I/O总线来生成合适的消息。可以在触摸的点和/或其他地方感觉到触觉效果。例如，如果提供两个手指输入手势，则可以响应于识别第二手指的移动来改变在第一手指处的纹理/摩擦系数。
在一些实施例中，即使在没有选择的触觉效果的情况下，基线触觉信号也可以被发送至致动器(多个)，以生成环境触觉效果，以便增强设备可以产生的潜在效果的范围。因此，传送触觉信号可以包括向致动器发送“停止”命令、“零”或最小信号、或另一信号，以根据情况减小强度。
作为一个示例，诸如，压电致动器的特定致动器的使用可以允许触摸表面的摩擦系数的减小，但是不允许摩擦系数的增加。为了提供选项的范围，可以提供基线信号，使得触摸表面的“普通”摩擦级别低于当静态时触摸表面具有的摩擦系数。因此，可以相对于基线而不是静态值来定义触觉效果。如果最大摩擦是期望的，则“零”信号可以被发送至压电致动器，以停止表面的移动。
基于表面的触觉效果可以采用任何合适的形式。例如，一些触觉效果可以包括触摸表面的摩擦的变化——一些部分可以提供“刮刀”或“打磨机”。作为另一示例，可以使用振动触觉效果，诸如振动或一系列振动。振动触觉效果和/或摩擦的变化可以用于模仿不同特征的感觉，诸如边界或障碍物。例如，可以通过摩擦的增加来模仿边界或边缘，并且如果边界交叉(在一些实例中)，则摩擦减小。
振动触觉效果和/或摩擦的变化可以另外地或替代地用于模仿各种纹理。关于纹理的生成和使用的附加详情可以在以上参考的并且标题分别为“SystemsandMethodsforaTextureEngine”(代理卷号IMM354(51851-383720))、“SystemsandMethodsforUsingMultipleActuatorstoRealizeTextures”(代理卷号No.IMM355(51851-383719))和“SystemsandMethodsforUsingTexturesinGraphicalUserInterfaceWidgets”(代理卷号No.IMM356(51851-383718))的美国专利申请No.12/697,010、No.12/697,042和No.12/697,037中找到。例如，可以提供不同的摩擦的图案或振动的图案，以模仿纹理的感觉，诸如砖块、岩石、沙子、草、皮毛、多种织物类型、水、磨拉石、和其他流体、皮革、木头、冰、蜥蜴皮肤、金属、以及其他纹理图案。当“危险”纹理是期望的时，还可以使用不类似于真实世界纹理的其他纹理，诸如，高幅度振动触觉或其他反馈。
虽然在该示例中，替代地考虑框304和312，但是在一些实施例中，一种方法可以考虑在还估计在被映射至具有一个或多个触觉特征的GUI的一部分的地点处触摸是否发生的同时，手势是否正在进行。
界面行为的附加说明性实施例
图4A是图示包括包括触摸使能显示器402的计算设备401的系统400的外部视图的视图。图4B示出了设备401的横截面图。设备401可以与图1A的设备101类似地配置，尽管为了清楚的目的，在该视图中未示出诸如处理器、内存、传感器等的组件。
如在图4B中可以看出的，设备401包括多个致动器418和附加致动器422。致动器418-1可以包括被配置成将垂直力给予显示器402的致动器，而418-2可以横向移动显示器402。在该示例中，致动器直接耦合至显示器，但是应当理解，致动器可耦合至另一触摸表面，诸如显示器402的顶部上的材料层。附加致动器422可以耦合至包含设备401的组件的壳体。在图4A至图4D的示例中，显示器402的区域对应于触摸区域，但是这些原理可应用于与显示器完全分离的触摸表面。
在一个实施例中，致动器418每个都包括压电致动器，而附加致动器422包括偏心旋转质量致动器、线性谐振致动器、或另一压电致动器。致动器422可以被配置成响应于来自处理器的触觉信号而提供振动触觉效果。振动触觉效果可以结合基于表面的触觉效果来利用和/或用于其它目的。
在一些实施例中，致动器418-1和418-2中的任一个或两者可以包括除压电致动器之外的致动器。另外地，示出了单个致动器422，尽管多个其它致动器可以耦合至设备401的壳体和/或其他致动器4422可以耦合至别处。设备401也可以包括在不同地点处耦合至触摸表面的多个致动器418-1/418-2。
返回至图4A，在420处示出图形用户界面，以包括一般化特征430。在该示例中，基于由手指426向下朝向位置428的移动表示的触摸的位置，选择了用于输出的触觉效果。特别地，如在图4B中可以看出的，致动器418-1、418-2和/或422被提供有合适的触觉信号，以提供如在432、434和436处指示的基于表面的触觉反馈。由于致动器导致不同交叉晕线意在表示触摸表面的不同“感觉”。例如，432、434和436可以表示生成期望的触觉效果的触摸表面的纹理或摩擦系数的变化。在一个实施例中，可以通过使第一区域432具有较高摩擦，然后第二区域434具有较低摩擦，并且第三区域436具有较高摩擦来模仿盒子的感觉。
图4C-图4D提供了当处理器被配置成响应于识别翻页输入手势而选择触觉效果时，图形用户界面424的示例，并且当提供手势时，触觉效果被选择以在翻页输入手势的方向上改变触摸表面。图4C示出了第一界面状态424-1，其中，手指438触摸大量页面440的屏幕上表示。
如图4D中的442处所示，手指已经提供了右到左输入手势。在该示例中，计算设备401的软件配置处理器，以将从页脚开始的右到左轨迹识别为翻页输入手势。因此，界面移动至状态424-2，其中，页脚提升，并且下一页在444处可见。另外地，当手势正在进行(和/或在手势被识别之后)，可以提供基于表面的触觉效果。例如，当手指438从右到左移动时，可以改变触摸表面的摩擦系数(例如，通过增加)以模仿翻页的感觉。作为另一示例，可以提供一系列摩擦改变，或者一个或多个纹理改变可以发生。
图5A-图5B每个都图示了包括包括触摸表面502的计算设备501的系统500。可以与图4和图1的设备401和101类似地配置计算设备501。在这些示例中，触摸表面502与包括被映射至触摸区域的图形用户界面的显示器分离。分离的显示器504在图5A-图5B中示出并且与设备501对接。
例如，设备501可以表示与显示器504对接的计算设备，诸如，具有与触摸表面相对应的嵌入式触控板的膝上型计算机。作为另一示例，计算设备501本身可以是外围设备，其包括触摸表面502、致动器、和通过与设备501对接的计算设备命令的合适的处理电路。在任何事件中，将理解，在图5A-图5B中论述的原理同样可应用于触摸表面对应于显示器或显示器之上的材料的实施例。另外地，当然，当触摸表面与显示器分离(例如，鼠标上的触摸表面、计算机触控板等)时，可以使用这些原理。
转向图5A，在该示例中，设备501的处理器被配置成：响应于识别指示屏幕上内容项目从第一地点移动到第二地点的手势，选择触觉效果。图形用户界面506包括窗口508和510。元件512可以表示文件、文件夹、或可以在屏幕上操纵的其他元件。这些元件每个都映射至在由触摸表面502限定的触摸区域中在508'、510'和512'处示出的各个地点。用户可以将手指或其他对象置于512'和触摸表面502处或附近。该输入可以被识别为项目512的选择。在一些实施例中，区域512'可以具有与项目512的内容或身份相关联的不同纹理或其他触觉效果。
为了将项目512移动至窗口510，用户可以跨过与界面506中的窗口508和510的边界相对应的边界514'和516'拖动触摸表面502。如果第二地点(在该示例中，为窗口510)对应于受保护区域(例如，系统或其他安全文件夹)，则当边界516'靠近或交叉时，可以提供合适的基于表面的触觉效果。作为另一示例，如果元件512表示受保护文件，则触觉效果可以提供在边界514'处或附近。例如，摩擦系数可以显著地增加，以阻止移动到窗口508之外和/或窗口510之内。作为另一示例，与其他未受保护元件(未示出)相比，当移动从区域512'开始时，可以通过区域512'处的特定纹理或特定高摩擦系数来指示元件512的状态。
图5B图示了处理器被配置成基于在被映射至触摸的位置处或附近的触摸区域中的位置的地点处在图形用户界面中显示的控件来选择触觉效果的示例。另外地，示出了基于附加内容的触觉效果。
特别地，图形用户界面520包括显示内容的第一部分522和包括屏幕上控件的第二部分524。在该示例中，内容部分522包括具有主要道路526、次要道路528、以及目的地530的地图。控制部分524包括滑块532和按钮534和536。可以使用任何合适的图形控制元件，包括但不限于复选框、单选按钮、下拉菜单、折叠菜单、刻度盘等。
图形用户界面520被映射至触摸表面502的区域。在该示例中，触摸表面502被图示成提供多种基于表面的触觉效果。虽然同时示出，但是将理解，当触摸在包含效果的区域处或附近时，通过交叉晕线指示的多种触觉效果将由设备501来提供。
如在538处所示，触摸区域被映射至内容部分522的部分包括边界538。边界可以包括纹理或摩擦变化，以帮助指示被映射至内容部分522的这个部分的边缘。另外，在544和546处提供表面效果，以标识主要道路526和次要道路528。
例如，不同类型的道路和其他地图特征可以具有不同纹理或摩擦级别。作为另一示例，可以在内容部分522中显示屏幕上路线。与偏离该路线的道路相对应的部分相比，触摸表面502被映射至该路线的部分可以具有不同摩擦或纹理。例如，用户能够通过跟随低摩擦部分544和546追踪该路线，并且经过地点548摩擦增加。作为预期的目的地的位置548可以具有唯一摩擦或纹理。
触摸表面502包括表示可以用于朝向触摸区域被映射至控制部分524的部分引导用户的触觉效果。例如，部分550可以包括较低摩擦系数，以允许到控件的轻松路径。
如在552A、552B和552C处所示，当滑块532的值增加时，提供不同的触觉效果。例如，当滑块向上或向下移动时，摩擦级别可以改变。作为另一示例，按钮534和536可以包括由不同纹理表示的或者由摩擦变化模仿的不同边界区域。在一些实施例中，按钮534和536的纹理或摩擦基于按钮的值或状态而变化。还可以提供除了纹理和/或摩擦之外的触觉效果。例如，当用户向按钮移动/从按钮移动时，可以提供触觉弹出或振动。
基于表面的效果的其他说明性实施例
以上示例被提供用于说明目的并且不意在是限制性的。以下论述了基于表面的触觉效果的附加示例。
在一些实施例中，基于表面的效果独立于到图形用户界面的映射被提供。例如，触摸表面可以用于提供输入，以在图形用户界面中呈现的三维环境中操纵图形元件。可以提供不同纹理，以指示不同控件或运动——例如，在触摸表面中沿着x轴的第一纹理(或摩擦)可以指示3-D环境中的x-y平面中的转化，而沿着x轴的第二纹理(或摩擦)可以指示3-D环境的x-z平面中的转换。作为另一示例，可以通过沿着触摸表面的多个接触点改变纹理或摩擦来指示3-D环境中的对象的操纵。
作为进一步示例，不同纹理可以用于指示不同类型的控制动作。例如，在计算机辅助设计(CAD)或3-D环境中，当在该环境中移动元件或对象时，可以提供第一纹理，而当视图改变但是元件/对象不移动时，提供第二纹理。
更进一步地，实施例包括与绘图或其他输入相关联的纹理的改变。例如，在设计应用中，不同刷子或其他工具可以具有相应的纹理。当改变刷子尺寸时，可以通过给不同纹理提供每个刷子尺寸和/或通过将刷子纹理映射至触摸区域的较大部分来“感觉到”刷子尺寸。
实施例包括根据本主题的纹理、摩擦、和/或其他触觉效果的使用，以便指示文件或文档的内容。例如，用户界面可以包括时间线选择机构(例如，滑块)，其包括基于表面的触觉效果。例如，音频文件可以被分析用于一个或多个特性(例如，音量)和被映射至特性(例如，用于不同音量的不同纹理、摩擦级别等)的基于表面的触觉效果。当用户与选择机构交互时，可以提供不同的触觉效果(例如，当遇到增加的音量的部分时，滑块感觉不同)。
作为另一示例，基于表面的触觉效果可以结合游戏使用。例如，美国专利申请公开No.2008/0064499描述了具有娱乐场所和其他游戏的触觉效果的使用，通过引用的方式将其全部内容合并于此。除了或代替在此描述的效果，可以使用基于表面的触觉效果，诸如，当播放卡时的不同摩擦/纹理，游戏工具(例如，轮盘、骰子等)经由触摸表面交互和/或指示结果或游戏规则(例如，当用户前进时的不同纹理，用于指示在游戏中何时进行禁止移动的不同摩擦值等)。
总体考虑
在此的“适于”或“配置成”的使用意味着不阻止适于或被配置成执行附加任务或步骤的开放式和包含语言。另外，“基于”的使用意味着开放式和包含，这是因为“基于”一个或多个记载的条件或值的处理、步骤、计算或其他动作实际上可以基于超过所记载的那些的附加条件或值。在此包括的标题、列表和编号仅用于更容易地解释，并且不意味着是限制性的。
根据本主题的多个方面的实施例可以在数字电子电路中、在计算机硬件、固件、软件中或者在前述结合中实现。在一个实施例中，计算机可以包括一个或多个处理器。处理器包括或能够对计算机可读介质进行访问，计算机可读介质诸如耦合至处理器的随机存取存储器(RAM)。处理器执行在内存中存储的计算机可执行程序指令，诸如执行包括传感器采样例程、触觉效果选择例程、以及产生信号以生成上述所选择的触觉效果的合适程序设计的一个或多个计算机程序。
这样的处理器可以包括微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、以及状态机。这样的处理器可以进一步包括可编程电子器件，诸如PLC、可编程中断控件(PIC)、可编程逻辑器件(PLD)、可编程只读存储器(PROM)、电可编程只读存储器(EPROM或EEPROM)、或其他类似设备。
这样的处理器可以包括或可以与可以存储指令的介质(例如，有形计算机可读介质)通信，当由处理器执行指令时，可以使处理器执行如由处理器执行或辅助的在此所述的步骤。计算机可读介质的实施例可以包括但不限于能够向诸如网络服务器中的处理器的处理器提供计算机可读指令的所有电子、光学、磁性或其他存储设备。介质的其他示例包括但不限于软盘、CD-ROM、磁盘、存储器芯片、ROM、RAM、ASIC、配置的处理器、所有光学介质、所有磁带或其他磁性介质、或计算机处理器可以从其读取的任何其他介质。而且，多种其他设备可以包括计算机可读介质，诸如路由器、专用或公共网络、或其他传输设备。处理器和描述的处理可以是一个或多个指令，并且可以通过一个或多个指令来散布。处理器可以包括用于执行在此所述的一种或多种方法(或方法的多个部分)的代码。
虽然已经关于其特定实施例详细地描述了本主题，但是将理解，本领域技术人员在获得前述理解时可以容易地产生对这样的实施例的替换、变化以及等同物。因此，应当理解，本公开被呈现用于举例而不是限制的目的，并且不排除对本主题的这样的修改、变化和/或添加的包含，这对于本领域普通技术人员来说将很容易是显而易见的。

Claims (22)

1.一种系统，包括：
传感器，所述传感器被配置成当对象接触触摸表面时，检测触摸区域中的触摸，所述触摸区域被映射至图形用户界面的显示区域；
致动器，所述致动器与处理器通信并且耦合至所述触摸表面，所述致动器被配置成响应于触觉信号而输出触觉效果；以及
处理器，所述处理器与致动器和传感器通信，所述处理器被配置成：
基于标识所述触摸的位置和以下中的至少一个来选择要生成的触觉效果：(a)识别通过所述触摸提供的输入手势或者(b)在被映射至所述触摸处或附近的所述触摸区域中的位置的所述显示区域中的地点处在所述图形用户界面中显示的内容，以及
在所述触摸发生的同时将触觉信号传送至所述致动器，以生成所选择的触觉效果，以提供纹理、所模仿的障碍物或边界、或所述显示器的调节后的摩擦系数中的至少一个。
2.根据权利要求1所述的系统，其中，所述致动器包括压电致动器。
3.根据权利要求1所述的系统，其中，所述触觉效果通过改变所述触摸表面的摩擦系数来生成。
4.根据权利要求1所述的系统，其中，所述触觉效果包括：模仿所述触摸表面上的纹理。
5.根据权利要求1所述的系统，其中，所述处理器被配置成：基于在映射至所述触摸的位置处或附近的所述触摸区域中的位置的地点处在所述显示区域中显示的文本的内容，选择触觉效果。
6.根据权利要求1所述的系统，其中，所述处理器被配置成：响应于搜索查询，强调在所述图形用户界面中显示的内容，并且其中，所述触觉效果被选择，以在被映射至所述强调的内容处或附近的所述显示区域中的位置的所述触摸区域中的位置处生成触觉效果。
7.根据权利要求1所述的系统，其中，所述处理器被配置成：基于在被映射至所述触摸的位置处或附近的所述触摸区域中的位置的地点处在所述图形用户界面中显示的控件，选择触觉效果。
8.根据权利要求1所述的系统，其中，所述处理器被配置成：响应于识别翻页输入手势来选择触觉效果，当提供所述手势时，所述触觉效果被选择以在所述翻页输入手势的方向上改变摩擦或纹理。
9.根据权利要求1所述的系统，其中，所述处理器被配置成：响应于识别指示屏幕上内容项目从第一地点移动到第二地点的手势，选择触觉效果。
10.根据权利要求1所述的系统，进一步包括显示器，所述显示器包括多个像素并且限定所述显示区域，所述显示器被配置成至少部分地基于显示信号来输出图像，
其中，所述触摸表面对应于所述显示器或者所述显示器之上的材料，以及
其中，所述处理器被配置成输出所述显示信号。
11.根据权利要求1所述的系统，进一步包括：第二致动器，所述第二致动器被配置成响应于来自所述处理器的触觉信号来提供触觉效果。
12.一种方法，包括：
跟踪触摸表面上的触摸的地点，所述地点相对于被映射至图形用户界面的触摸区域被跟踪；
基于所述触摸的所述地点，标识与所述图形用户界面的交互；
基于所述交互来选择要生成的触觉效果；以及
命令至少一个致动器生成所选择的触觉效果，所述触觉效果包括纹理、模仿的障碍物或边界、或所述表面的摩擦系数的调节中的至少一个。
13.根据权利要求12所述的方法，其中，所述触觉效果至少部分地通过改变所述触摸表面的摩擦系数来生成。
14.根据权利要求12所述的方法，其中，所述交互包括调节屏幕上控件，并且所述触觉效果基于所述屏幕上控件的值来选择。
15.根据权利要求12所述的方法，其中，所述交互包括触摸在被映射至包含特征的所述图形用户界面的一部分的地点处或附近的表面，所述特征与所述触觉效果相关联。
16.根据权利要求15所述的方法，其中，所述特征包括在响应于搜索命令而强调的所述界面中的文本或图形元件。
17.根据权利要求15所述的方法，其中，所述特征包括图形或文本内容。
18.根据权利要求15所述的方法，其中，所述特征包括在所述图形用户界面中的边界。
19.根据权利要求12所述的方法，其中，所述交互包括输入手势。
20.根据权利要求19所述的方法，其中，所述触觉效果在所述输入手势期间提供。
21.根据权利要求19所述的方法，其中，所述触觉效果在所述输入手势之后提供。
22.一种包含可由计算系统执行的程序代码的有形计算机可读介质，所述程序代码包括：
用于使所述计算系统跟踪触摸表面上的触摸的地点的程序代码，所述地点相对于被映射至图形用户界面的触摸区域被跟踪；
用于使所述计算系统基于所述触摸的地点来标识与所述图形用户界面的交互的程序代码；
用于使所述计算系统基于所述交互来选择要生成的触觉效果的程序代码；以及
用于使所述计算系统通过改变所述触摸表面的摩擦系数来将触觉信号传送至至少一个致动器以生成所选择的触觉效果的程序代码。
CN201510772201.8A 2009-03-12 2010-03-11 用于包括基于表面的触觉效果的界面的系统和方法 Pending CN105425959A (zh)

Applications Claiming Priority (19)

Application Number Priority Date Filing Date Title
US15948209P 2009-03-12 2009-03-12
US61/159,482 2009-03-12
US26204109P 2009-11-17 2009-11-17
US26203809P 2009-11-17 2009-11-17
US61/262,038 2009-11-17
US61/262,041 2009-11-17
US12/697,037 US9927873B2 (en) 2009-03-12 2010-01-29 Systems and methods for using textures in graphical user interface widgets
US12/697,042 US10564721B2 (en) 2009-03-12 2010-01-29 Systems and methods for using multiple actuators to realize textures
US12/697,010 2010-01-29
US12/697,010 US9874935B2 (en) 2009-03-12 2010-01-29 Systems and methods for a texture engine
US12/697,037 2010-01-29
US12/696,893 2010-01-29
US12/696,900 US9696803B2 (en) 2009-03-12 2010-01-29 Systems and methods for friction displays and additional haptic effects
US12/696,908 2010-01-29
US12/697,042 2010-01-29
US12/696,900 2010-01-29
US12/696,893 US9746923B2 (en) 2009-03-12 2010-01-29 Systems and methods for providing features in a friction display wherein a haptic effect is configured to vary the coefficient of friction
US12/696,908 US10007340B2 (en) 2009-03-12 2010-01-29 Systems and methods for interfaces featuring surface-based haptic effects
CN201080011746.2A CN102349040B (zh) 2009-03-12 2010-03-11 用于包括基于表面的触觉效果的界面的系统和方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201080011746.2A Division CN102349040B (zh) 2009-03-12 2010-03-11 用于包括基于表面的触觉效果的界面的系统和方法

Publications (1)

Publication Number Publication Date
CN105425959A true CN105425959A (zh) 2016-03-23

Family

ID=73451948

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510772201.8A Pending CN105425959A (zh) 2009-03-12 2010-03-11 用于包括基于表面的触觉效果的界面的系统和方法

Country Status (3)

Country Link
US (3) US10007340B2 (zh)
JP (3) JP6212175B2 (zh)
CN (1) CN105425959A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10073527B2 (en) 2009-03-12 2018-09-11 Immersion Corporation Systems and methods for providing features in a friction display including a haptic effect based on a color and a degree of shading
CN110637283A (zh) * 2017-05-18 2019-12-31 爱特美尔公司 用于识别用户界面元素的技术以及使用其的系统和设备
CN113900533A (zh) * 2017-07-26 2022-01-07 罗技欧洲公司 输入设备和用于操作输入设备的方法

Families Citing this family (80)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BRPI0804355A2 (pt) * 2008-03-10 2009-11-03 Lg Electronics Inc terminal e método de controle do mesmo
US20090256809A1 (en) * 2008-04-14 2009-10-15 Sony Ericsson Mobile Communications Ab Three-dimensional touch interface
US9696803B2 (en) 2009-03-12 2017-07-04 Immersion Corporation Systems and methods for friction displays and additional haptic effects
US9874935B2 (en) 2009-03-12 2018-01-23 Immersion Corporation Systems and methods for a texture engine
US10564721B2 (en) 2009-03-12 2020-02-18 Immersion Corporation Systems and methods for using multiple actuators to realize textures
US10007340B2 (en) 2009-03-12 2018-06-26 Immersion Corporation Systems and methods for interfaces featuring surface-based haptic effects
US9927873B2 (en) 2009-03-12 2018-03-27 Immersion Corporation Systems and methods for using textures in graphical user interface widgets
KR101553842B1 (ko) * 2009-04-21 2015-09-17 엘지전자 주식회사 멀티 햅틱 효과를 제공하는 휴대 단말기 및 그 제어방법
JP2012014375A (ja) * 2010-06-30 2012-01-19 Kyocera Corp 触感呈示装置および触感呈示装置の制御方法
KR20120049307A (ko) 2009-08-27 2012-05-16 교세라 가부시키가이샤 촉각제시장치 및 촉각제시장치의 제어방법
US9201584B2 (en) 2009-11-06 2015-12-01 Bose Corporation Audio/visual device user interface with tactile feedback
US20110113371A1 (en) * 2009-11-06 2011-05-12 Robert Preston Parker Touch-Based User Interface User Error Handling
US8686957B2 (en) * 2009-11-06 2014-04-01 Bose Corporation Touch-based user interface conductive rings
US8669949B2 (en) * 2009-11-06 2014-03-11 Bose Corporation Touch-based user interface touch sensor power
US8692815B2 (en) * 2009-11-06 2014-04-08 Bose Corporation Touch-based user interface user selection accuracy enhancement
US20110109560A1 (en) 2009-11-06 2011-05-12 Santiago Carvajal Audio/Visual Device Touch-Based User Interface
US8350820B2 (en) * 2009-11-06 2013-01-08 Bose Corporation Touch-based user interface user operation accuracy enhancement
US8638306B2 (en) * 2009-11-06 2014-01-28 Bose Corporation Touch-based user interface corner conductive pad
US20110260988A1 (en) * 2010-01-20 2011-10-27 Northwestern University Method and apparatus for increasing magnitude and frequency of forces applied to a bare finger on a haptic surface
DE112011101209T5 (de) 2010-09-24 2013-01-17 Qnx Software Systems Ltd. Warnmeldungs-Anzeige auf einer tragbaren elektronischen Vorrichtung
DE112011101203T5 (de) 2010-09-24 2013-01-17 Qnx Software Systems Ltd. Tragbare elektronische Vorrichtung und Verfahren zu deren Steuerung
EP2453343A3 (en) 2010-09-24 2014-11-12 BlackBerry Limited Portable electronic device and method therefor
US8710968B2 (en) 2010-10-07 2014-04-29 Motorola Mobility Llc System and method for outputting virtual textures in electronic devices
EP2638450A1 (en) * 2010-11-09 2013-09-18 Koninklijke Philips Electronics N.V. User interface with haptic feedback
US8717152B2 (en) 2011-02-11 2014-05-06 Immersion Corporation Sound to haptic effect conversion system using waveform
US9448713B2 (en) * 2011-04-22 2016-09-20 Immersion Corporation Electro-vibrotactile display
WO2012154960A2 (en) 2011-05-10 2012-11-15 Northwestern University A touch interface device and method for applying controllable shear forces to a human appendage
US10108288B2 (en) 2011-05-10 2018-10-23 Northwestern University Touch interface device and method for applying controllable shear forces to a human appendage
US9990003B2 (en) 2011-06-03 2018-06-05 Microsoft Technology Licensing, Llc Motion effect reduction for displays and touch input
US10191546B2 (en) * 2011-06-20 2019-01-29 Immersion Corporation Haptic theme framework
WO2012177719A2 (en) * 2011-06-21 2012-12-27 Northwestern University Touch interface device and method for applying lateral forces on a human appendage
JP5755050B2 (ja) * 2011-06-28 2015-07-29 京セラ株式会社 電子機器
KR101891858B1 (ko) 2011-09-06 2018-08-24 임머숀 코퍼레이션 햅틱 출력 장치 및 햅틱 출력 장치에서 햅틱 효과를 생성하는 방법
US11262892B2 (en) 2011-09-13 2022-03-01 Newman Infinite, Inc. Apparatus, method and computer-readable storage medium for manipulating a user interface element
CA2782786A1 (en) * 2011-10-17 2013-04-17 Research In Motion Limited Electronic device interface
US8711118B2 (en) 2012-02-15 2014-04-29 Immersion Corporation Interactivity model for shared feedback on mobile devices
US8493354B1 (en) * 2012-08-23 2013-07-23 Immersion Corporation Interactivity model for shared feedback on mobile devices
US9715276B2 (en) 2012-04-04 2017-07-25 Immersion Corporation Sound to haptic effect conversion system using multiple actuators
JP2013228936A (ja) * 2012-04-26 2013-11-07 Kyocera Corp 電子機器及び電子機器の制御方法
DE112013002387T5 (de) 2012-05-09 2015-02-12 Apple Inc. Vorrichtung, Verfahren und grafische Benutzeroberfläche für die Bereitstellung taktiler Rückkopplung für Operationen in einer Benutzerschnittstelle
US20180364864A9 (en) 2012-05-10 2018-12-20 Tanvas Corporation Electronic controller haptic display with simultaneous sensing and actuation
US9891709B2 (en) * 2012-05-16 2018-02-13 Immersion Corporation Systems and methods for content- and context specific haptic effects using predefined haptic effects
US8570296B2 (en) 2012-05-16 2013-10-29 Immersion Corporation System and method for display of multiple data channels on a single haptic display
WO2014049392A1 (en) * 2012-09-25 2014-04-03 Nokia Corporation Method and display device with tactile feedback
US9836150B2 (en) 2012-11-20 2017-12-05 Immersion Corporation System and method for feedforward and feedback with haptic effects
US9330544B2 (en) 2012-11-20 2016-05-03 Immersion Corporation System and method for simulated physical interactions with haptic effects
US9880623B2 (en) 2013-01-24 2018-01-30 Immersion Corporation Friction modulation for three dimensional relief in a haptic device
KR102048015B1 (ko) * 2013-02-22 2019-11-25 삼성전자주식회사 배경 이미지의 질감을 반영하여 사용자 입력을 표시하는 방법 및 장치
CN103207672B (zh) * 2013-03-04 2015-11-25 小米科技有限责任公司 物理反馈系统、控制方法、装置、显示器组件及电子设备
US9189098B2 (en) 2013-03-14 2015-11-17 Immersion Corporation Systems and methods for syncing haptic feedback calls
US20140292635A1 (en) * 2013-03-26 2014-10-02 Nokia Corporation Expected user response
US9939900B2 (en) 2013-04-26 2018-04-10 Immersion Corporation System and method for a haptically-enabled deformable surface
US10120447B2 (en) 2013-06-24 2018-11-06 Northwestern University Haptic display with simultaneous sensing and actuation
US9729730B2 (en) 2013-07-02 2017-08-08 Immersion Corporation Systems and methods for perceptual normalization of haptic effects
US20150022465A1 (en) * 2013-07-18 2015-01-22 Honda Motor Co., Ltd. Touchpad for user to vehicle interaction
US9317120B2 (en) 2013-09-06 2016-04-19 Immersion Corporation Multiplexing and demultiplexing haptic signals
US9639158B2 (en) 2013-11-26 2017-05-02 Immersion Corporation Systems and methods for generating friction and vibrotactile effects
US9965034B2 (en) 2013-12-30 2018-05-08 Immersion Corporation Systems and methods for a haptically-enabled projected user interface
JP2015130168A (ja) * 2013-12-31 2015-07-16 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 摩擦拡張制御、及び、タッチコントロールパネルのボタンを摩擦拡張制御部へと変換する方法
JP6294170B2 (ja) 2014-06-26 2018-03-14 京セラ株式会社 触感呈示装置
US20140320402A1 (en) * 2014-07-14 2014-10-30 Immersion Corporation Self calibration for haptic devices
US9690381B2 (en) 2014-08-21 2017-06-27 Immersion Corporation Systems and methods for shape input and output for a haptically-enabled deformable surface
US9535550B2 (en) 2014-11-25 2017-01-03 Immersion Corporation Systems and methods for deformation-based haptic effects
WO2016120956A1 (ja) 2015-01-26 2016-08-04 富士通株式会社 駆動制御装置、電子機器、駆動制御プログラム、及び駆動制御方法
US9860451B2 (en) 2015-06-07 2018-01-02 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US9880735B2 (en) 2015-08-10 2018-01-30 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US9875625B2 (en) 2015-12-18 2018-01-23 Immersion Corporation Systems and methods for multifunction haptic output devices
US9983675B2 (en) 2016-06-10 2018-05-29 Immersion Corporation Systems and methods for monitoring insulation integrity for electrostatic friction
US9898904B1 (en) 2016-08-17 2018-02-20 Immersion Corporation Selective control of an electric field to deliver a touchless haptic effect
US10234945B2 (en) 2016-09-09 2019-03-19 Immersion Corporation Compensated haptic rendering for flexible electronic devices
US10261586B2 (en) 2016-10-11 2019-04-16 Immersion Corporation Systems and methods for providing electrostatic haptic effects via a wearable or handheld device
US10297120B2 (en) * 2016-12-13 2019-05-21 Disney Enterprises, Inc. Haptic effect generation system
US10416768B2 (en) 2016-12-28 2019-09-17 Immersion Corporation Unitary sensor and haptic actuator
EP3652613B1 (en) * 2017-07-10 2023-05-17 Telefonaktiebolaget LM Ericsson (publ) Improved transmission of haptic input
US10649531B2 (en) * 2018-02-01 2020-05-12 Microsoft Technology Licensing, Llc Haptic effect on a touch input surface
US10769701B1 (en) * 2018-02-27 2020-09-08 Amazon Technologies, Inc. Sensory-based delivery of content
EP3846005A4 (en) 2018-08-29 2022-05-04 Alps Alpine Co., Ltd. INPUT DEVICE, CONTROL METHOD AND PROGRAM
US11928259B2 (en) 2020-03-12 2024-03-12 Google Llc Controlling haptic feedback based on proximity of contact to sensor
US20230152896A1 (en) * 2021-11-16 2023-05-18 Neosensory, Inc. Method and system for conveying digital texture information to a user
JP7393568B1 (ja) 2023-01-04 2023-12-06 レノボ・シンガポール・プライベート・リミテッド 情報処理システム、及び制御方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050057528A1 (en) * 2003-09-01 2005-03-17 Martin Kleen Screen having a touch-sensitive user interface for command input
EP1748350A2 (en) * 2005-07-28 2007-01-31 Avago Technologies General IP (Singapore) Pte. Ltd Touch device and method for providing tactile feedback
CN1924775A (zh) * 2001-03-09 2007-03-07 伊梅森公司 用于笔记本电脑和其它便携设备的触觉接口
US20080068348A1 (en) * 1998-06-23 2008-03-20 Immersion Corporation Haptic feedback for touchpads and other touch controls

Family Cites Families (175)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US236474A (en) * 1881-01-11 Thomas e
US267418A (en) * 1882-11-14 Thomas gilbbet
US184518A (en) * 1876-11-21 Improvement in tobacco-cutting machines
US26976A (en) * 1860-01-31 Improvement in plows
US61558A (en) * 1867-01-29 Xtheron o outwatee
US134744A (en) * 1873-01-14 Improvement in ruffling attachments for sewing-machines
JP2749580B2 (ja) 1988-01-19 1998-05-13 花王 株式会社 アルカリ性粉末洗剤の賦香方法
US4928030A (en) 1988-09-30 1990-05-22 Rockwell International Corporation Piezoelectric actuator
DK0449048T3 (da) 1990-03-23 1995-06-26 Rockwell International Corp Piezoelektrisk motor
EP0791969A1 (en) 1991-08-22 1997-08-27 Mitsubishi Jukogyo Kabushiki Kaisha Control system for ultrasonic motor
US5629594A (en) * 1992-12-02 1997-05-13 Cybernet Systems Corporation Force feedback system
US6131097A (en) * 1992-12-02 2000-10-10 Immersion Corporation Haptic authoring
US5767839A (en) 1995-01-18 1998-06-16 Immersion Human Interface Corporation Method and apparatus for providing passive force feedback to human-computer interface systems
US5734373A (en) * 1993-07-16 1998-03-31 Immersion Human Interface Corporation Method and apparatus for controlling force feedback interface systems utilizing a host computer
WO1995020787A1 (en) * 1994-01-27 1995-08-03 Exos, Inc. Multimode feedback display technology
US6850222B1 (en) 1995-01-18 2005-02-01 Immersion Corporation Passive force feedback for computer interface devices
US5691898A (en) * 1995-09-27 1997-11-25 Immersion Human Interface Corp. Safe and low cost computer peripherals with force feedback for consumer applications
US5959613A (en) * 1995-12-01 1999-09-28 Immersion Corporation Method and apparatus for shaping force signals for a force feedback device
WO1997020305A1 (en) 1995-11-30 1997-06-05 Virtual Technologies, Inc. Tactile feedback man-machine interface device
US5956484A (en) * 1995-12-13 1999-09-21 Immersion Corporation Method and apparatus for providing force feedback over a computer network
US6169540B1 (en) * 1995-12-01 2001-01-02 Immersion Corporation Method and apparatus for designing force sensations in force feedback applications
US6147674A (en) * 1995-12-01 2000-11-14 Immersion Corporation Method and apparatus for designing force sensations in force feedback computer applications
US7027032B2 (en) * 1995-12-01 2006-04-11 Immersion Corporation Designing force sensations for force feedback computer applications
US6219032B1 (en) * 1995-12-01 2001-04-17 Immersion Corporation Method for providing force feedback to a user of an interface device based on interactions of a controlled cursor with graphical elements in a graphical user interface
US6028593A (en) * 1995-12-01 2000-02-22 Immersion Corporation Method and apparatus for providing simulated physical interactions within computer generated environments
US6859819B1 (en) * 1995-12-13 2005-02-22 Immersion Corporation Force feedback enabled over a computer network
US6046730A (en) * 1996-03-15 2000-04-04 At&T Corp Backlighting scheme for a multimedia terminal keypad
US6046527A (en) 1996-07-05 2000-04-04 Honeybee Robotics, Inc. Ultrasonic positioner with multiple degrees of freedom of movement
US6084587A (en) * 1996-08-02 2000-07-04 Sensable Technologies, Inc. Method and apparatus for generating and interfacing with a haptic virtual reality environment
US7815436B2 (en) * 1996-09-04 2010-10-19 Immersion Corporation Surgical simulation interface device and method
JP4354540B2 (ja) * 1996-10-18 2009-10-28 ヤマハ株式会社 力覚駆動装置、力覚付与方法および記録媒体
US5897569A (en) 1997-04-16 1999-04-27 Ethicon Endo-Surgery, Inc. Ultrasonic generator with supervisory control circuitry
US6292170B1 (en) * 1997-04-25 2001-09-18 Immersion Corporation Designing compound force sensations for computer applications
US6285351B1 (en) * 1997-04-25 2001-09-04 Immersion Corporation Designing force sensations for computer applications including sounds
US6252579B1 (en) * 1997-08-23 2001-06-26 Immersion Corporation Interface device and method for providing enhanced cursor control with force feedback
JP4149574B2 (ja) 1997-08-29 2008-09-10 ゼロックス コーポレイション ユーザインターフェースサポートデバイス、及び情報入力方法
JP4567817B2 (ja) * 1997-09-11 2010-10-20 ソニー株式会社 情報処理装置及びその制御方法
US6088019A (en) * 1998-06-23 2000-07-11 Immersion Corporation Low cost force feedback device with actuator for non-primary axis
US6448977B1 (en) * 1997-11-14 2002-09-10 Immersion Corporation Textures and other spatial sensations for a relative haptic interface device
JP3987182B2 (ja) 1998-01-26 2007-10-03 Ｉｄｅｃ株式会社 情報表示装置および操作入力装置
KR100595912B1 (ko) * 1998-01-26 2006-07-07 웨인 웨스터만 수동 입력 통합 방법 및 장치
IT1299401B1 (it) 1998-03-27 2000-03-16 Optikon 2000 Spa Procedimento di ottimizzazione del pilotaggio di un attuatore piezoelettrico, in particolare per dispositivi facoemulsificatori,
JP3543695B2 (ja) * 1999-03-17 2004-07-14 富士ゼロックス株式会社 駆動力発生装置
US6693622B1 (en) 1999-07-01 2004-02-17 Immersion Corporation Vibrotactile haptic feedback devices
US6433711B1 (en) * 1999-12-14 2002-08-13 Texas Instruments Incorporated System and method for offset error compensation in comparators
US6822635B2 (en) 2000-01-19 2004-11-23 Immersion Corporation Haptic interface for laptop computers and other portable devices
JP3929672B2 (ja) * 2000-03-10 2007-06-13 独立行政法人科学技術振興機構 弾性波を用いたコンピュータ入出力装置
JP2001290572A (ja) 2000-04-05 2001-10-19 Fuji Xerox Co Ltd 情報処理装置
CN1578159B (zh) 2000-05-09 2010-05-26 索尼公司 数据处理装置和方法
JP4369597B2 (ja) * 2000-05-26 2009-11-25 日本放送協会 圧電アクチュエータ
IT1320475B1 (it) 2000-06-30 2003-11-26 Fiat Ricerche Attuatore piezoelettrico autocompensato per una valvola di controllo.
JP3949912B2 (ja) * 2000-08-08 2007-07-25 株式会社エヌ・ティ・ティ・ドコモ 携帯型電子機器、電子機器、振動発生器、振動による報知方法および報知制御方法
US7233476B2 (en) * 2000-08-11 2007-06-19 Immersion Corporation Actuator thermal protection in haptic feedback devices
US6963762B2 (en) * 2001-05-23 2005-11-08 Nokia Corporation Mobile phone using tactile icons
JP2003099177A (ja) 2001-09-21 2003-04-04 Fuji Xerox Co Ltd 触覚情報作成方法、触覚情報提示方法および触覚情報提示装置
US7032188B2 (en) * 2001-09-28 2006-04-18 Nokia Corporation Multilevel sorting and displaying of contextual objects
JP3929881B2 (ja) 2001-12-04 2007-06-13 独立行政法人科学技術振興機構 皮膚感覚提示装置
ES2257583T3 (es) 2001-12-12 2006-08-01 Koninklijke Philips Electronics N.V. Sistema de visualizacion con guiado tactil.
DE50207822D1 (de) 2001-12-18 2006-09-21 Oce Printing Systems Gmbh Verfahren, gerätesystem und computerprogramm zum speichern und abrufen von druckdaten in einem netzwerk
US6703924B2 (en) 2001-12-20 2004-03-09 Hewlett-Packard Development Company, L.P. Tactile display apparatus
JP4061105B2 (ja) 2002-03-29 2008-03-12 アルプス電気株式会社 力覚付与装置
JP4434609B2 (ja) 2002-03-29 2010-03-17 株式会社東芝 表示入力システム
KR100769783B1 (ko) 2002-03-29 2007-10-24 가부시끼가이샤 도시바 표시 입력 장치 및 표시 입력 시스템
US6904823B2 (en) 2002-04-03 2005-06-14 Immersion Corporation Haptic shifting devices
US7161580B2 (en) 2002-04-25 2007-01-09 Immersion Corporation Haptic feedback using rotary harmonic moving mass
KR20040025398A (ko) 2002-09-19 2004-03-24 삼성전자주식회사 이동 통신 단말의 호착신 알림 방법
WO2004038573A2 (en) 2002-10-20 2004-05-06 Immersion Corporation System and method for providing rotational haptic feedback
JP4117352B2 (ja) 2002-11-12 2008-07-16 株式会社ソニー・コンピュータエンタテインメント ファイル処理方法とこの方法を利用可能な装置
US7278119B2 (en) * 2002-11-29 2007-10-02 Sigmatel, Inc. Battery-optimized system-on-a-chip and applications thereof
AU2003279475A1 (en) 2002-12-04 2004-06-23 Koninklijke Philips Electronics N.V. Graphic user interface having touch detectability
AU2003297716A1 (en) 2002-12-08 2004-06-30 Immersion Corporation Methods and systems for providing haptic messaging to handheld communication devices
FI20022282A0 (fi) 2002-12-30 2002-12-30 Nokia Corp Menetelmä vuorovaikutuksen mahdollistamiseksi elektronisessa laitteessa ja elektroninen laite
JP2006518507A (ja) 2003-02-19 2006-08-10 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ ポータブル装置間でのコンテンツアイテムのアドホック共有のためのシステムと、そのインタラクション方法
JP2004265281A (ja) 2003-03-04 2004-09-24 Univ Nihon 振動応答型タッチパネル
JP2004310518A (ja) 2003-04-08 2004-11-04 Fuji Xerox Co Ltd 画像情報処理装置
US20040218910A1 (en) 2003-04-30 2004-11-04 Chang Nelson L. Enabling a three-dimensional simulation of a trip through a region
WO2004103014A2 (en) 2003-05-09 2004-11-25 The Crest Group, Inc. Advanced ceramics in ultrasonic transducerized devices
JP2004342018A (ja) 2003-05-19 2004-12-02 Alps Electric Co Ltd 力覚付与型入力装置
JP4713070B2 (ja) 2003-08-26 2011-06-29 ヤマハ株式会社 ポインティングデバイス
JP3856774B2 (ja) 2003-08-29 2006-12-13 インターナショナル・ビジネス・マシーンズ・コーポレーション 音声出力装置、情報入力装置、ファイル選択装置、電話機、及びそのプログラムと記録媒体
JP2005258666A (ja) 2004-03-10 2005-09-22 Sony Corp 入力装置および電子機器並びに電子機器の感触フィードバック入力方法
US20060209037A1 (en) * 2004-03-15 2006-09-21 David Wang Method and system for providing haptic effects
WO2005103863A2 (en) 2004-03-23 2005-11-03 Fujitsu Limited Distinguishing tilt and translation motion components in handheld devices
JP4046095B2 (ja) 2004-03-26 2008-02-13 ソニー株式会社 触覚機能付き入力装置、情報入力方法及び電子機器
US20060061545A1 (en) * 2004-04-02 2006-03-23 Media Lab Europe Limited ( In Voluntary Liquidation). Motion-activated control with haptic feedback
GB2416962B (en) 2004-08-05 2009-04-01 Vodafone Plc New communication type for mobile telecommunications networks
US9046922B2 (en) 2004-09-20 2015-06-02 Immersion Corporation Products and processes for providing multimodal feedback in a user interface device
US7545550B2 (en) 2004-09-27 2009-06-09 Idc, Llc Systems and methods of actuating MEMS display elements
WO2006042309A1 (en) 2004-10-08 2006-04-20 Immersion Corporation Haptic feedback for button and scrolling action simulation in touch input devices
US8677274B2 (en) 2004-11-10 2014-03-18 Apple Inc. Highlighting items for search results
US7440947B2 (en) * 2004-11-12 2008-10-21 Fuji Xerox Co., Ltd. System and method for identifying query-relevant keywords in documents with latent semantic analysis
KR101179777B1 (ko) * 2004-11-30 2012-09-04 임머숀 코퍼레이션 진동촉각 햅틱 효과를 발생시키는 공진 디바이스를 제어하기 위한 시스템 및 방법
JP2006163206A (ja) 2004-12-09 2006-06-22 Ntt Docomo Inc 触覚提示装置
GB0503253D0 (en) * 2005-02-17 2005-03-23 Univ Northumbria Newcastle User control of a hand-held device
JP2006228151A (ja) 2005-02-21 2006-08-31 Tokai Rika Co Ltd タッチ式入力装置
US8122354B1 (en) * 2005-02-25 2012-02-21 The Mathworks, Inc. Systems and methods for providing an indicator of detection of input related to an element of a user interface
US20060226298A1 (en) 2005-03-30 2006-10-12 Lionel L.L.C. Graphical method and system for model vehicle and accessory control
JP4675152B2 (ja) * 2005-05-16 2011-04-20 株式会社ワコム 可搬性を備えるコンピュータ
JP4756916B2 (ja) 2005-05-31 2011-08-24 キヤノン株式会社 振動波モータ
US8981682B2 (en) 2005-06-27 2015-03-17 Coactive Drive Corporation Asymmetric and general vibration waveforms from multiple synchronized vibration actuators
JP5275025B2 (ja) * 2005-06-27 2013-08-28 コアクティヴ・ドライヴ・コーポレイション 触覚フィードバック用の同期式振動装置
KR100739723B1 (ko) * 2005-07-19 2007-07-13 삼성전자주식회사 오디오 썸네일 기능을 지원하는 오디오 재생 방법 및 장치
US8116740B2 (en) * 2005-09-21 2012-02-14 Nokia Corporation Mobile communication terminal and method
KR101138397B1 (ko) 2005-09-27 2012-04-26 삼성전자주식회사 압전 액츄에이터, 이의 구동 장치 및 방법
JP2007133698A (ja) 2005-11-10 2007-05-31 Sony Ericsson Mobilecommunications Japan Inc 携帯端末
US7509588B2 (en) * 2005-12-30 2009-03-24 Apple Inc. Portable electronic device with interface reconfiguration mode
KR100877067B1 (ko) * 2006-01-03 2009-01-07 삼성전자주식회사 햅틱 버튼 및 이를 이용한 햅틱 기기
GB2434877A (en) 2006-02-06 2007-08-08 Qinetiq Ltd MOEMS optical modulator
US8525778B2 (en) 2007-03-21 2013-09-03 Northwestern University Haptic device with controlled traction forces
US8405618B2 (en) * 2006-03-24 2013-03-26 Northwestern University Haptic device with indirect haptic feedback
US8780053B2 (en) * 2007-03-21 2014-07-15 Northwestern University Vibrating substrate for haptic interface
US8018431B1 (en) * 2006-03-29 2011-09-13 Amazon Technologies, Inc. Page turner for handheld electronic book reader device
US8210942B2 (en) * 2006-03-31 2012-07-03 Wms Gaming Inc. Portable wagering game with vibrational cues and feedback mechanism
US10152124B2 (en) 2006-04-06 2018-12-11 Immersion Corporation Systems and methods for enhanced haptic effects
US20070236474A1 (en) 2006-04-10 2007-10-11 Immersion Corporation Touch Panel with a Haptically Generated Reference Key
JP4810571B2 (ja) * 2006-05-18 2011-11-09 アルプス電気株式会社 静電アクチュエータ
US8174512B2 (en) * 2006-06-02 2012-05-08 Immersion Corporation Hybrid haptic device utilizing mechanical and programmable haptic effects
US7516406B1 (en) * 2006-06-06 2009-04-07 Adobe Systems Incorporated Partial functionality indicator
JP2007331066A (ja) * 2006-06-15 2007-12-27 Canon Inc 接触提示装置及び方法
US7920124B2 (en) 2006-08-29 2011-04-05 Canon Kabushiki Kaisha Force sense presentation device, mixed reality system, information processing method, and information processing apparatus
CN101506758A (zh) 2006-09-27 2009-08-12 诺基亚公司 触觉型触摸屏
US7890863B2 (en) 2006-10-04 2011-02-15 Immersion Corporation Haptic effects with proximity sensing
US20080084384A1 (en) 2006-10-05 2008-04-10 Immersion Corporation Multiple Mode Haptic Feedback System
US7468573B2 (en) 2006-10-30 2008-12-23 Motorola, Inc. Method of providing tactile feedback
US7626579B2 (en) 2006-11-01 2009-12-01 Immersion Corporation Sanitizing a touch panel surface
US8120585B2 (en) 2006-11-16 2012-02-21 Nokia Corporation Method, apparatus, and computer program product providing vibration control interface
US20080218488A1 (en) * 2006-11-30 2008-09-11 Electronics And Telecommunications Research Institute Active driving type visual-tactile display device
JP4576537B2 (ja) * 2006-12-13 2010-11-10 国立大学法人埼玉大学 ペンタブレット型インターフェース
US8098234B2 (en) 2007-02-20 2012-01-17 Immersion Corporation Haptic feedback system with stored effects
JP2008225690A (ja) 2007-03-09 2008-09-25 Sony Corp 振動体、触覚機能付きの入力装置及び電子機器
US9024874B2 (en) * 2007-03-12 2015-05-05 University of Pittsburgh—of the Commonwealth System of Higher Education Fingertip visual haptic sensor controller
WO2008132540A1 (en) 2007-04-26 2008-11-06 Nokia Corporation Method and mobile terminal with user input based on movement of the terminal detected by a sensor
JP2008287402A (ja) * 2007-05-16 2008-11-27 Sony Corp タッチパネルディスプレイ装置およびタッチパッド並びに電子機器
US8315652B2 (en) 2007-05-18 2012-11-20 Immersion Corporation Haptically enabled messaging
JP2009003867A (ja) 2007-06-25 2009-01-08 Panasonic Electric Works Co Ltd 表示装置およびコンピュータ・プログラム
US20090002328A1 (en) 2007-06-26 2009-01-01 Immersion Corporation, A Delaware Corporation Method and apparatus for multi-touch tactile touch panel actuator mechanisms
JP5406188B2 (ja) 2007-08-20 2014-02-05 クアルコム，インコーポレイテッド 高度な語彙外単語の拒否
US8209321B2 (en) * 2007-08-31 2012-06-26 Microsoft Corporation Emphasizing search results according to conceptual meaning
US8619038B2 (en) * 2007-09-04 2013-12-31 Apple Inc. Editing interface
US9619143B2 (en) * 2008-01-06 2017-04-11 Apple Inc. Device, method, and graphical user interface for viewing application launch icons
US20090102805A1 (en) * 2007-10-18 2009-04-23 Microsoft Corporation Three-dimensional object simulation using audio, visual, and tactile feedback
US8004498B1 (en) * 2007-10-22 2011-08-23 Adobe Systems Incorporated Systems and methods for multipoint temporary anchoring
US20090112572A1 (en) * 2007-10-30 2009-04-30 Karl Ola Thorn System and method for input of text to an application operating on a device
KR100954529B1 (ko) 2007-11-27 2010-04-23 한국과학기술연구원 원환형 압전 초음파 공진기 및 그를 이용한 압전 초음파회전모터
US20090135142A1 (en) * 2007-11-27 2009-05-28 Motorola, Inc. Data entry device and method
US9569086B2 (en) 2007-12-12 2017-02-14 Nokia Technologies Oy User interface having realistic physical effects
US9170649B2 (en) 2007-12-28 2015-10-27 Nokia Technologies Oy Audio and tactile feedback based on visual environment
EP2245612B1 (en) 2008-02-04 2013-07-17 Nokia Corporation Device and method for providing tactile information
JP5283255B2 (ja) * 2008-02-14 2013-09-04 株式会社ジャパンディスプレイ 液晶表示装置
US20090207129A1 (en) 2008-02-15 2009-08-20 Immersion Corporation Providing Haptic Feedback To User-Operated Switch
BRPI0804355A2 (pt) 2008-03-10 2009-11-03 Lg Electronics Inc terminal e método de controle do mesmo
EP3206381A1 (en) 2008-07-15 2017-08-16 Immersion Corporation Systems and methods for mapping message contents to virtual physical properties for vibrotactile messaging
US20100020036A1 (en) 2008-07-23 2010-01-28 Edward Hui Portable electronic device and method of controlling same
NL2003141A1 (nl) 2008-07-30 2010-02-02 Asml Holding Nv Actuator system using multiple piezoelectric actuators.
US8749495B2 (en) * 2008-09-24 2014-06-10 Immersion Corporation Multiple actuation handheld device
US10289199B2 (en) * 2008-09-29 2019-05-14 Apple Inc. Haptic feedback system
US8456320B2 (en) * 2008-11-18 2013-06-04 Sony Corporation Feedback with front light
EP2368170B1 (en) * 2008-11-26 2017-11-01 BlackBerry Limited Touch-sensitive display method and apparatus
US8484179B2 (en) * 2008-12-08 2013-07-09 Microsoft Corporation On-demand search result details
US8378979B2 (en) * 2009-01-27 2013-02-19 Amazon Technologies, Inc. Electronic device with haptic feedback
US20100223133A1 (en) * 2009-02-27 2010-09-02 Research In Motion Limited Communications system providing mobile wireless communications device predicted search query terms based upon groups of related advertising terms
US9696803B2 (en) 2009-03-12 2017-07-04 Immersion Corporation Systems and methods for friction displays and additional haptic effects
US9927873B2 (en) 2009-03-12 2018-03-27 Immersion Corporation Systems and methods for using textures in graphical user interface widgets
US10007340B2 (en) 2009-03-12 2018-06-26 Immersion Corporation Systems and methods for interfaces featuring surface-based haptic effects
US9746923B2 (en) 2009-03-12 2017-08-29 Immersion Corporation Systems and methods for providing features in a friction display wherein a haptic effect is configured to vary the coefficient of friction
CN102227696B (zh) * 2009-05-21 2014-09-24 松下电器产业株式会社 触感处理装置
US8294557B1 (en) * 2009-06-09 2012-10-23 University Of Ottawa Synchronous interpersonal haptic communication system
US20110115709A1 (en) * 2009-11-17 2011-05-19 Immersion Corporation Systems And Methods For Increasing Haptic Bandwidth In An Electronic Device
JP5449403B2 (ja) * 2009-12-28 2014-03-19 パナソニック株式会社 表示する文章に応じた触覚を提示する文章表示装置、文章表示プログラム、及び文章表示方法
US8551576B2 (en) * 2010-05-20 2013-10-08 GM Global Technology Operations LLC Method for controlling a coefficient of friction
US8704647B2 (en) * 2010-12-21 2014-04-22 Electronics And Telecommunications Research Institute Haptic feedback case for electronic equipment
US9836150B2 (en) 2012-11-20 2017-12-05 Immersion Corporation System and method for feedforward and feedback with haptic effects
US10168766B2 (en) 2013-04-17 2019-01-01 Nokia Technologies Oy Method and apparatus for a textural representation of a guidance
US20140317200A1 (en) 2013-04-17 2014-10-23 Nokia Corporation Method and Apparatus for a Textural Representation of a Notification
US9501147B2 (en) 2013-12-29 2016-11-22 Immersion Corporation Haptic device incorporating stretch characteristics

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080068348A1 (en) * 1998-06-23 2008-03-20 Immersion Corporation Haptic feedback for touchpads and other touch controls
CN1924775A (zh) * 2001-03-09 2007-03-07 伊梅森公司 用于笔记本电脑和其它便携设备的触觉接口
US20050057528A1 (en) * 2003-09-01 2005-03-17 Martin Kleen Screen having a touch-sensitive user interface for command input
EP1748350A2 (en) * 2005-07-28 2007-01-31 Avago Technologies General IP (Singapore) Pte. Ltd Touch device and method for providing tactile feedback

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10073527B2 (en) 2009-03-12 2018-09-11 Immersion Corporation Systems and methods for providing features in a friction display including a haptic effect based on a color and a degree of shading
US10747322B2 (en) 2009-03-12 2020-08-18 Immersion Corporation Systems and methods for providing features in a friction display
CN110637283A (zh) * 2017-05-18 2019-12-31 爱特美尔公司 用于识别用户界面元素的技术以及使用其的系统和设备
US11809626B2 (en) 2017-05-18 2023-11-07 Atmel Corporation Techniques for identifying user interface elements and systems and devices using the same
CN110637283B (zh) * 2017-05-18 2024-03-08 爱特美尔公司 用于识别用户界面元素的技术以及使用其的系统和设备
CN113900533A (zh) * 2017-07-26 2022-01-07 罗技欧洲公司 输入设备和用于操作输入设备的方法
CN113900533B (zh) * 2017-07-26 2022-07-15 罗技欧洲公司 输入设备和用于操作输入设备的方法

Also Published As

Publication number Publication date
US10620707B2 (en) 2020-04-14
JP6526760B2 (ja) 2019-06-05
US20190171293A1 (en) 2019-06-06
US20100231539A1 (en) 2010-09-16
JP2019169166A (ja) 2019-10-03
JP2016201119A (ja) 2016-12-01
US20180267613A1 (en) 2018-09-20
US10248213B2 (en) 2019-04-02
JP2018026144A (ja) 2018-02-15
US10007340B2 (en) 2018-06-26
JP6212175B2 (ja) 2017-10-11

Similar Documents

Publication Publication Date Title
CN102349040B (zh) 用于包括基于表面的触觉效果的界面的系统和方法
CN105425959A (zh) 用于包括基于表面的触觉效果的界面的系统和方法
KR101885740B1 (ko) 마찰 디스플레이에서 특징부를 제공하는 시스템 및 방법
CN102349041B (zh) 用于摩擦显示和附加触觉效果的系统和方法
JP2012520521A5 (zh)
US20120249475A1 (en) 3d user interface control
KR101653330B1 (ko) 마찰 디스플레이 및 부가의 햅틱 효과에 대한 시스템 및 방법
CN106125973B (zh) 用于在触摸使能的显示器中提供特征的系统和方法
US9747018B2 (en) Apparatus and method for controlling object
US20110109577A1 (en) Method and apparatus with proximity touch detection

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20160323

RJ01 Rejection of invention patent application after publication