【SREngine】SDK UI/UX for iPhone 3GS

The UI/UX of SREngine SDK for iPhone 3GS has been almost fixed.

SREngine recognizes scenes with camera input only.
As you can see it in the above movie, SREngine searches in real time manner: 1. without a server, 2. without marker/barcode, 3. without location/posture sensors.

Here is some additional info about the stuff.

Some UI stuff help users to estimate the object in live view frame whether or not they could be a target.
I haven't named them yet, but let me call 1. SRIndicator, 2. SRCandidate, 3. SRConsole from left side.

1. SRIndicator

The indicator provides the user with brief info.

The higher level of blue bar indicates the object in the live view frame may be a candidate.

The higher level of red bar indicates the object in the live view frame may not be a candidate or out of condition, such as too monotonous, solid, or complex object. You get high level of red bar in case of camera shaking.

You also get red frame, if SREngine detects invalid object to search (see left Fig.).

2. SRCandicate

The right Fig. shows that SREngine is searching and picking the candidates up on the thumbnail image panel.

The user can click the candidate to complete SREngine search by manually.

I'm gonna improve the UI/UX because the candidate may be switched just before user click it.

The UI like Mac OS X's Expose may be good.

3. SRConsole

The console message gives you concrete info about the object and device status.

Further, the reliability of search result is shown as score during searching and after search (see left and above Fig).

The left Fig. is that SREngine finish searching and showing the result because the score is enough high.

Finally, about 'Annotation Button'.

The annotation button is .

This button is for 3rd party vendor who provides AR application with SREngine SDK.

SREngine SDK provides AR phase only.

SREngine SDK contains the project template of Xcode, so that the developer can start very quickly and easily.

The release date has not been fixed yet.

SREngine realtime search on iPhone 3GS

SREngine SDK for iPhone 3GSの開発状況について。
Some progress in SREngine SDK for iPhone 3GS.

かざすだけでOK。
Just hand over a target.

iPhone 3GS上でリアルタイム検索が可能。サーバーいらず。
Real-time search is avilable on iPhone 3GS without a server.

とりあえず、サンプル数100ではパフォーマンス劣化は見られず。
それ以上は未テスト。
100 samples can be handled keeping good performance.
More samples not tested yet.

Brief introduction to SREngine Lite in English

SREngine Lite is the light weight version of SREngine, which allows to complete scene search on mobile device.
No marker, no sensor, no server needed.
The device needs only camera on the device.

It is possible that stanalone mobile AR could be designed without GPS.



The user experience looks like 2-D barcode (QR code), but no barcode.
A user takes hand iPhone over an object. After detecting stable device, the app starts scene search automatically.
SREngine lite quickly complete the search process without any communication.




The advantages of SREngine are
1. no marker and no barcode: free of design restriction*
2. no server: easy to introduce AR project from cost's point of view
3. no sensor/no digital watermarking
4. similar to the user experience of 2-D barcode, but much easier usability

* too simple or complex object cannot be searched.

I plan to release SREngine Lite SDK for iPhone which allows developers to design own ar app.

AR diminishes reality

Does really marker-based AR augment reality?

The essence of VR is virtual, and the essence of AR is real.
The marker-based AR almost hides real, and shows CG on the marker.
It seems that the main object of the view is virtual one, rather than real one. Marker-based AR makes real just stage effect or background.

That's main reason why AR application doesn't become useful tool, although the interface and/or experience has big impact first time.

Any marker/barcode is not real for human because we cannot get it at all.

Do you really believe that 3-D presence is better than 2-D's to show some information?
Why is still web 2-D?

【SREngine】NCM2009 Award フューチャー賞受賞決定！

NCM 2009 (Next Communication Marketing)のAwardの受賞をいただけることが決定しました。
フューチャー部門賞(製品発売、サービス開始前（β版やα版をリリース済み）が対象)です。




7月16日と17日に東京有楽町でNext Communication & Marketingが開催されます。
当日はSREngine Liteを展示・デモします。
来場者には、iPhone実機で実際に試してもらいます。

【拡張現実AR】SREngine Liteとデモ展示

SREngine Liteは、SREngineの製品化を視野に入れた最初のプロジェクトである。
拡張現実はどうも一般ユーザを置き去りにする気がするので、広く普及するには何か橋渡しとなるユーザ体験が必要だと考えてきた。
前回のエントリーでこの辺り詳しく述べた。
本エントリーではSREngine Liteについて掘り下げたい。

とりあえず、SREngine Liteの動画。


スクリーンをタッチ後、手ぶれ検出が始まる。
手ぶれが止まると自動で検索が始まる。
3GSの方が高速だが、3Gでも十分に実用的なパフォーマンスを確保している。


画像追加

SREngine LiteはSREngineを高速化・軽量化したバージョンである。

上の動画は3G回線とWiFiをOffにしているので、完全Stand-aloneである。

また、GPSも使用していないので、いっさいの通信機能は使っていない。
シーン検索は端末で完結するので、サーバーは必須ではない（検索件数が多い場合はサーバーを利用することも可）。
マーカー、センサー、サーバーいらずである。

SREngine Liteの優位性は

1. マーカーを必要としないので、ポスター等に余計なマーカーを印字する必要がない

2. センサーを使用しないので、センサー誤差を気にする必要がない

3. 携帯機器のみで、軽量でかつ機敏に動作するので大掛かりなサーバーを用意する必要がない

4. コストが低く抑えることができる

製品化の方向としては、SDKをライセンス化し、ソフトウェアエンジンとしてARプロジェクトに提供することを予定している。

リリース時期は現段階では全く白紙である。

一応断っておくと、動画はフェイクではなく、またコンセプトでもない。
疑問に思う人は後述の展示デモにてiPhone実機で試していただきたい。
QRコードの延長となるユーザエクスペリエンスで、多くのユーザが違和感なく使用できる。
また、QRコードに比べると操作は簡単で、明らかに直感的だ。
また、野外実験の結果、距離、角度、そして朝、夕、夜に対して十分実用性のあるロバストネスが実証済みだ。

もちろん室内に置いても同様である。

７月１６日、１７日に開催されるNCMアワード2009のフューチャー部門にノミネートされたので、SREngine Liteを主に展示・デモをする。
来場者にはiPhone 3G & 3GS実機でSREngine Liteを体験してもらう予定だ。

AR再考とSREngine Liteの動機

ARが盛り上がっている。
マイナーな存在から徐々にではあるが確実に認知度を高めてきている。

かつて、ARブームが存在したらしい。
これを第一次ARブームと呼ぶならば、現状は第二次ARブームと呼べるだろう。
第一次ARブームで火付け役となったのは、Sony社のCybercodeやARToolkitだ。
どちらもマーカー型ARだ。
では、現在のARブームはどうだろうか？
第一次ブームとかわらず、火付け役の多くはマーカー型である。
第一次ブームと第二次ブームの違いは、PTAMなどマーカーを使わず平面を抽出する技術がノートパソコンで実現されたことと、モバイルデバイスのハードウェア進化と普及である。
しかし、第一次ブームの状況と本質的な変化はないように思える。
むしろ、拡張現実という言葉が一人歩きを初めて、バズワード化し始めている。

ここで、第一次ブームがなぜ定着せずにただのブームとして終わったのか気になる。
なぜなら、現在進行中の第二次ARブームもやがて沈静化して、忘れ去られるかもしれないからである。

第一次ブームが終焉した理由に入る前に、ブームの後でも継続するサービスに必要な要素は何であろうか？
ARに限らない、サービスが普及して持続するための仮説を立ててみる。

1. 気持ちいい（感情的）
2. 役に立つ（理性的）
注意：これは全く個人的な見解です。
補足1：IT分野のサービスに限らず、一般的な消費行動にも当てはまる？
補足2：消費者の行動が合理的なようで非合理的なことを説明できる？

1と2のかけ算がある一定以上でユーザは増え続ける。
利用者がクリティカルマスに達すると、サービスは安定期に入る。
この二つがサービスを利用する消費者のモチベーションに関する2大原則だと言えよう。
使っていて不快なサービスを続けようとはしないし、役に立たないサービスは忘れ去られる。

では、ARの話に戻って、第一次ARブームに当てはめてみよう。
1. 気持ちいい（感情的）：【十分】←初めてARToolkitに触れた人は、驚きながら喜ぶので
2. 役に立つ（理性的）：【不十分】←？？？

では、第二次ARブームは。。。
現状多くのサービスが登場しているが、「役に立つ」というようなサービスは見当たらない。

次にARが「2. 役に立つ」には何が必要か、何が欠けているのか、について考えたい。
ARは、「革新的」、「次世代」などと形容されるが、専門家や権威がARの優位性をいくらほめても、ユーザの役には立たない。
むしろ、ARが革新的であればあるほどユーザを置き去りにしてしまうだけだ。
美術館に展示されている近代アートや、聴きなれない近代クラシックなら「よくわからないね〜」で済むが、ビジネスとしてのITサービスはそうはいかない。
わからないことは、不快(1)であり役に立た(2)ない。
ユーザが新しい体験をやる気にさせるためには、「気持ち良さそう」で「役に立ちそう」だと思わせることが必要だ。

そこで、既存のユーザ体験の延長線上で、SREngineを応用できないかと考えてみた。
ARと似て非なるもの、QRコードはどうだろうか。
SREngineを少し改良すれば、マーカーなしセンサーなしで、写真をとるだけでアノテーション（電子付加情報）が得られる。
これは、リアルタイム性がないため厳密にはARとは呼べないものの、既存の仕組みとARを橋渡しする可能性があり、ユーザを置き去りにしない。
また、QRコードなどのマーカーを印刷する必要がないので、デザイン制約が少なくなる。
センサーが必要ないのでよけいなコストもかからない。
さらに、検索件数をしぼることでサーバーを必要としない低コストのプロジェクトにも適用可能だ。

これをSREngine Liteと呼ぶことにする。
ずいぶん長くなったので、SREngine Liteの詳細には次のエントリーに譲る。

[EN] SREngine for iPhone prototype 2

Here is new version of SREngine for iPhone prototype!



The biggest progress I've achieved recently is that a scene is registered taking just one picture. SREngine client, iPhone, sends the picture to the server via 3G/WiFi. And SREngine server performs 'Scene Learning' at server-side. I guess the procedure is enough easy for iPhone users.

SREngine server analyses client-submitted scene from just one photo. Not only one angle of the scene, but also some angle lag can be recognized during 'Scene Search'. SREngine supports kind of robust pattern matching.

The server-side performance was dramatically improved. More improvement needed.

As you can see the above movie, the UI/UX was redesigned.

The final goal of the SREngine project is to provide AR-based social networking service. But the goal is still very far.

【SREngine】for iPhone prototype2 - long version

English version coming later probably.

SREngineのプロトタイプ2がまとまってきたので、動画を公開します。

[YouTube] SREngine for iPhone prototype 2 - long version



今回の追加した新しい機能は、シーンの新規登録 (シーン学習 Scene Learning)です。
一枚写真を撮るだけで、シーンの登録ができます。
ある程度は離れたり、角度を変えてもシーンを認識できます。

シーンに関連づけられたタグ Scene Tag（アノテーション）は、アイコンとテキストが１対１で対応づけられています。
いろいろとUI/UXを試したところ、この仕様が一番わかりやすく、有用だと思われます。

Scene Tagのアイコンをタッチしてもなにも起こりません。
こちらは今後の課題です。

ユーザアカウント機能はまだ実装していませんので、ソーシャル機能ももちろんまだです。
SREngine本来の機能ではないので、後回しです。

地味ですが、サーバーサイドのパフォーマンスが大幅に改善されました。
しかし、パフォーマンスはまだ改善する必要があります。

【SREngine】 for iPhone prototype 2

New movie uploaded!

SREngine for iPhone prototype 2 - short version (scene learning)


Long version coming soon...