République Française

Membre du BEREC

Langues Français English

Bibliothèque / Enquête qualité service

Enquêtes d’évaluation de la qualité de service des réseaux mobiles en France menées en 2007 - 22 novembre 2007

Smiley Pour télécharger l'enquête (pdf) Smiley

Sommaire

Editorial

Commentaires sur la méthodologie et les résultats

1ère enquête :
Qualité du service de téléphonie vocale des réseaux mobiles (2G et 3G)

2ème enquête :
Qualité des services de données des réseaux mobiles (2G et 3G)


Editorial

Pour la dixième année consécutive, l’ARCEP a mené en concertation avec les opérateurs des enquêtes d’évaluation de la qualité de service des réseaux mobiles en France métropolitaine, telle qu’elle peut être perçue au quotidien par les clients des trois opérateurs.

Les enquêtes de 2007 présentaient la nouveauté de tester également les réseaux mobiles de troisième génération ouverts par Orange France et SFR depuis fin 2004.

Deux enquêtes ont été menées. La première sur la qualité du service de téléphonie vocale a été conduite par le cabinet Directique ; la seconde sur les services de données a été conduite par le cabinet Assystem. Plus de 28 000 appels téléphoniques ont été passés dans des agglomérations de plus de 20 000 habitants, à bord des TGV et des trains de banlieue, et sur les autoroutes, en situation de passager. Plus de 3 000 envois de messages courts et multimédia, 1 500 sessions de navigation WAP et I-mode, 5 000 transferts de fichiers et 3 300 appels en visiophonie ont été exécutés dans les 12 agglomérations de plus de 400 000 habitants.

Ces enquêtes confirment l’excellente qualité des services de voix et de SMS, ainsi qu’une amélioration des indicateurs de voix dans les agglomérations de plus de 400 000 habitants et sur les principaux axes de circulation. Les services d’envoi de photo par messagerie multimédia (MMS et mail i-mode) et de visiophonie présentent des résultats satisfaisants.

Des tests de téléchargement de fichiers ont permis d’obtenir des ordres de grandeur de la performance réelle des réseaux 3G et de ses évolutions HSDPA à l’été 2007, pendant lequel les offres commerciales étaient limitées au débit théorique de 1,8 Mbit/s. Ces tests réalisés dans les agglomérations de plus de 400 000 habitants ont démontré d’une part que les débits observés pour le téléchargement de fichiers de 5 Mo sur les réseaux 3G atteignaient 1,4 Mbit/s pour les plus rapides, d’autre part que la moyenne des débits de téléchargement sur les réseaux des opérateurs ayant déployé la 3G était de 887 kbit/s sur le lien descendant. Enfin, sur le lien montant, l’envoi de fichiers de 1 Mo a fait apparaître un débit de 340 kbit/s pour les plus rapides.

J’invite le lecteur à prendre connaissance du descriptif des conditions techniques de chacune des enquêtes avant d’aborder les parties consacrées aux résultats. Ce type d’enquêtes fait partie du dispositif d’action de l’ARCEP en matière d’information des consommateurs sur le marché de la téléphonie mobile.

Paul CHAMPSAUR


Commentaires de l’ARCEP sur la méthodologie et les résultats publiés des deux enquêtes menées en 2007

Pour la dixième année consécutive, l’Autorité de régulation des communications électroniques et des postes a mené, en concertation avec les opérateurs des enquêtes d’évaluation de la qualité de service des réseaux mobiles en France métropolitaine, telle qu’elle peut être perçue au quotidien par les clients des trois opérateurs mobiles.

Deux enquêtes ont été menées : la première sur la qualité du service de téléphonie vocale, la seconde sur les services de données les plus courants proposés par les opérateurs mobiles.

L’enquête de la qualité du service de téléphonie vocale, conduite par le cabinet Directique, s’est déroulée sur une période de 3 mois, entre avril et juin 2007. Plus de 28 000 appels téléphoniques ont été réalisés, dans les conditions d’utilisation courantes du téléphone mobile, dans des agglomérations de plus de 20 000 habitants, à bord des TGV, des trains de banlieue, et sur les autoroutes en situation de passager.

L’enquête de la qualité des services de données, conduite par le cabinet Assystem, s’est déroulée sur une période de près de 2 mois, entre mai et juillet 2007. Plus de 3 000 envois de messages courts et multimédia, 1 500 sessions de navigation WAP et I-mode, 5 000 transferts de fichiers en mode FTP (File Transfer Protocol) et 3 300 appels visiophonie ont été réalisés dans les 12 agglomérations de plus de 400 000 habitants.

Les enquêtes menées en 2007 ont évolué sur un certain nombre de points, notamment par la prise en compte des réseaux mobiles de troisième génération ouverts par Orange France et SFR depuis fin 2004.

La signalétique utilisée dans les tableaux de résultats a également évolué :

- la qualification du résultat individuel de chaque opérateur autour de la moyenne agrégée des trois opérateurs est symbolisée par les signes suivants :

Symbole

Signification

– –

Très inférieur à la valeur de référence

Inférieur à la valeur de référence

=

Voisin de la valeur de référence

+

Supérieur à la valeur de référence

+ +

Très supérieur à la valeur de référence

- les flèches apparaissant dans les tableaux indiquent le sens de l’évolution des résultats par rapport à l’enquête 2006, lorsque la comparaison est possible et que l’évolution est significative.

Le lecteur est invité à prendre attentivement connaissance du descriptif des conditions techniques de chacune des enquêtes des services de téléphonie vocale et des services de données, notamment les parties relatives aux avertissements destinés à améliorer la compréhension des indicateurs publiés, avant d’aborder les parties consacrées aux résultats.

Au vu des résultats de l’enquête, il est possible de tirer plusieurs enseignements.

Les enseignements de l’enquête de voix

Le maintien de la qualité de service est un enjeu important pour les opérateurs au regard de l’évolution du volume de trafic, actuellement sur un rythme de croissance annuel de 10 à 15%.

Les résultats des appels passés dans l’ensemble des agglomérations de plus de 20 000 habitants confirment le très bon niveau de la qualité du service observé depuis plusieurs années pour tous les opérateurs.

On note également une amélioration de la qualité dans les agglomérations de plus de 400 000 habitants. L’écart de résultats entre les heures chargés et les heures creuses se réduit à 0,2% (0,5% en 2006) alors que 40 % des mesures sont regroupées, cette année, sur les 3 heures les plus chargées de la journée

La qualité du service de téléphonie est en nette amélioration sur les principaux axes de circulation et en particulier en ce qui concerne le taux de communications de qualité parfaite :
- dans les TGV, on observe une augmentation du taux de qualité parfaite (+5 %) et du taux de qualité correcte (+3%). L’amélioration de la moyenne est en grande partie imputable aux résultats d’Orange France, en amélioration de 13% sur le taux de qualité parfaite et de 10% sur le taux de qualité correcte. Toutefois, SFR reste globalement meilleur que ses concurrents sur les TGV.
- l’augmentation moyenne du taux de qualité parfaite (+6 %) et du taux de qualité correcte (+3%) est très nette pour les utilisateurs en situation de passager sur des autoroutes.
- Dans les trains de banlieue, l’augmentation moyenne atteint 4% pour le taux de réussite, 7% pour le taux de qualité parfaite et 6% pour le taux de qualité correcte. Ces résultats sont en amélioration pour la seconde année consécutive

Les enseignements de l’enquête sur les services de données

L’enquête de qualité des services de données a été réalisée dans les agglomérations de plus de 400 000 habitants.

Le service de transfert de fichiers en mode FTP

Les mesures étaient réalisées sur les douze agglomérations de plus de 400 000 habitants au moyen de cartes commerciales grand public pour les ordinateurs personnels. Ce type d’équipement sélectionne, pour chaque point de mesure, le meilleur réseau disponible de l’opérateur concerné (EDGE, UMTS, UMTS/HSDPA).

Les indicateurs relatifs aux taux de réussite et aux délais moyens de transfert des fichiers font l’objet d’une publication chiffrée individuelle, qui donne une plus grande visibilité des performances de la 3G.

Les résultats des mesures réalisées présentent des éléments d’appréciation des performances des réseaux des opérateurs au moment de l’enquête achevée à l’été 2007. Ils ne préjugent pas des évolutions relatives aux déploiements par les opérateurs des différentes technologies employées et celles relatives à la charge des réseaux des opérateurs.

Les indicateurs publiés

Les tests réalisés en 2007 ont mis en évidence une connexion aux réseaux des opérateurs rapide et fiable. En effet, elle s’est produite dans un délai inférieur à 10 secondes dans plus de 96% des cas.

Le protocole de test de téléchargement de fichiers de 5 Mo conduisait à considérer en échec tous les téléchargements pour lesquels le délai était supérieur à 5 minutes (soit un débit moyen de téléchargement inférieur à 136 kbit/s). Ce niveau de performance est très exigeant pour les technologies de seconde génération, et explique le taux d’échec élevé de Bouygues Télécom par rapport à ses concurrents, ayant déployé des réseaux de troisième génération.

Le délai moyen de téléchargement réussi des fichiers de 5 Mo s’est établi autour de la minute pour les opérateurs disposant d’un réseau UMTS/HSDPA, et a nécessité près de 4 minutes pour Bouygues Télécom.

Le délai moyen d’envoi réussi des fichiers de 1 Mo a été légèrement supérieur à 30 secondes pour SFR, et a nécessité plus d’une minute pour Orange France et Bouygues Télécom. L’écart constaté entre les opérateurs Orange France et SFR, utilisant la même technologie UMTS, provient de la nature différente des offres de services grand public proposées par ces deux opérateurs au moment de l’enquête. En effet, l’offre commerciale grand public d’Orange France existante lors de l’enquête était limitée à un débit maximum à 128 kbit/s sur la voie montante.

Il n’est pas conseillé d’interpréter ces indicateurs de délais en termes de débits, après un calcul de conversion. En effet, la conversion d’un délai moyen en débit conduit mathématiquement à une valeur inférieure à la moyenne arithmétique des débits des téléchargements réussis. On constate un écart entre ces deux valeurs pouvant atteindre 200 kbit/s selon l’opérateur considéré. A titre d’information, la valeur moyenne des débits moyens des téléchargements réussis d’Orange et SFR s’établit à 887 kbit/s.

Influence de la position des plateformes FTP

Les fichiers étaient téléchargés et envoyés sur deux serveurs FTP différents installés en dehors des réseaux des opérateurs.

Il est important de préciser que le transit des fichiers transférés se fait en partie via Internet, dont la maitrise de la qualité du service échappe aux opérateurs de réseaux mobiles. Ce transit peut engendrer un allongement du délai de réception des messages.

Le tableau suivant présente des écarts, plus ou moins importants d’un opérateur à l’autre, selon que le serveur FTP se situe sur la première ou la seconde plateforme mise en place pour l’enquête 2007.

Téléchargement 5 Mo

Délai moyen global

Délai moyen

Plateforme 1

Délai moyen

Plateforme 2

Orange France

62,0 s

69,0 s

54,7 s

SFR

55,6 s

57,5 s

53,6 s

Bouygues Télécom

226,4 s

227,0 s

225,9 s

Les autres services de données

Les résultats du service de message court (SMS) confirment, avec un taux de réussite de 99%, la bonne qualité de ce service observée depuis plusieurs années.

Les résultats du service d’envoi de photo par messagerie multimédia (MMS et mail i-mode) sont satisfaisants compte tenu du doublement de la taille de la pièce jointe cette année.

Le service de navigation WAP ou i-mode présente des résultats en très nette amélioration cette année avec une augmentation de 14% du taux de réussite et une grande fiabilité de l’accès au portail de l’opérateur. Les résultats de ce test sont homogènes entre les opérateurs.

Enfin, le service de visiophonie, qui ne concernait cette année que les opérateurs Orange France et SFR, dont les services de troisième génération étaient ouverts, affiche des résultats satisfaisants et homogènes. Toutefois, il convient d’être prudent sur les notions de qualité parfaite et de qualité correcte, en l’absence de références clairement définies de l’attente des utilisateurs en matière de qualité d’un tel service.


Remarques générales

L’objet de cette enquête, menée sur une base annuelle, est d’apprécier la qualité de service des réseaux de téléphonie mobile de seconde (2G) et de troisième génération (3G) en France.

Les opérateurs concernés par l’étude, à savoir Orange France, SFR et Bouygues Télécom, ainsi que des associations de consommateurs et d’utilisateurs ont été associés à la définition du cahier des charges de l’étude.

Les mesures portant sur les réseaux 3G sont réalisées pour les opérateurs commercialisant un tel réseau au 1er janvier 2007.

Limites de l’exercice

L'évaluation porte sur la qualité du service de téléphonie vocale des réseaux mobiles perçue par les clients, dans les conditions où ceux-ci les utilisent au quotidien. Cette évaluation est menée sur une période de 2 mois et demi.

Afin notamment de rendre l’étude plus représentative de l’usage du service vocal de téléphonie mobile, chacun des réseaux a été testé avec les mobiles 2G et 3G correspondant aux meilleures ventes récentes de packs de chaque opérateur pour chaque technologie respectivement.

Précision statistique et arrondis

Enfin, il convient de rappeler que, comme dans tout sondage, les résultats de la présente enquête comportent une marge d’imprécision. La précision statistique indiquée en dessous de chaque résultat est l’intervalle qui contient le résultat selon une probabilité de 95%. Toute comparaison entre les différents indicateurs doit donc tenir compte de cet intervalle de confiance.

Par ailleurs, pour être en cohérence avec cette imprécision statistique, les résultats de la présente enquête ont été arrondis au pourcentage le plus proche. Il convient de rappeler que :
- la somme de deux résultats arrondis peut être différente de l’arrondi de leur somme,
- le produit de deux résultats arrondis peut être différent de l’arrondi de leur produit.


1. Caractéristiques techniques de l’enquête

1.1 Configuration générale de l’enquête

1.1.1 Définition de la mesure

Les enquêteurs munis de téléphones mobiles et les enquêteurs munis de téléphone fixe s’appellent entre eux sur les différents réseaux de téléphonie mobile à tester. Ils vérifient l’obtention de l’appel (absence d’échec), le maintien de la communication pendant deux minutes (absence de coupure) et évaluent la qualité auditive de la communication.

Une partie des mesures est réalisée avec des mobiles 3G pour les opérateurs concernés : 10% pour Orange et SFR, 0% pour Bouygues Télécom. Les mesures 3G sont intercalées entre les mesures 2G afin d’être réparties uniformément sur les zones testées.

Les appels sont passés pour partie du fixe vers le mobile (33%), et pour partie du mobile vers le fixe (67%).

Plusieurs situations d’utilisation sont testées :
- en voiture, en situation passager (sans antenne de toit), en agglomération et sur autoroutes,
- en piéton à l’extérieur,
- en piéton à l’intérieur de bâtiments,
- à bord des trains de banlieue,
- à bord des TGV.

Pour toutes les situations d’utilisation, les mesures sont menées simultanément sur les trois réseaux, au même endroit géographique. Chaque réseau est testé par un “ binôme ” d’enquêteurs, l’un mobile et l’autre fixe.

En voiture, dans les trains de banlieue ou dans les TGV et en mode piéton, un kit oreillette est utilisé.

Les mesures en situation de piéton à l’intérieur des bâtiments sont réalisées dans des lieux publics, des bureaux et des habitations privés. Elles sont réparties entre les rez-de-chaussée et les étages de manière équitable, les sous-sols étant exclus.


1.1.2 Calendrier, planning et horaires

L’enquête s’est déroulée entre le 10 avril et le 29 juin 2007.

Pendant tout le déroulement de l’enquête, les opérateurs ne connaissaient ni les jours, ni les lieux où s’effectuaient les mesures. Ils ne connaissaient pas non plus la liste des villes tirées au sort parmi les agglomérations de moins de 400 000 habitants et les abonnements utilisés dans le cadre de l’enquête.

Les mesures sont réalisées du lundi au vendredi, jours fériés inclus (sauf 1er mai), et réparties de façon homogène entre 9h et 21h, avec 40% en heures pleines (12h – 13h et 18h – 21h) dans les agglomérations hors trains de banlieue.

Les mesures sur les axes, dans les TGV et trains de banlieue sont réalisées entre 9h et 21h.

Les mesures ont été réparties sur la durée de l’enquête pour chaque usage, dans les agglomérations, les axes et les lignes TGV. De plus, plusieurs passages ont été effectués dans chacune des agglomérations de plus de 400 000 habitants, de façon à obtenir une répartition homogène de l’enquête dans le temps.


1.1.3 Terminaux utilisés

Les terminaux ont été choisis sur la base de meilleures ventes des packs de chaque opérateur et de la validation après une vérification fonctionnelle garantissant que les téléphones sélectionnés ont des performances comparables.

Les terminaux suivants ont été retenus : 

Réseau

Mobile 2G

Mobile 3G

Orange France

Sony Ericsson W300i

Nokia N70

SFR

Nokia 1600

Sony Ericsson V600i

Bouygues Telecom

Samsung S401i

 


1.2 Construction de l’échantillon

1.2.1 Volumétrie et répartition par type de lieux et par type d’usage

L’échantillon a été construit de manière à :
- distinguer les différentes catégories de situations (voiture, piéton intérieur, piéton extérieur, zones géographiques, …),
- disposer d’un nombre suffisant de mesures dans chaque catégorie en vue d’obtenir une précision statistique satisfaisante,
- répartir les mesures, au sein de chaque catégorie, selon des conditions représentatives des utilisations les plus courantes.

Les mesures pour chaque opérateur sont réparties de la manière suivante :

MESURES EN AGGLOMERATION

Voiture

Piéton

Total

En extérieur

En intérieur

Agglomérations de plus de 400 000 habitants (TOP12)

1035 mesures

1020 mesures

1018 mesures

3073 mesures

Agglomérations de 50 000 à 400 000 habitants

735 mesures

728 mesures

729 mesures

2192 mesures

Agglomérations de 20 000 à 50 000 habitants.

321 mesures

322 mesures

322 mesures

965 mesures


MESURES SUR LES AXES DE CIRCULATION

Trains de banlieue

TGV

Autoroutes

Total

Nombre de mesures

1070 mesures

1056 mesures

1105 mesures

3231 mesures

Au total, l’étude a produit et exploité 28 383 appels téléphoniques.


1.2.2 Sélection des agglomérations

Les agglomérations de plus de 400 000 habitants sont au nombre de 12 : Paris, Marseille, Lyon, Lille, Nice, Toulouse, Bordeaux, Nantes, Toulon, Douai-Lens, Strasbourg et Grenoble. Toutes ont été retenues et testées, en distinguant les “ zones très denses ” et “ autres zones denses ” selon les critères suivants :
- Zones très denses : centre ville de la ou des communes principales, zones de transit (gares, aéroports), centres d’activités (commerciaux, affaires), axes urbains à très fort trafic et autoroutes dans les limites de l’agglomération,
- Autres zones denses : continuum bâti autour de la zone très dense, autres centres villes de plus de 5000 habitants, autres axes urbains au sein de l’agglomération.

Pour les 20 agglomérations de 50 000 à 400 000 habitants, un tirage au sort a été effectué selon la même méthode que les années précédentes :
- choix d’un nombre d’agglomérations optimal de manière à effectuer, dans chaque agglomération, un nombre de mesures qui soit cohérent avec sa taille,
- tirage aléatoire des agglomérations, avec une probabilité fonction logarithmique de la population,
- rectification du tirage pour équilibrer les diverses régions du territoire.

Cette méthode de tirage renforce volontairement la représentation des agglomérations de faible population par rapport à un tirage où chaque agglomération aurait été affectée d’une probabilité proportionnelle à sa population.

Pour les 20 agglomérations de 20 000 à 50 000 habitants, le tirage au sort a été effectué avec une même probabilité pour chaque agglomération, puis rectification pour équilibrer les diverses régions du territoire.

Les agglomérations tirées au sort sont présentées par ordre alphabétique ci dessous :

Agglomérations de 50 000 à 400 000 habitants

Agglomérations de 50 000 à 20 000 habitants

ANGERS

AUXERRE

ARCACHON

BAGNOLS-SUR-CEZE

BASTIA

CAHORS

BETHUNE

CHAUMONT

BLOIS

FONTAINEBLEAU

BOURGES

FOUGERES

BRIVE-LA-GAILLARDE

LA ROCHE-SUR-YON

CAEN

MERVILLE

CALAIS

MONT-DE-MARSAN

CASTRES

MONTELIMAR

CHALON-SUR-SAONE

OYONNAX

CHARLEVILLE-MEZIERES

PENMARCH

COLMAR

PONTARLIER

NIMES

RIOM

PERPIGNAN

SAINT-DIZIER

POITIERS

SAINTES

ROANNE

SAINT-LO

ROUEN

SARREGUEMINES

SAINT-QUENTIN

VERDUN

VANNES

VOIRON

La sélection des agglomérations est récapitulée dans le tableau suivant :

CATEGORIES

Total France

Échantillon

Nombre

Population (millions)

Nombre sélectionné

Population (millions)

Représen-tativité

Agglomérations de plus de 400 000 habitants

12

18,18

12

18,18

100%

Agglomérations de 50 000 à 400 000 habitants

102

12,38

20

2,43

20%

Agglomérations de 20 000 à 50 000 habitants.

119

3,73

20

0,63

17%


1.2.3 Carte des agglomérations et des axes testées


1.3 Conditions de mesures

1.3.1 Conditions de mesures dans les agglomérations

Après avoir ainsi déterminé la localisation et le nombre des mesures, un certain nombre de conditions supplémentaires ont été prises en compte :

Localisation des mesures

D’une façon générale, l’extension de chaque agglomération testée correspond à la définition de l’INSEE donnant la liste des communes appartenant à l’agglomération.

Les agglomérations de plus de 400 000 habitants sont subdivisées en “ zones très denses ” et “ autres zones denses ” comme il est expliqué plus haut. Dans les autres agglomérations, sont distinguées la “ ville ”, qui est la commune principale, et le reste de l’agglomération.

Mesures en voiture

Dans les agglomérations de plus de 400 000 habitants, le territoire à tester est divisé en zones de surfaces équivalentes, avec un certain nombre d’appels à effectuer. Les enquêteurs ajustent leurs parcours en fonction du terrain (circulation et sens interdits), l’objectif étant de couvrir équitablement la zone.

Dans les autres agglomérations, les mesures sont réparties pour 2/3 en ville et 1/3 dans le reste de l’agglomération. Elles sont effectuées sur des parcours incluant les axes principaux et dans les zones bâties (centre ville, aéroport, gare, lieux touristiques, zones d’activités).

Mesures piétons

Dispositions communes aux mesures à l’extérieur ou à l’intérieur des bâtiments

Dans les agglomérations de plus de 400 000 habitants, les mesures sont réparties selon le même principe de division en zones de surfaces équivalentes que pour les mesures en voiture. Dans les autres agglomérations, les mesures sont effectuées dans les zones bâties, avec une répartition 2/3 en ville, 1/3 dans le reste de l’agglomération. Partout, il a été évité de faire des mesures aux mêmes endroits que celles effectuées en voiture et ces mesures ont été dispersées le plus possible sur le territoire à tester.

Mesures piétons en extérieur

Les mesures sont faites pour 2/3 en déplacement et 1/3 à l’arrêt. En chaque point mesuré, une seule mesure est réalisée de façon à obtenir la meilleure dispersion géographique. Les emplacements sont choisis parmi les zones fréquentées par les piétons (zones bâties, parcs et jardins, plages, ...).

Mesures piétons en intérieur

Tous les appels sont passés, sans se déplacer, aux rez-de-chaussée et dans les étages, les sous-sols étant exclus.

Dans certains lieux publics, les mesures se font dans les emplacements fréquentés. Aucune mesure n’est faite en sous sol.

Les mesures sont réparties, selon le type de bâtiment : 50% dans les lieux publics, 20% dans les immeubles de bureaux privés, 30% dans des locaux d’habitation privés. La dispersion des mesures est assurée de la façon suivante :
- dans les lieux publics de grande superficie : 3 à 4 mesures ;
- dans les lieux publics de petite surface : 2 mesures ;
- dans les lieux privés (bureaux ou habitations) : 1 à 4 mesures selon la surface, réparties dans l’ensemble du bâtiment, entre étages et pièces.


1.3.2 Conditions de mesures dans les trains de banlieue

Ces mesures concernent les agglomérations de Paris, Lyon, Marseille et Lille dotés de réseaux de trains de banlieue. La répartition de mesures est la suivante :

Trains de banlieue dans les agglomérations

Proportion de mesures

Paris

68%

Lyon

14%

Lille

10%

Marseille

8%

Les différentes positions des enquêteurs dans les rames ont été testées : fenêtre ou couloir, bas ou haut dans les rames, un côté de la voie à l’aller, puis l’autre au retour. Les trois enquêteurs sont groupés pour évaluer les trois réseaux dans les mêmes conditions.


1.3.3 Conditions de mesures sur les autoroutes

Les axes autoroutiers à fort trafic en dehors des limites des agglomérations et la répartition du nombre de mesures sont présentées ci-dessous :

Axes autoroutières

Proportion de mesures

A1 Paris – Lille

9%

A4 Paris – Strasbourg

10%

A6 Paris – Lyon

19%

A7 Lyon – Marseille

13%

A8 Marseille – Menton

5%

A9 Orange – Perpignan

12%

A10 Paris – Bordeaux

12%

A11 Paris – Nantes

7%

A13 Paris – Caen

5%

A61-A62 Bordeaux - Narbonne

7%

Les tests se font en faisant varier régulièrement les positions des enquêteurs dans le véhicule afin d’évaluer les trois réseaux dans les mêmes conditions.


1.3.4 Conditions de mesures dans les TGV

Les lignes de TGV testées et la répartition des mesures sont présentées ci-dessous :

Lignes TGV

Proportion de mesures

Paris – Lille

11%

Paris – Bordeaux

16%

Paris – Arras

4%

Paris – Marseille

16%

Paris – Lyon

9%

Paris – Rennes

11%

Paris – Nantes

11%

Paris - Calais (Eurostar)

7%

Lille - Lyon.

14%

Les tests se font en variant les positions des enquêteurs dans les rames : fenêtre ou couloir, bas ou haut dans les rames, un côté de la voie à l’aller, puis l’autre au retour). Les trois enquêteurs sont groupés pour évaluer les trois réseaux dans les mêmes conditions.


1.4 Notation de la qualité auditive

La qualité auditive est notée par les enquêteurs mobiles et fixes, selon une échelle à 4 niveaux :
Parfaite : aucune perturbation. Qualité équivalente à celle du réseau fixe.
Acceptable : un peu gêné dans l’écoute par quelques perturbations qui ne gênent toutefois pas la conversation.
Médiocre : fréquemment gêné dans l’écoute par de nombreuses perturbations, mais il est encore possible de se comprendre.
Mauvais : il est très difficile de s’entendre, la conversation est impossible.

Chaque enquêteur, mobile et fixe, porte une appréciation sur les communications maintenues 2 minutes. N’est retenue que l’appréciation la plus sévère des deux.

Des dispositions ont été prises à la fois pour garantir une appréciation objective de la qualité de la part des enquêteurs, et pour éviter les divergences d’évaluation et leurs conséquences sur les résultats. Les enquêteurs ont été formés spécifiquement pour identifier les perturbations typiques pouvant survenir sur les réseaux de téléphonie mobile et qualifier les communications de façon rigoureuse.

Les dispositions prises pour garantir un étalonnage objectif et homogène de la qualité auditive sont :
- formation des enquêteurs pour identifier les perturbations typiques pouvant survenir sur les réseaux mobiles numériques (écho, bruit métallique, grésillements,…) ;
- formation et entraînement à l'étalonnage de la qualité auditive d'après des enregistrements sonores, et contrôle de la dispersion des résultats ;
- campagne de mesures à blanc en situation réelle et analyse : application de procédures, enregistrement des données pour tous les enquêteurs mobiles et fixes, et analyse des résultats ;
- contrôle par des superviseurs au cours des mesures réelles : écoute discrète aléatoire et contrôle des données enregistrées tout au long de l’enquête ;
- analyse quotidienne de la cohérence des résultats obtenus : divers états de sortie statistiques permettent de détecter d’éventuelles divergences de notation de la qualité auditive, selon les enquêteurs, les terminaux, etc., et d’intervenir en cas d’anomalie ;
- permutation des binômes d’enquêteurs fixes et mobiles sur chaque réseau et entre eux, pour éliminer tout biais résiduel d’appréciation de la qualité auditive dans un même groupe et dans des groupes différents.
- Avant le début de l’enquête, tous les matériels utilisés ont été vérifiés par le consultant. Leur bon fonctionnement a été contrôlé comme le ferait un usager classique en vérifiant notamment le bon accrochage du réseau, le contrôle de la batterie et les premières communications.
- Au cours de l'enquête, l'apparition d'éventuels problèmes de fonctionnement est surveillée en temps réel. S’il en apparaît et qu'ils proviennent du matériel utilisé, les mesures sont marquées de manière spécifique dans la base pour ne pas être prises en compte dans les résultats. Ces mesures sont alors refaites après correction du problème.


1.5 Equipes et déroulement de l’enquête

Un chef de projet assure la formation des équipes au protocole ARCEP, l’organisation des itinéraires, le respect des modes opératoires et le bon déroulement de l’enquête.


1.5.1 Réalisation des mesures

Les mesures en voiture sont réalisées par une équipe de 7 personnes (4 embarquées dont 1 chauffeur, 3 enquêteurs mobiles, 3 enquêteurs fixes). L’emplacement des mobiles dans le véhicule, ainsi que les enquêteurs sont permutés par ½ journées.

Les mesures piéton sont effectuées par la même équipe où chaque enquêteur teste un seul réseau.

Les mesures dans les trains sont réalisées par des équipes de 6 personnes (3 voyageurs et 3 enquêteurs fixes). Les mesures se déroulent alors comme en voiture. Les emplacements des enquêteurs et des mobiles sont permutés au moins tout les quarts d’heure.

Chaque enquêteur teste un seul réseau. Les appels sont passés simultanément sur l’ensemble des trois réseaux.

Les enquêteurs fixes étaient situés dans les locaux de DIRECTIQUE à Paris 14ème.


1.5.2 Maîtrise de la qualité des mesures

Le travail de chaque équipe est guidé et sécurisé par une application informatique qui notamment rythme les appels et indique le sens de l’appel et le mobile (2G ou 3G) utilisé.

Chaque enquêteur fixe effectue la saisie des résultats des mesures et des repères topographiques que lui communique l’enquêteur mobile pendant les communications.

Les positions des mesures sont repérées par un système de localisation GPS, ce qui permet de vérifier le respect des consignes concernant les trajets, de repérer les mesures, et d’aider au diagnostic en cas de problème.

Au cours de l’enquête, l’apparition d’éventuels problèmes de fonctionnement affectant anormalement la qualité sur un ou plusieurs réseaux est surveillée en permanence. S’il en apparaît, et s’ils s’avèrent provenir du matériel utilisé, les mesures doivent être éliminées et refaites après correction du problème. Le cas échéant, des dispositions seront prises en concertation entre les opérateurs et l’ARCEP. S’ils proviennent du réseau d’un opérateur, ils sont considérés comme des inconvénients subis par les clients, et les mesures sont prises en compte.

Le matériel utilisé par les enquêteurs (mobiles, batteries, chargeurs, kit oreillette) fait l’objet d’une attention particulière des enquêteurs pour éviter que des défaillances puissent influencer les résultats des mesures.


2. Résultats de l’enquête

2.1. Définitions des indicateurs

Pour rappel, une mesure consiste à tenter d’établir une communication vocale, puis à évaluer la qualité auditive de la conversation, sur chacun des réseaux testés. Une mesure sur trois réseaux porte ainsi sur trois communications, qu’elles aient abouti ou non.

Les définitions des indicateurs sont résumées dans le tableau ci-dessous :

Indicateurs

Définition

Taux de communications réussies et maintenues 2 minutes (CR)

Une communication est considérée comme réussie si l’appel lancé par l’un des enquêteurs aboutit dès le premier essai et si la communication est maintenue 2 minutes sans coupure. Le taux est calculé sur la base du nombre total de mesures. Le complément à 100% est donc constitué du taux d’échecs après une tentative, plus le taux de coupures.

Taux de communications réussies et maintenues 2 minutes et de qualité auditive parfaite (TQP)

Une communication est considérée comme parfaite si elle est réussie au sens du premier indicateur et si la qualité auditive perçue par les deux interlocuteurs est parfaite (comparable à la qualité des communications sur le réseau fixe).

Taux de communications réussies, maintenues 2 minutes et de qualité auditive correcte (CRC)

Une communication est considérée comme réussie et de qualité correcte si elle est réussie au sens du premier indicateur et si la qualité auditive perçue par les 2 interlocuteurs est soit parfaite soit acceptable. Une communication est considérée comme acceptable si la qualité auditive perçue par les deux interlocuteurs est perturbée légèrement sans toutefois gêner la conversation.

Les taux de communications correctes, parfaites ou acceptables sont calculés sur la base du nombre total de tentatives de communications.


2.2. Résultats agrégés de l’enquête

Présentation des tableaux

Pour chaque indicateur, le résultat est présenté sur la base, d’une part d’une valeur de référence choisie comme étant la moyenne agrégée pour les trois opérateurs, et d’autre part de la qualification de la performance de chaque opérateur autour de cette valeur selon les cinq niveaux : très inférieur, inférieur, voisin, supérieur, très supérieur à la valeur de référence.

De plus, une comparaison avec les résultats de l’enquête 2006 tenant compte de la précision statistique de ces mesures est présente lorsqu’elle est pertinente, sous forme d’un signe () ou () accolé au résultat indiquant le cas échéant une amélioration ou une dégradation par rapport à l’année précédente, et ce pour la valeur moyenne comme pour les performances individuelles des opérateurs.

Qualification de l’opérateur en fonction de la valeur de l’écart par rapport aux seuils

Chaque opérateur est qualifié en fonction de la valeur de l’écart (e) entre son résultat (t) et la valeur de référence (m), qui est la moyenne des résultats des trois opérateurs sur l’indicateur considéré, sur 5 niveaux : très inférieur, inférieur, voisin, supérieur, très supérieur à la valeur de référence. Les seuils qui déterminent ces niveaux prennent en compte la précision statistique des résultats, car les écarts ne sont significatifs que s’ils sont supérieurs à l’incertitude. Les seuils s1 et s2 sont calculés selon les formules suivantes :


où t est la valeur de l’indicateur considéré, et n le nombre de mesures réalisées pour cet indicateur.

La qualification de la performance de l’opérateur est définie en fonction de la valeur de l’écart par rapport à ces seuils :

Seuil

Performance

Définition

e <= -s2

– –

Très inférieur à la valeur de référence

-s2 < e <= -s1

Inférieur à la valeur de référence

-s1 < e <= s1

=

Voisin de la valeur de référence

s1 < e <= s2

+

Supérieur à la valeur de référence

e >= s2

+ +

Très supérieur à la valeur de référence

Comparaison avec l’étude ARCEP de 2006

Pour chaque opérateur et pour chaque indicateur, si une comparaison avec l’année précédente est possible, (c’est à dire quand le périmètre et la méthode de mesure soient identiques), l’évolution par rapport à l’année précédente est indiquée par un signe accolé au nom de l’opérateur ou de la moyenne mesurée. Ce signe est déterminé en fonction de l’écart entre la valeur (t2) de l'indicateur de cette année par rapport à l'année précédente (t1), selon un seuil ∆ qui prend en compte la précision statistique des résultats :

où p est le résultat moyen de mesures réalisées l’année précédente et cette année, et n1 et n2 les nombres de mesures de chacune des deux années.


2.3. Résultats de l’enquête d’évaluation de la qualité du service de téléphonie mobile des réseaux de seconde et troisième génération en France métropolitaine

2.3.1. Usages courants en agglomération

Comparaison avec l’étude précédente (2006) effectuée


2.3.2. Autres Usages

Comparaison avec l’étude précédente (2006) effectuée


La qualité des services de données des réseaux mobiles de seconde et troisième génération en France 2007

1. Configuration générale de l’enquête
          1.1 Dates et duree de l’enquête
          1.2 Repartitions des lieux de mesures
          1.3 Terminaux de tests
          1.4 Choix des lieux de mesures
          1.5 Cycle de mesures
          1.6 Dispositions générales

2. mise en œuvre technique
          2.1 Mesures sms
          2.2 Mesures Mms/email i-mode
          2.3 Mesures navigation wap/i-mode
          2.4 Mesures de transfert de donnees sur carte pc
          2.5 Mesures de visiophonie

3. Résultats de l’enquête
          3.1 Définition des indicateurs
          3.2 Format de restitution des résultats
          3.3 Résultats du service de messages courts (SMS)
          3.4 Résultats du service de messages multimédia (MMS ou mail i-mode)
          3.5 Résultats du service de navigation WAP ou i-mode
          3.6 Résultats du service de transfert de données sur carte PC
          3.7 Résultats du service de visiophonie


1. Configuration générale de l’enquête

1.1 Dates et duree de l’enquête

L’enquête s’est déroulée du jeudi 24 mai 2007 au vendredi 6 juillet 2007 soit 7 semaines de mesures.

Pendant le déroulement de l’enquête, les opérateurs ne connaissaient ni les jours ni les lieux où s’effectuaient les mesures.

Les mesures ont été effectuées dans la plage horaire: 9h00 – 21h00 du lundi au vendredi.


1.2 Repartitions des lieux de mesures

500 lieux de mesures ont été audités. Les lieux de mesures sont répartis sur les villes du TOP 12 de la manière suivante:

50 % des lieux de mesures sont situés en «Zone Très Dense» (ZTD) et 50 % en «Autre Zone Dense» (AZD).


1.3 Terminaux de tests

Les terminaux utilisés pour l’enquête relative à la qualité des services de données des réseaux mobiles de seconde et de troisième génération ont été sélectionnés parmi les terminaux plus représentatifs en terme de volume de vente et d’utilisation de chaque opérateur.

Liste des terminaux utiliséssont les suivants :

 

ORANGE France

SFR

BOUYGUES TELECOM

Téléphone 2G

Sony Ericsson W300i

Samsung X660

Sagem My501ci

Téléphone 2G/3G

Nokia N70 Black

Sony Ericsson V600i 3G VL

-

Carte PC

OPTION globe trotter 3G (V3.19.0) avec kit de connexion Business Everywhere v7.1 livré dans le coffret

VMCC 3G+ avec kit de connexion livré dans le coffret.

Carte Sierra 850 GPRS EDGE UMTS HSDPA avec kit de connexion livré dans le coffret

Tableau récapitulatif des fonctionnalités testées par terminal pour l’enquête DATA 2007:


1.4 Choix des lieux de mesures

Trois équipes mobiles ont réalisées les mesures SMS/MMS ou email i-mode/WAP ou i-mode/Transfert de fichiers sur des lieux choisis sur la base d’une répartition homogène des points de mesure sur la zone testée, sans tenir compte des conditions radio.


1.5 Cycle de mesures

Le cycle de mesures suivant a été effectué sur chaque lieu par une équipe mobile :

Les mesures du service de visiophonie sont réalisées si les conditions radio le permettent (présence du logo 3G sur les écrans des terminaux de test d’Orange France et de SFR).

Le cas échéant les communications visio sont réalisées sur un autre lieu de mesure «intermédiaire» choisi en fonction des conditions radio.


1.6 Dispositions générales

Les terminaux sont réinitialisés après chaque échec bloquant et à minima 3 fois par jour.

Après chaque mesure SMS ou MMS/email i-mode, les messages sont supprimés des mobiles à l’exception du modèle de message.

Les enquêteurs occupent toujours la même place à bord du véhicule de mesure. Une rotation du matériel de mesures est effectuée quotidiennement afin d’éviter tout biais lié à l’emplacement du matériel dans le véhicule.


2. mise en œuvre technique

2.1 Mesures sms

2.1.1 Protocole de mesures

Une mesure consiste à tenter d’envoyer un message SMS, puis à mesurer son délai de réception et à vérifier son intégrité, sur chacun des réseaux testés. Pour chaque opérateur, les mesures sont réalisées pour des messages envoyés depuis et vers des mobiles du réseau de l’opérateur. Les mobiles d’émission et de réception sont situés dans la même zone géographique, en incar statique à l’extérieur des bâtiments. Le mobile de réception, du même modèle que le terminal utilisé pour l’émission, est allumé et en état de veille.

Le message envoyé est identique pour tous les opérateurs et pour tous les tests. Il est constitué de 26 caractères remplis par les lettres majuscules de l’alphabet (ABD…XYZ) à la suite duquel est ajouté le numéro d’identification de la mesure.

Après chaque mesure SMS, les messages sont supprimés des mobiles à l’exception du modèle de message.

2.1.2 Synoptique de la mesure SMS


2.2 Mesures Mms/email i-mode

2.2.1 Protocole de mesures

Une mesure consiste à tenter d’envoyer un message MMS ou email i-mode, et à mesurer son délai de réception sur chacun des réseaux testés. Les mesures sont réalisées pour des messages envoyés depuis et vers des mobiles du réseau d’un même opérateur. Les mobiles d’émission et de réception sont situés dans la même zone géographique, et les mesures sont réalisées à l’extérieur des bâtiments. Le mobile de réception, du même modèle que le terminal utilisé pour l’émission, est allumé et en état de veille.

Le message envoyé est identique pour tous les opérateurs et pour tous les tests. Il est constitué d’une part de 26 caractères remplis par les lettres majuscules de l’alphabet (ABD…XYZ) à la suite duquel est ajouté le numéro d’identification de la mesure, et d’autre part d’une photo (au format JPG) de 50ko.

La même photo sera utilisée pour toutes les mesures et tous les opérateurs.

Les terminaux conservent leur paramétrage par défaut du mode de réception des messages: automatique.

2.2.2 Synoptique de la mesure MMS/Email i-mode

2.2.3 Création du modèle de message

Pour s’assurer de l’envoi de messages multimédia identiques, un modèle (texte + photo) est enregistré dans chaque mobile au préalable. Les enquêteurs utilisent ce modèle auquel ils rajoutent le numéro du test permettant l’identification entre l’envoi et la réception.

Un modèle de MMS/email I-Mode est crée sur chaque terminal de mesure. Le modèle est le suivant:«ABCDEFGHIJKLMNOPQRSTUVWXYZ» plus une photo de 50ko.

A chaque mesure, l’enquêteur utilise le modèle créé et y ajoute le numéro de la mesure formé de 3 chiffres (par exemple 012 pour la mesure n°12).

Caractéristiques de la photochoisie pour les mesures MMS/email I-Mode :
- Type: Image JPEG
- taille (pixels): 401 x 402
- poids: 49,7 Ko (50909 octets)

L’image est la suivante:


2.3 Mesures navigation wap/i-mode

2.3.1 Protocole de mesures

Une mesure se décompose en 2 étapes indépendantes:
- accès au portail multimédia mobile de l’opérateur
- navigation d’une durée de 5 minutes.

La navigation consiste à parcourir ces sites d’information accessible sans facturation.

Le protocole utilisé pour chaque opérateur sera le protocole le plus utilisé pas ses abonnées (WAP ou i-mode) en termes de trafic. Ces éléments seront précisés par l’ARCEP lors de la réunion de lancement de l’enquête.

Les mesures sont effectuées à l’extérieur des bâtiments.

2.3.2 Synoptique de la mesure navigation WAP/i-mode

2.3.3 Echecs de navigation

La navigation est arrêtée et le test considéré en échec en cas d’échec bloquant ou de timeout (1 minute) sur une page.

Les échecs bloquants sont: déconnexion ou message d’erreur empêchant de poursuivre la navigation (par retour sur la page précédente ou par clic sur un lien).

2.3.4 Liste des services

Les pages retenues pour ces tests correspondent à celles des 10 sites d’information les plus fréquentés par les abonnées de chaque opérateur.

Liste des services testés par opérateur:

L’enquêteur suit un parcours nominal prédéfini par ASSYSTEM en marquant une pause de 20 secondes entre chaque page.


2.4 Mesures de transfert de donnees sur carte pc

2.4.1 Protocole de mesures

Une mesure consiste à établir une connexion avec un serveur relié à Internet et à téléchargé un fichier de 5 Mo ou à envoyer des fichiers de 1 Mo en utilisant le protocole de transfert de données FTP.

Le terminal de test est une carte PC. La carte PC est déconnectée du réseau depuis au minimum 1 minute avant le début d’une mesure.

Les fichiers utilisés pour les transferts de données sont identiques pour les opérateurs:
- un fichier de 5 Mo pour le téléchargement (download)
- un fichier de 1 Mo pour l’envoi (upload)

Le réseau utilisé pour les mesures de transfert de données est le réseau haut débit mobile de l’opérateur: EDGE pour Bouygues Telecom et UMTS/HSDPA pour Orange et SFR.

Les mesures sont réalisées à l’extérieur des bâtiments.

2.4.2 Synoptique de la mesure de transfert de données sur carte PC

2.4.3 Serveurs FTP

Deux serveurs FTP sont mis en place pour les mesures de transfert de données sur carte PC, avec des garanties de qualité de service identiques:

Serveur FTP sur Réseau Cogent
- Société: Serveur Host
- Serveur Linux Virtuel
- 30 Mbps de bande passante garantie
- Disponibilité du service: 99,90% du temps

Serveur FTP sur OpenTransit
- Société : Oléane
- Serveur Linux Dédié
- 30 Mbps de bande passante garantie
- Disponibilité du service: 99,90% du temps

Toutes les mesures FTP d’un même point de mesures sont effectuées sur le même serveur.

Sur l’ensemble de l’enquête Data 2007, 50% des mesures FTP ont été réalisées sur le serveur Cogent et 50% réalisées sur le serveur OpenTransit.

2.4.4 Caractéristiques des fichiers 1Mo et 5Mo

Caractéristiques des fichiers utilisés pour les mesures de transfert de données:

Emission:
- Type de fichier: texte (extension .txt)
- Poids du fichier: 1Mo (1056216 octets)

Réception:
- Type de fichier: texte (extension .txt)
- Poids du fichier: 5Mo (5242880 octets)

2.4.5 Configuration des cartes PC

Orange:
- Installation du kit de connexion (version 7.1) livré avec la PC Carte
- Création d’une connexion RAS nommée RAS_Orange pour le pilotage de la connexion via le logiciel «QOS – Réseaux Mobiles Data» d’ASSYSTEM.

SFR:
- Installation du kit de connexion (version 7) livré avec la PC Carte
- Création d’une connexion RAS nommée RAS_SFR pour le pilotage de la connexion via le logiciel «QOS – Réseaux Mobiles Data» d’ASSYSTEM.

Bouygues Telecom:
- Installation du kit de connexion livré avec la PC Carte
- Création d’une connexion RAS nommée RAS_Bouygues pour le pilotage de la connexion via le logiciel «QOS – Réseaux Mobiles Data» d’ASSYSTEM.

2.4.6 APN de mesures

Récapitulatif des abonnements et APN utilisés pour les mesures:

Orange:
- Abonnement: Forfait Internet Everywhere 3G+.
- APN: orange.fr (numéro d’appel: *99#)

SFR:
- Abonnement: Forfait Internet Mobile 3G/3G+.
- APN: websfr (numéro d’appel: *99***1#)

Bouygues Telecom:
- Abonnement: Forfait Internet haut débit.
- APN: ebouygtel.com (numéro d’appel: *98*2#)


2.5 Mesures de visiophonie

2.5.1 Protocole de mesures

Une mesure consiste à tenter d’établir puis à évaluer une communication en visiophonie de 2 minutes sur chaque réseau testé (Orange et SFR). Une mesure porte sur une communication, qu’elle ait ou non abouti. Si l’appel échoue, aucun appel n’est retenté. Le délai minimum existant entre la fin d’une communication et le début d’une autre sur un même réseau est fixé à 60 secondes.

Les appels sont passés uniquement de mobile vers mobile sur les lieux à tester. Pour chaque mesure et pour chaque réseau, l’un des deux mobiles se trouve dans des conditions radio optimales (RSCP> -80 dBm et stable). Un enquêteur dit «fixe» est positionné en usage statique à l’intérieur d’un véhicule et dans cette cellule. Un enquêteur dit «mobile» se déplace sur plusieurs lieux en situation piéton à l’intérieur et à l’extérieur des bâtiments pour effectuer les tests. Ce dernier n’effectue d’appels que si le logo 3G est affiché sur le mobile. Le cas échéant les mesures de visiophonie sont réalisées sur un autre lieu de mesures satisfaisant aux conditions requises dans le cahier des charges.

Pour chaque mobile, la proportion des appels sera la suivante :
- 1/3 d’appels entrants
- 2/3 d’appels sortants (entrants et sortants du point de vue de l’enquêteur mobile)

L’obtention de l’appel (absence d’échecs), le maintien de la communication pendant 2 minutes (absence de coupure), et la perception de la qualité auditive et visuelle de la communication sont relevés par l’enquêteur fixe via une base de saisie qui permet des contrôles de cohérence des mesures en temps réel.

En aucun cas une communication ne peut être interrompue par les enquêteurs avant 2 minutes.

Les niveaux de service mesurés sont les suivants:
- piéton extérieur
Les mesures sont réalisées de façons simultanées sur tous les réseaux à l’extérieur des bâtiments avec un mobile tenu à la main muni d’un kit oreillette en usage statique.
- piéton intérieur
Les essais sont réalisés en rez-de-chaussée ou à un étage. Les mesures sont réalisées en usage statique de façons simultanées sur tous les réseaux avec un mobile tenu à la main muni d’un kit oreillette.

2.5.2 Notation des mesures de visiophonie

Chaque enquêteur, mobile et fixe, porte une appréciation sur les communications maintenues 2 minutes. Seule l’appréciation la plus sévère des deux est retenue.

Notation de la qualité

AUDITIVE
- Parfait : son sans aucune perturbation après les premières secondes nécessaires à l’établissement du son.
- Acceptable : existence de perturbations ponctuelles, sur une courte durée (3 secondes maximum) et à une fréquence limitée (3 fois maximum durant la communication de 2 mn).
- Médiocre : son affecté de dégradations sur une période et à une fréquence dépassant l’acceptable.
- Mauvais : son dégradé par de très nombreuses perturbations, sur une grande période, ou à une fréquence rapprochée, faisant perdre tout intérêt à la conversation (envie d’y mettre fin).

Les dégradations de qualité auditivepour les communications de qualité non parfaite sont les suivantes :
- Grésillement
- Distorsion
- Microcoupure
- Voix faible
- Silence
- Echo
- Bruits métalliques

VIDEO

Appréciation de la qualité image
- Parfait : image sans aucune perturbation après les premières secondes nécessaires à l’établissement de l’image.
- Acceptable : existence de perturbations ponctuelles, sur une courte durée (3 secondes maximum) et à une fréquence limitée (3 fois maximum durant la communication de 2 mn).
- Médiocre : image affectée de dégradations sur une période et à une fréquence dépassant l’acceptable. Les perturbations sont gênantes pour le sujet visionné, et nuisent à l’attrait et au suivi de la séquence vidéo.
- Mauvais : image dégradée par de très nombreuses perturbations, sur une grande période, ou à une fréquence rapprochée, faisant perdre tout intérêt à la séquence vidéo (envie d ’y mettre fin).

Les dégradations concernant la qualité vidéopour les communications de qualité non parfaitesont les suivantes :
- Gel d’image (saccades, ou blocages longs)
- Pixellisation (sauf pour les premiers 5 secondes)
- Coupure image après 5 secondes de communication et écran noir jusqu’à la fin de la communication avec présence du son
- Interruption d’image (la différence avec la coupure image est que l’image réapparaît avant la fin de la communication de 2 minutes)
- Désynchronisation entre l’image et le son.


3. Résultats de l’enquête

3.1 Définition des indicateurs

3.1.1 Indicateurs du service de messages courts (SMS)

Indicateurs

Définitions

Taux de messages reçus

Un message est considéré comme reçu si le message émis n'est pas refusé par le réseau, s'il est reçu dans un délai de 2 minutes, et si son contenu est correct. Le taux est calculé sur la base du nombre total de mesures. Le complément à 100% est donc constitué du taux de messages refusés par le réseau, ou reçus après 2 minutes, ou dont le contenu est incorrect.

Taux de messages reçus et dans un délai inférieur à 30 secondes

Un message est considéré reçu dans un délai inférieur à 30 secondes si le message est reçu au sens du premier indicateur et si le délai de réception du message reçu ne dépasse pas 30 secondes.

Délai de réception

Le délai de réception des messages reçus correspond à l'intervalle de temps entre l'émission sollicitée par l'enquêteur et la notification de la réception du message dans un délai inférieur à 2 minutes.

3.1.2 Indicateurs du service de messages multimédia (MMS ou mail i-mode)

Indicateurs

Définitions

Taux de réussite

Un message est considéré comme reçu si le message émis n'est pas refusé par le réseau, s'il est reçu dans un délai de 5 minutes, et si son contenu est correct. Le taux est calculé sur la base du nombre total de mesures. Le complément à 100% est donc constitué du taux de messages refusés par le réseau, ou reçus après 5 minutes, ou dont le contenu est incorrect.

Taux de messages reçus et dans un délai inférieur à 3 minutes

Un message est considéré reçu dans un délai inférieur à 3 minutes si le message est reçu au sens du premier indicateur et si le délai de réception du message reçu ne dépasse pas 3 minutes.

Délai de réception

Le délai de réception des messages reçus correspond à l'intervalle de temps entre l'émission sollicitée par l'enquêteur et la notification de la réception du message.

3.1.3 Indicateurs du service de navigation WAP ou i-mode

Indicateurs

Définitions

Taux de réussite de l'accès au portail

L'accès au portail de l'opérateur est considéré comme réussi lorsque la page d'accueil de l'opérateur est chargée intégralement sans coupure de connexion dans un délai inférieur à 1 minute dés la première tentative.
Ce taux est calculé sur la base du nombre total de mesures

Taux de navigations réussies et maintenues pendant une durée de 5 minutes

La navigation est considérée comme réussie si elle est maintenue et active pendant une durée de 5 minutes sans coupure de connexion, échecs ne permettant de poursuivre la navigation par tout moyen (clic sur une touche ou retour arrière), et si le temps inter page ne dépasse 1 minute.
Ce taux est calculé sur la base du nombre total de mesures.

3.1.4 Indicateurs du service de transfert de données sur carte PC

Indicateurs

Définitions

Taux de connexions réussies

Une connexion est réussie si elle est établie dans un délai inférieur à 1 minute. Le taux de connexions réussies est calculé sur la base de l’ensemble des mesures réalisées.

Délai moyen de connexion

Moyenne arithmétique des délais de connexion. Le temps de connexion est calculé sur la base des connexions réussies.

Taux de fichiers reçus

Un fichier est considéré comme reçu si le fichier est reçu intégralement dans un délai de Dmax minutes et si son contenu est correct. Le taux est calculé sur la base du nombre total de mesures pour chaque type de fichier.

Délai moyen

Moyenne arithmétique des délais de réception des fichiers reçus et dont le contenu est correct pour chaque type de contenu.

Ecart type du délai de réception

Ecart type des délais de réception des fichiers reçus et dont le contenu est correct pour chaque type de fichier.

3.1.5 Indicateurs du service de visiophonie

Indicateurs

Définitions

Taux de communications réussies

Une communication est considérée comme réussie si l’appel lancé par l’un des enquêteurs aboutit dès le premier essai et si la communication est maintenue 2 minutes sans coupure (voix ou vidéo).
Le taux est calculé sur la base du nombre total de tentatives.

Taux de communications réussies et de qualité parfaite

Une communication est considérée comme parfaite si la qualité globale de communication est perçue comme parfaite par les deux interlocuteurs.
Le taux est calculé sur la base du nombre total de tentatives.

Taux de communications réussies et de qualité correcte

Une communication est considérée comme parfaite si la qualité globale de communication est perçue comme parfaite ou acceptable par les deux interlocuteurs.
Le taux est calculé sur la base du nombre total de tentatives.


3.2 Format de restitution des résultats

3.2.1 Présentations des tableaux

A l’exception des mesures relatives au téléchargement de fichiers sur les cartes PC, les résultats de l’enquête sont publiés sur la base d’une part de la moyenne agrégée pour les trois opérateurs et de sa précision statistique(1), et d’autre part de la qualification individuelle de la performance des opérateurs.

Cette qualification est déterminée en fonction de l’écart de la performance mesurées de l’opérateurs par rapport à une valeur de référence.


(1) La précision statistique (p) définit autour de la valeur mesurée () un intervalle de confiance , tel qu’il contienne la valeur théorique (X) avec une probabilité de 95%. Elle est calculée en utilisant l’approximation normale de la distribution binomiale, par la formule (où n est le nombre de mesures réalisées pour l’indicateur considéré).

3.2.2 Choix de la valeur de référence

La valeur de référence (v) est choisie comme étant la réalisation de la moyenne des résultats des trois opérateurs sur la mesure considérée.

Pour les mesures de «taux» :

Pour les mesures de «délais» :

3.2.3 Choix des seuils

Pour les mesures de «taux» :
On réalise le test d’inégalité suivant: est défini pour chaque opérateur de telle façon que l’intervalle contienne la valeur () du résultat théorique de l’opérateur avec une probabilité de 95%.
est calculé par la formule suivante (n étant le nombre de mesures réalisées pour l’indicateur considéré):

Pour les mesures de «délai»:
On calcule l’intervalle de confiance en valeur relative dans lequel se situe le résultat théorique de chaque opérateur (Di) avec la probabilité de 95% selon la formule suivante:

représente l’écart type du délai moyen mesuré, sa valeur est calculée pour chaque opérateur:

Pour chaque opérateur, les seuils s1 ets2 sont définis de la façon suivante:

Pour les taux publiés

Pour les délais publiés

s1 = Max(1%; )
s2 = 4%

s1 = Max(5%;ICi)
s2 = 4%

3.2.4 Qualification de l’opérateur

La qualification de l’opérateur se fait en fonction de la valeur de l’écart () du taux () ou du délai () mesuré par rapport à la valeur de référence (v):

 

Pour les délais publiés

Pour les délais publiés

e ≤ -s2

- -

+ +

- s2 < e =< - s1

-

+

- s1 < e =<s1

=

=

s1 < e =<s2

+

-

e >= s2

+ +

- -

3.2.5 Comparaison des résultats avec ceux de l’année précédente

Les résultats de l’enquête concernant la qualité des services mobiles sont comparés, quand cela est possible, avec ceux de l’année précédente, pour chaque opérateur, ainsi que la moyenne. Pour chaque opérateur, et pour chaque indicateur, l’évolution par rapport à l’année précédente est indiquée par un signe accolé au nom de l’opérateur ou de la moyenne mesurée :
- En cas d’amélioration de la valeur de l’indicateur cette année (t2) par rapport à l’année précédente (t1) supérieure à ∆: ()
- En cas d’indétermination (écart inférieur à ∆):(pas de signe)
- En cas de dégradation supérieure à ∆: ()

Avec ∆ = Max (1%; ∆min), où ∆min est défini de telle façon que si t2 > t1 + ∆min, alors la valeur théorique T2 est supérieure à la valeur théorique T1 avec une probabilité de 95%. ∆min est calculé par une formule analogue à celle qui permet le calcul de la précision statistique: ∆min = , où , et n1 et n2 sont les nombres de mesures réalisés respectivement l’année précédente et cette année.


3.3 Résultats du service de messages courts (SMS)

 

SMS

Moyenne mesurée

Orange France

SFR

Bouygues

1 503 mesures

501 mesures

501 mesures

501 mesures

Taux de messages reçus

99,0%

=

=

=

Précision statistique

+/-0,50%

   

depuis 2006 :

Taux de messages reçus en moins de 30 secondes

99,0%

=

=

=

Précision statistique

+/-0,50%

depuis 2006 :

   


3.4 Résultats du service de messages multimédia (MMS ou mail i-mode)

 

MMS / mail i-mode

Moyenne mesurée

Orange France

SFR

Bouygues

1 497 mesures

499 mesures

499 mesures

499 mesures

Taux de messages reçus

96,1%

=

+

-

Précision statistique

+/-0,98%

     

Taux de messages reçus
en moins de 3 minutes

95,9%

=

+

-

Précision statistique

+/-1,00%

     

Note: pas de comparaison avec l’enquête DATA 2006 en raison du changement de protocole (taille de la pièce jointe passée de 25ko à 50ko).


3.5 Résultats du service de navigation WAP ou i-mode

 

Navigation

Moyenne mesurée

Orange France

SFR

Bouygues

3 066 mesures

1 022 mesures

1 022 mesures

1 022 mesures

Taux de réussite de connexion au portail

99,2%

=

=

=

Précision statistique

+/-0,32%

 

depuis 2006 :

depuis 2006 :

depuis 2006 :

 

Taux de navigation réussie et maintenue pendant une durée de 5 minutes

98,3%

=

=

=

Précision statistique

+/-0,46%

 

depuis 2006 :

depuis 2006 :

depuis 2006 :

depuis 2006 :


3.6 Résultats du service de transfert de données sur carte PC

 

Connexion au réseau

Moyenne mesurée

Orange France

SFR

Bouygues Télécom

5 157 mesures

1 719 mesures

1 719 mesures

1 719 mesures

Taux de connexions réussies au réseau

98,7%

=

=

=

Précision statistique

+/-0,31%

Taux de connexions réussies en moins de 10s

96,3%

=

=

=

Précision statistique

+/-0,52%

Note: pas de comparaison avec l’enquête DATA 2006 en raison du changement de protocole (réseau GPRS en 2006 contre Edge ou 3G en 2007).

 

Téléchargement de fichiers de 5 Mo

Orange France

SFR

Bouygues Télécom

Offre grand public

Offre grand public

Offre grand public (limitée à EDGE)

875 mesures

875 mesures

875 mesures

Taux de fichiers de 5 Mo reçus

95,4%

94,4%

57,9%

Précision statistique

1,38%

1,52%

3,27%

Délai moyen de téléchargement des fichiers de 5 Mo reçus*

62,0 s

55,6 s

226,4 s

Précision statistique

± 2,3 s

± 2,6 s

± 1,8 s

Dispersion

35,0

38,5

27,6

Note: pas de comparaison avec l’enquête DATA 2006 en raison du changement de protocole (taille du fichier de 100 ko en 2006 contre 5 Mo en 2007).

 

Envoi de fichiers de 1 Mo

Orange France

SFR

Bouygues Télécom

Offre grand public

(limitée à 128 kbit/s)

Offre grand public

Offre grand public (limitée à EDGE)

844 mesures

844 mesures

844 mesures

Taux de fichiers de 1 Mo envoyés

92,2%

95,7%

71,3%

Précision statistique

1,81%

1,36%

3,05%

Délai moyen d'envoi des fichiers de 1 Mo*

74,4 s

31,0 s

93,9 s

Précision statistique

± 0,4 s

± 0,8 s

± 0,6 s

Ecart type

5,8

11,6

9,6

Note: pas de comparaison avec l’enquête DATA 2006 en raison du changement de protocole (taille du fichier de 10 ko en 2006 contre 1 Mo en 2007).
*avertissement: il est rappelé que le débit calculable à partir de cette valeur de délai publiée est mathématiquement inférieur à la moyenne arithmétique des débits moyens de téléchargements.


3.7 Résultats du service de visiophonie

 

Visiophonie

Moyenne mesurée

Orange France

SFR

3 312 mesures

1 656 mesures

1 656 mesures

Taux de communications réussies et maintenues 2 minutes

92,9%

=

=

Précision statistique

+/-0,88%

   

Taux de communications réussies et maintenues 2 minutes et de qualité parfaite

82,3%

=

=

Précision statistique

+/-1,30%

   

Taux de communications réussies et maintenues 2 minutes et de qualité correcte

90,3%

=

=

Précision statistique

+/-1,01%

   

Note: le service de visiophonie n’a pas été mesuré en 2006

 

Rechercher une publication

Thème

Type de document

Mots-clés

Le résultat doit contenir :
Tous les mots
Au moins un des mots

Année

Valider