1.2.1 Volumétrie et répartition par type de lieux et par type d’usage L’échantillon a été construit de manière à : Les mesures pour chaque opérateur sont réparties de la manière suivante :
Au total, l’étude a produit et exploité 28 383 appels téléphoniques.
Les agglomérations de plus de 400 000 habitants sont au nombre
de 12 : Paris, Marseille, Lyon, Lille, Nice, Toulouse, Bordeaux, Nantes,
Toulon, Douai-Lens, Strasbourg et Grenoble. Toutes ont été retenues et testées,
en distinguant les “ zones très denses ” et “ autres zones denses ”
selon les critères suivants : Pour les 20 agglomérations de 50 000 à 400 000 habitants,
un tirage au sort a été effectué selon la même méthode que les années précédentes
: Cette méthode de tirage renforce volontairement la représentation des agglomérations de faible population par rapport à un tirage où chaque agglomération aurait été affectée d’une probabilité proportionnelle à sa population. Pour les 20 agglomérations de 20 000 à 50 000 habitants, le tirage au sort a été effectué avec une même probabilité pour chaque agglomération, puis rectification pour équilibrer les diverses régions du territoire. Les agglomérations tirées au sort sont présentées par ordre alphabétique ci dessous :
La sélection des agglomérations est récapitulée dans le tableau suivant :
1.3.1 Conditions de mesures dans les agglomérations Après avoir ainsi déterminé la localisation et le nombre des mesures, un certain nombre de conditions supplémentaires ont été prises en compte : Localisation des mesures D’une façon générale, l’extension de chaque agglomération testée correspond à la définition de l’INSEE donnant la liste des communes appartenant à l’agglomération. Les agglomérations de plus de 400 000 habitants sont subdivisées en “ zones très denses ” et “ autres zones denses ” comme il est expliqué plus haut. Dans les autres agglomérations, sont distinguées la “ ville ”, qui est la commune principale, et le reste de l’agglomération. Mesures en voiture Dans les agglomérations de plus de 400 000 habitants, le territoire à tester est divisé en zones de surfaces équivalentes, avec un certain nombre d’appels à effectuer. Les enquêteurs ajustent leurs parcours en fonction du terrain (circulation et sens interdits), l’objectif étant de couvrir équitablement la zone. Dans les autres agglomérations, les mesures sont réparties pour 2/3 en ville et 1/3 dans le reste de l’agglomération. Elles sont effectuées sur des parcours incluant les axes principaux et dans les zones bâties (centre ville, aéroport, gare, lieux touristiques, zones d’activités). Mesures piétons Dispositions communes aux mesures à l’extérieur ou à l’intérieur des bâtiments Dans les agglomérations de plus de 400 000 habitants, les mesures sont réparties selon le même principe de division en zones de surfaces équivalentes que pour les mesures en voiture. Dans les autres agglomérations, les mesures sont effectuées dans les zones bâties, avec une répartition 2/3 en ville, 1/3 dans le reste de l’agglomération. Partout, il a été évité de faire des mesures aux mêmes endroits que celles effectuées en voiture et ces mesures ont été dispersées le plus possible sur le territoire à tester. Mesures piétons en extérieur Les mesures sont faites pour 2/3 en déplacement et 1/3 à l’arrêt. En chaque point mesuré, une seule mesure est réalisée de façon à obtenir la meilleure dispersion géographique. Les emplacements sont choisis parmi les zones fréquentées par les piétons (zones bâties, parcs et jardins, plages, ...). Mesures piétons en intérieur Tous les appels sont passés, sans se déplacer, aux rez-de-chaussée et dans les étages, les sous-sols étant exclus. Dans certains lieux publics, les mesures se font dans les emplacements fréquentés. Aucune mesure n’est faite en sous sol. Les mesures sont réparties, selon le type de bâtiment : 50% dans les lieux
publics, 20% dans les immeubles de bureaux privés, 30% dans des locaux d’habitation
privés. La dispersion des mesures est assurée de la façon suivante :
Ces mesures concernent les agglomérations de Paris, Lyon, Marseille et Lille dotés de réseaux de trains de banlieue. La répartition de mesures est la suivante :
Les différentes positions des enquêteurs dans les rames ont été testées : fenêtre ou couloir, bas ou haut dans les rames, un côté de la voie à l’aller, puis l’autre au retour. Les trois enquêteurs sont groupés pour évaluer les trois réseaux dans les mêmes conditions.
Les axes autoroutiers à fort trafic en dehors des limites des agglomérations et la répartition du nombre de mesures sont présentées ci-dessous :
Les tests se font en faisant varier régulièrement les positions des enquêteurs dans le véhicule afin d’évaluer les trois réseaux dans les mêmes conditions.
Les lignes de TGV testées et la répartition des mesures sont présentées ci-dessous :
Les tests se font en variant les positions des enquêteurs dans les rames : fenêtre ou couloir, bas ou haut dans les rames, un côté de la voie à l’aller, puis l’autre au retour). Les trois enquêteurs sont groupés pour évaluer les trois réseaux dans les mêmes conditions.
La qualité auditive est notée par les enquêteurs mobiles et fixes, selon une
échelle à 4 niveaux : Chaque enquêteur, mobile et fixe, porte une appréciation sur les communications maintenues 2 minutes. N’est retenue que l’appréciation la plus sévère des deux. Des dispositions ont été prises à la fois pour garantir une appréciation objective de la qualité de la part des enquêteurs, et pour éviter les divergences d’évaluation et leurs conséquences sur les résultats. Les enquêteurs ont été formés spécifiquement pour identifier les perturbations typiques pouvant survenir sur les réseaux de téléphonie mobile et qualifier les communications de façon rigoureuse. Les dispositions prises pour garantir un étalonnage objectif et homogène de
la qualité auditive sont :
Un chef de projet assure la formation des équipes au protocole ARCEP, l’organisation des itinéraires, le respect des modes opératoires et le bon déroulement de l’enquête.
Les mesures en voiture sont réalisées par une équipe de 7 personnes (4 embarquées dont 1 chauffeur, 3 enquêteurs mobiles, 3 enquêteurs fixes). L’emplacement des mobiles dans le véhicule, ainsi que les enquêteurs sont permutés par ½ journées. Les mesures piéton sont effectuées par la même équipe où chaque enquêteur teste un seul réseau. Les mesures dans les trains sont réalisées par des équipes de 6 personnes (3 voyageurs et 3 enquêteurs fixes). Les mesures se déroulent alors comme en voiture. Les emplacements des enquêteurs et des mobiles sont permutés au moins tout les quarts d’heure. Chaque enquêteur teste un seul réseau. Les appels sont passés simultanément sur l’ensemble des trois réseaux. Les enquêteurs fixes étaient situés dans les locaux de DIRECTIQUE à Paris 14ème.
Le travail de chaque équipe est guidé et sécurisé par une application informatique qui notamment rythme les appels et indique le sens de l’appel et le mobile (2G ou 3G) utilisé. Chaque enquêteur fixe effectue la saisie des résultats des mesures et des repères topographiques que lui communique l’enquêteur mobile pendant les communications. Les positions des mesures sont repérées par un système de localisation GPS, ce qui permet de vérifier le respect des consignes concernant les trajets, de repérer les mesures, et d’aider au diagnostic en cas de problème. Au cours de l’enquête, l’apparition d’éventuels problèmes de fonctionnement affectant anormalement la qualité sur un ou plusieurs réseaux est surveillée en permanence. S’il en apparaît, et s’ils s’avèrent provenir du matériel utilisé, les mesures doivent être éliminées et refaites après correction du problème. Le cas échéant, des dispositions seront prises en concertation entre les opérateurs et l’ARCEP. S’ils proviennent du réseau d’un opérateur, ils sont considérés comme des inconvénients subis par les clients, et les mesures sont prises en compte. Le matériel utilisé par les enquêteurs (mobiles, batteries, chargeurs, kit oreillette) fait l’objet d’une attention particulière des enquêteurs pour éviter que des défaillances puissent influencer les résultats des mesures.
Pour rappel, une mesure consiste à tenter d’établir une communication vocale, puis à évaluer la qualité auditive de la conversation, sur chacun des réseaux testés. Une mesure sur trois réseaux porte ainsi sur trois communications, qu’elles aient abouti ou non. Les définitions des indicateurs sont résumées dans le tableau ci-dessous :
Les taux de communications correctes, parfaites ou acceptables sont calculés sur la base du nombre total de tentatives de communications.
|
Seuil |
Performance |
Définition |
e <= -s2 |
– – |
Très inférieur à la valeur de référence |
-s2 < e <= -s1 |
– |
Inférieur à la valeur de référence |
-s1 < e <= s1 |
= |
Voisin de la valeur de référence |
s1 < e <= s2 |
+ |
Supérieur à la valeur de référence |
e >= s2 |
+ + |
Très supérieur à la valeur de référence |
Comparaison avec l’étude ARCEP de 2006
Pour chaque opérateur et pour chaque indicateur, si une comparaison avec l’année précédente est possible, (c’est à dire quand le périmètre et la méthode de mesure soient identiques), l’évolution par rapport à l’année précédente est indiquée par un signe accolé au nom de l’opérateur ou de la moyenne mesurée. Ce signe est déterminé en fonction de l’écart entre la valeur (t2) de l'indicateur de cette année par rapport à l'année précédente (t1), selon un seuil ∆ qui prend en compte la précision statistique des résultats :
où p est le résultat moyen de mesures réalisées l’année précédente et cette année, et n1 et n2 les nombres de mesures de chacune des deux années.
2.3. Résultats de l’enquête d’évaluation de la qualité du service de téléphonie
mobile des réseaux de seconde et troisième génération en France métropolitaine
2.3.1. Usages courants en agglomération
Comparaison avec l’étude précédente (2006) effectuée
2.3.2. Autres Usages
Comparaison avec l’étude précédente (2006) effectuée
La qualité des services de données des réseaux mobiles de seconde et troisième génération en France 2007
1. Configuration générale de l’enquête
1.1
Dates et duree de l’enquête
1.2
Repartitions des lieux de mesures
1.3
Terminaux de tests
1.4
Choix des lieux de mesures
1.5
Cycle de mesures
1.6
Dispositions générales
2. mise en œuvre technique
2.1
Mesures sms
2.2
Mesures Mms/email i-mode
2.3
Mesures navigation wap/i-mode
2.4
Mesures de transfert de donnees sur carte pc
2.5
Mesures de visiophonie
3. Résultats de l’enquête
3.1
Définition des indicateurs
3.2
Format de restitution des résultats
3.3 Résultats
du service de messages courts (SMS)
3.4
Résultats du service de messages multimédia (MMS ou mail i-mode)
3.5
Résultats du service de navigation WAP ou i-mode
3.6
Résultats du service de transfert de données sur carte PC
3.7
Résultats du service de visiophonie
1. Configuration générale de l’enquête
1.1 Dates et duree de l’enquête
L’enquête s’est déroulée du jeudi 24 mai 2007 au vendredi 6 juillet 2007 soit 7 semaines de mesures.
Pendant le déroulement de l’enquête, les opérateurs ne connaissaient ni les jours ni les lieux où s’effectuaient les mesures.
Les mesures ont été effectuées dans la plage horaire: 9h00 – 21h00 du lundi au vendredi.
1.2 Repartitions des lieux de mesures
500 lieux de mesures ont été audités. Les lieux de mesures sont répartis sur les villes du TOP 12 de la manière suivante:
50 % des lieux de mesures sont situés en «Zone Très Dense» (ZTD) et 50 % en «Autre Zone Dense» (AZD).
1.3 Terminaux de tests
Les terminaux utilisés pour l’enquête relative à la qualité des services de données des réseaux mobiles de seconde et de troisième génération ont été sélectionnés parmi les terminaux plus représentatifs en terme de volume de vente et d’utilisation de chaque opérateur.
Liste des terminaux utiliséssont les suivants :
ORANGE France |
SFR |
BOUYGUES TELECOM |
|
Téléphone 2G |
Sony Ericsson W300i |
Samsung X660 |
Sagem My501ci |
Téléphone 2G/3G |
Nokia N70 Black |
Sony Ericsson V600i 3G VL |
- |
Carte PC |
OPTION globe trotter 3G (V3.19.0) avec kit de connexion Business Everywhere v7.1 livré dans le coffret |
VMCC 3G+ avec kit de connexion livré dans le coffret. |
Carte Sierra 850 GPRS EDGE UMTS HSDPA avec kit de connexion livré dans le coffret |
Tableau récapitulatif des fonctionnalités testées par terminal pour l’enquête DATA 2007:
1.4 Choix des lieux de mesures
Trois équipes mobiles ont réalisées les mesures SMS/MMS ou email i-mode/WAP ou i-mode/Transfert de fichiers sur des lieux choisis sur la base d’une répartition homogène des points de mesure sur la zone testée, sans tenir compte des conditions radio.
1.5 Cycle de mesures
Le cycle de mesures suivant a été effectué sur chaque lieu par une équipe mobile :
Les mesures du service de visiophonie sont réalisées si les conditions radio le permettent (présence du logo 3G sur les écrans des terminaux de test d’Orange France et de SFR).
Le cas échéant les communications visio sont réalisées sur un autre lieu de mesure «intermédiaire» choisi en fonction des conditions radio.
1.6 Dispositions générales
Les terminaux sont réinitialisés après chaque échec bloquant et à minima 3 fois par jour.
Après chaque mesure SMS ou MMS/email i-mode, les messages sont supprimés des mobiles à l’exception du modèle de message.
Les enquêteurs occupent toujours la même place à bord du véhicule de mesure. Une rotation du matériel de mesures est effectuée quotidiennement afin d’éviter tout biais lié à l’emplacement du matériel dans le véhicule.
2. mise en œuvre technique
2.1 Mesures sms
2.1.1 Protocole de mesures
Une mesure consiste à tenter d’envoyer un message SMS, puis à mesurer son délai de réception et à vérifier son intégrité, sur chacun des réseaux testés. Pour chaque opérateur, les mesures sont réalisées pour des messages envoyés depuis et vers des mobiles du réseau de l’opérateur. Les mobiles d’émission et de réception sont situés dans la même zone géographique, en incar statique à l’extérieur des bâtiments. Le mobile de réception, du même modèle que le terminal utilisé pour l’émission, est allumé et en état de veille.
Le message envoyé est identique pour tous les opérateurs et pour tous les tests. Il est constitué de 26 caractères remplis par les lettres majuscules de l’alphabet (ABD…XYZ) à la suite duquel est ajouté le numéro d’identification de la mesure.
Après chaque mesure SMS, les messages sont supprimés des mobiles à l’exception du modèle de message.
2.1.2 Synoptique de la mesure SMS
2.2 Mesures Mms/email i-mode
2.2.1 Protocole de mesures
Une mesure consiste à tenter d’envoyer un message MMS ou email i-mode, et à mesurer son délai de réception sur chacun des réseaux testés. Les mesures sont réalisées pour des messages envoyés depuis et vers des mobiles du réseau d’un même opérateur. Les mobiles d’émission et de réception sont situés dans la même zone géographique, et les mesures sont réalisées à l’extérieur des bâtiments. Le mobile de réception, du même modèle que le terminal utilisé pour l’émission, est allumé et en état de veille.
Le message envoyé est identique pour tous les opérateurs et pour tous les tests. Il est constitué d’une part de 26 caractères remplis par les lettres majuscules de l’alphabet (ABD…XYZ) à la suite duquel est ajouté le numéro d’identification de la mesure, et d’autre part d’une photo (au format JPG) de 50ko.
La même photo sera utilisée pour toutes les mesures et tous les opérateurs.
Les terminaux conservent leur paramétrage par défaut du mode de réception des messages: automatique.
2.2.2 Synoptique de la mesure MMS/Email i-mode
2.2.3 Création du modèle de message
Pour s’assurer de l’envoi de messages multimédia identiques, un modèle (texte + photo) est enregistré dans chaque mobile au préalable. Les enquêteurs utilisent ce modèle auquel ils rajoutent le numéro du test permettant l’identification entre l’envoi et la réception.
Un modèle de MMS/email I-Mode est crée sur chaque terminal de mesure. Le modèle est le suivant:«ABCDEFGHIJKLMNOPQRSTUVWXYZ» plus une photo de 50ko.
A chaque mesure, l’enquêteur utilise le modèle créé et y ajoute le numéro de la mesure formé de 3 chiffres (par exemple 012 pour la mesure n°12).
Caractéristiques de la photochoisie pour les mesures MMS/email
I-Mode :
- Type: Image JPEG
- taille (pixels): 401 x 402
- poids: 49,7 Ko (50909 octets)
L’image est la suivante:
2.3 Mesures navigation wap/i-mode
2.3.1 Protocole de mesures
Une mesure se décompose en 2 étapes indépendantes:
- accès au portail multimédia mobile de l’opérateur
- navigation d’une durée de 5 minutes.
La navigation consiste à parcourir ces sites d’information accessible sans facturation.
Le protocole utilisé pour chaque opérateur sera le protocole le plus utilisé pas ses abonnées (WAP ou i-mode) en termes de trafic. Ces éléments seront précisés par l’ARCEP lors de la réunion de lancement de l’enquête.
Les mesures sont effectuées à l’extérieur des bâtiments.
2.3.2 Synoptique de la mesure navigation WAP/i-mode
2.3.3 Echecs de navigation
La navigation est arrêtée et le test considéré en échec en cas d’échec bloquant ou de timeout (1 minute) sur une page.
Les échecs bloquants sont: déconnexion ou message d’erreur empêchant de poursuivre la navigation (par retour sur la page précédente ou par clic sur un lien).
2.3.4 Liste des services
Les pages retenues pour ces tests correspondent à celles des 10 sites d’information les plus fréquentés par les abonnées de chaque opérateur.
Liste des services testés par opérateur:
L’enquêteur suit un parcours nominal prédéfini par ASSYSTEM en marquant une pause de 20 secondes entre chaque page.
2.4 Mesures de transfert de donnees sur carte pc
2.4.1 Protocole de mesures
Une mesure consiste à établir une connexion avec un serveur relié à Internet et à téléchargé un fichier de 5 Mo ou à envoyer des fichiers de 1 Mo en utilisant le protocole de transfert de données FTP.
Le terminal de test est une carte PC. La carte PC est déconnectée du réseau depuis au minimum 1 minute avant le début d’une mesure.
Les fichiers utilisés pour les transferts de données sont
identiques pour les opérateurs:
- un fichier de 5 Mo pour le téléchargement (download)
- un fichier de 1 Mo pour l’envoi (upload)
Le réseau utilisé pour les mesures de transfert de données est le réseau haut débit mobile de l’opérateur: EDGE pour Bouygues Telecom et UMTS/HSDPA pour Orange et SFR.
Les mesures sont réalisées à l’extérieur des bâtiments.
2.4.2 Synoptique de la mesure de transfert de données sur carte PC
2.4.3 Serveurs FTP
Deux serveurs FTP sont mis en place pour les mesures de transfert de données sur carte PC, avec des garanties de qualité de service identiques:
Serveur FTP sur Réseau Cogent
- Société: Serveur Host
- Serveur Linux Virtuel
- 30 Mbps de bande passante garantie
- Disponibilité du service: 99,90% du temps
Serveur FTP sur OpenTransit
- Société : Oléane
- Serveur Linux Dédié
- 30 Mbps de bande passante garantie
- Disponibilité du service: 99,90% du temps
Toutes les mesures FTP d’un même point de mesures sont effectuées sur le même serveur.
Sur l’ensemble de l’enquête Data 2007, 50% des mesures FTP ont été réalisées sur le serveur Cogent et 50% réalisées sur le serveur OpenTransit.
2.4.4 Caractéristiques des fichiers 1Mo et 5Mo
Caractéristiques des fichiers utilisés pour les mesures de transfert de données:
Emission:
- Type de fichier: texte (extension .txt)
- Poids du fichier: 1Mo (1056216 octets)
Réception:
- Type de fichier: texte (extension .txt)
- Poids du fichier: 5Mo (5242880 octets)
2.4.5 Configuration des cartes PC
Orange:
- Installation du kit de connexion (version 7.1) livré avec la PC Carte
- Création d’une connexion RAS nommée RAS_Orange pour le pilotage de la connexion
via le logiciel «QOS – Réseaux Mobiles Data» d’ASSYSTEM.
SFR:
- Installation du kit de connexion (version 7) livré avec la PC Carte
- Création d’une connexion RAS nommée RAS_SFR pour le pilotage de la connexion
via le logiciel «QOS – Réseaux Mobiles Data» d’ASSYSTEM.
Bouygues Telecom:
- Installation du kit de connexion livré avec la PC Carte
- Création d’une connexion RAS nommée RAS_Bouygues pour le pilotage de la connexion
via le logiciel «QOS – Réseaux Mobiles Data» d’ASSYSTEM.
2.4.6 APN de mesures
Récapitulatif des abonnements et APN utilisés pour les mesures:
Orange:
- Abonnement: Forfait Internet Everywhere 3G+.
- APN: orange.fr (numéro d’appel: *99#)
SFR:
- Abonnement: Forfait Internet Mobile 3G/3G+.
- APN: websfr (numéro d’appel: *99***1#)
Bouygues Telecom:
- Abonnement: Forfait Internet haut débit.
- APN: ebouygtel.com (numéro d’appel: *98*2#)
2.5 Mesures de visiophonie
2.5.1 Protocole de mesures
Une mesure consiste à tenter d’établir puis à évaluer une communication en visiophonie de 2 minutes sur chaque réseau testé (Orange et SFR). Une mesure porte sur une communication, qu’elle ait ou non abouti. Si l’appel échoue, aucun appel n’est retenté. Le délai minimum existant entre la fin d’une communication et le début d’une autre sur un même réseau est fixé à 60 secondes.
Les appels sont passés uniquement de mobile vers mobile sur les lieux à tester. Pour chaque mesure et pour chaque réseau, l’un des deux mobiles se trouve dans des conditions radio optimales (RSCP> -80 dBm et stable). Un enquêteur dit «fixe» est positionné en usage statique à l’intérieur d’un véhicule et dans cette cellule. Un enquêteur dit «mobile» se déplace sur plusieurs lieux en situation piéton à l’intérieur et à l’extérieur des bâtiments pour effectuer les tests. Ce dernier n’effectue d’appels que si le logo 3G est affiché sur le mobile. Le cas échéant les mesures de visiophonie sont réalisées sur un autre lieu de mesures satisfaisant aux conditions requises dans le cahier des charges.
Pour chaque mobile, la proportion des appels sera la suivante
:
- 1/3 d’appels entrants
- 2/3 d’appels sortants (entrants et sortants du point de vue de l’enquêteur
mobile)
L’obtention de l’appel (absence d’échecs), le maintien de la communication pendant 2 minutes (absence de coupure), et la perception de la qualité auditive et visuelle de la communication sont relevés par l’enquêteur fixe via une base de saisie qui permet des contrôles de cohérence des mesures en temps réel.
En aucun cas une communication ne peut être interrompue par les enquêteurs avant 2 minutes.
Les niveaux de service mesurés sont les suivants:
- piéton extérieur
Les mesures sont réalisées de façons simultanées sur
tous les réseaux à l’extérieur des bâtiments avec un mobile tenu à la main muni
d’un kit oreillette en usage statique.
- piéton intérieur
Les essais sont réalisés en rez-de-chaussée ou à un
étage. Les mesures sont réalisées en usage statique de façons simultanées sur
tous les réseaux avec un mobile tenu à la main muni d’un kit oreillette.
2.5.2 Notation des mesures de visiophonie
Chaque enquêteur, mobile et fixe, porte une appréciation sur les communications maintenues 2 minutes. Seule l’appréciation la plus sévère des deux est retenue.
Notation de la qualité
AUDITIVE
- Parfait : son sans aucune perturbation après les premières secondes
nécessaires à l’établissement du son.
- Acceptable : existence de perturbations ponctuelles, sur une courte
durée (3 secondes maximum) et à une fréquence limitée (3 fois maximum durant
la communication de 2 mn).
- Médiocre : son affecté de dégradations sur une période et à une fréquence
dépassant l’acceptable.
- Mauvais : son dégradé par de très nombreuses perturbations, sur une
grande période, ou à une fréquence rapprochée, faisant perdre tout intérêt à
la conversation (envie d’y mettre fin).
Les dégradations de qualité auditivepour les communications
de qualité non parfaite sont les suivantes :
- Grésillement
- Distorsion
- Microcoupure
- Voix faible
- Silence
- Echo
- Bruits métalliques
VIDEO
Appréciation de la qualité image
- Parfait : image sans aucune perturbation après les premières secondes
nécessaires à l’établissement de l’image.
- Acceptable : existence de perturbations ponctuelles, sur une courte
durée (3 secondes maximum) et à une fréquence limitée (3 fois maximum durant
la communication de 2 mn).
- Médiocre : image affectée de dégradations sur une période et à une
fréquence dépassant l’acceptable. Les perturbations sont gênantes pour le sujet
visionné, et nuisent à l’attrait et au suivi de la séquence vidéo.
- Mauvais : image dégradée par de très nombreuses perturbations, sur
une grande période, ou à une fréquence rapprochée, faisant perdre tout intérêt
à la séquence vidéo (envie d ’y mettre fin).
Les dégradations concernant la qualité vidéopour les communications
de qualité non parfaitesont les suivantes :
- Gel d’image (saccades, ou blocages longs)
- Pixellisation (sauf pour les premiers 5 secondes)
- Coupure image après 5 secondes de communication et écran noir jusqu’à
la fin de la communication avec présence du son
- Interruption d’image (la différence avec la coupure image est que
l’image réapparaît avant la fin de la communication de 2 minutes)
- Désynchronisation entre l’image et le son.
3. Résultats de l’enquête
3.1 Définition des indicateurs
3.1.1 Indicateurs du service de messages courts (SMS)
Indicateurs |
Définitions |
Taux de messages reçus |
Un message est considéré comme reçu si le message émis n'est pas refusé par le réseau, s'il est reçu dans un délai de 2 minutes, et si son contenu est correct. Le taux est calculé sur la base du nombre total de mesures. Le complément à 100% est donc constitué du taux de messages refusés par le réseau, ou reçus après 2 minutes, ou dont le contenu est incorrect. |
Taux de messages reçus et dans un délai inférieur à 30 secondes |
Un message est considéré reçu dans un délai inférieur à 30 secondes si le message est reçu au sens du premier indicateur et si le délai de réception du message reçu ne dépasse pas 30 secondes. |
Délai de réception |
Le délai de réception des messages reçus correspond à l'intervalle de temps entre l'émission sollicitée par l'enquêteur et la notification de la réception du message dans un délai inférieur à 2 minutes. |
3.1.2 Indicateurs du service de messages multimédia (MMS ou mail i-mode)
Indicateurs |
Définitions |
Taux de réussite |
Un message est considéré comme reçu si le message émis n'est pas refusé par le réseau, s'il est reçu dans un délai de 5 minutes, et si son contenu est correct. Le taux est calculé sur la base du nombre total de mesures. Le complément à 100% est donc constitué du taux de messages refusés par le réseau, ou reçus après 5 minutes, ou dont le contenu est incorrect. |
Taux de messages reçus et dans un délai inférieur à 3 minutes |
Un message est considéré reçu dans un délai inférieur à 3 minutes si le message est reçu au sens du premier indicateur et si le délai de réception du message reçu ne dépasse pas 3 minutes. |
Délai de réception |
Le délai de réception des messages reçus correspond à l'intervalle de temps entre l'émission sollicitée par l'enquêteur et la notification de la réception du message. |
3.1.3 Indicateurs du service de navigation WAP ou i-mode
Indicateurs |
Définitions |
Taux de réussite de l'accès au portail |
L'accès au portail de l'opérateur est considéré comme réussi lorsque
la page d'accueil de l'opérateur est chargée intégralement sans coupure
de connexion dans un délai inférieur à 1 minute dés la première tentative. |
Taux de navigations réussies et maintenues pendant une durée de 5 minutes |
La navigation est considérée comme réussie si elle est maintenue et active
pendant une durée de 5 minutes sans coupure de connexion, échecs ne permettant
de poursuivre la navigation par tout moyen (clic sur une touche ou retour
arrière), et si le temps inter page ne dépasse 1 minute. |
3.1.4 Indicateurs du service de transfert de données sur carte PC
Indicateurs |
Définitions |
Taux de connexions réussies |
Une connexion est réussie si elle est établie dans un délai inférieur à 1 minute. Le taux de connexions réussies est calculé sur la base de l’ensemble des mesures réalisées. |
Délai moyen de connexion |
Moyenne arithmétique des délais de connexion. Le temps de connexion est calculé sur la base des connexions réussies. |
Taux de fichiers reçus |
Un fichier est considéré comme reçu si le fichier est reçu intégralement dans un délai de Dmax minutes et si son contenu est correct. Le taux est calculé sur la base du nombre total de mesures pour chaque type de fichier. |
Délai moyen |
Moyenne arithmétique des délais de réception des fichiers reçus et dont le contenu est correct pour chaque type de contenu. |
Ecart type du délai de réception |
Ecart type des délais de réception des fichiers reçus et dont le contenu est correct pour chaque type de fichier. |
3.1.5 Indicateurs du service de visiophonie
Indicateurs |
Définitions |
Taux de communications réussies |
Une communication est considérée comme réussie si l’appel lancé par l’un
des enquêteurs aboutit dès le premier essai et si la communication est
maintenue 2 minutes sans coupure (voix ou vidéo). |
Taux de communications réussies et de qualité parfaite |
Une communication est considérée comme parfaite si la qualité globale
de communication est perçue comme parfaite par les deux interlocuteurs. |
Taux de communications réussies et de qualité correcte |
Une communication est considérée comme parfaite si la qualité globale
de communication est perçue comme parfaite ou acceptable par les deux
interlocuteurs. |
3.2 Format de restitution des résultats
3.2.1 Présentations des tableaux
A l’exception des mesures relatives au téléchargement de fichiers sur les cartes PC, les résultats de l’enquête sont publiés sur la base d’une part de la moyenne agrégée pour les trois opérateurs et de sa précision statistique(1), et d’autre part de la qualification individuelle de la performance des opérateurs.
Cette qualification est déterminée en fonction de l’écart de la performance mesurées de l’opérateurs par rapport à une valeur de référence.
(1) La précision statistique (p)
définit autour de la valeur mesurée () un intervalle de
confiance
, tel qu’il contienne
la valeur théorique (X) avec une probabilité de 95%. Elle est calculée en
utilisant l’approximation normale de la distribution binomiale, par la formule
(où n est le nombre de
mesures réalisées pour l’indicateur considéré).
3.2.2 Choix de la valeur de référence
La valeur de référence (v) est choisie comme étant la réalisation de la moyenne des résultats des trois opérateurs sur la mesure considérée.
Pour les mesures de «taux» :
Pour les mesures de «délais» :
3.2.3 Choix des seuils
Pour les mesures de «taux» :
On réalise le test d’inégalité suivant:
où
est défini
pour chaque opérateur de telle façon que l’intervalle
contienne
la valeur (
) du résultat théorique
de l’opérateur avec une probabilité de 95%.
est calculé par la formule
suivante (n étant le nombre de mesures réalisées pour l’indicateur considéré):
Pour les mesures de «délai»:
On calcule l’intervalle de confiance en valeur relative dans lequel se situe
le résultat théorique de chaque opérateur (Di) avec la probabilité de 95% selon
la formule suivante:
Où représente l’écart type
du délai moyen mesuré, sa valeur est calculée pour chaque opérateur:
Pour chaque opérateur, les seuils s1 ets2 sont définis de la façon suivante:
Pour les taux publiés |
Pour les délais publiés |
s1 = Max(1%; |
s1 = Max(5%;ICi) |
|
|
3.2.4 Qualification de l’opérateur
La qualification de l’opérateur se fait en fonction de la valeur de l’écart
() du taux
(
) ou du délai (
)
mesuré par rapport à la valeur de référence (v):
Pour les délais publiés |
Pour les délais publiés |
|
e ≤ -s2 |
- - |
+ + |
- s2 < e =< - s1 |
- |
+ |
- s1 < e =<s1 |
= |
= |
s1 < e =<s2 |
+ |
- |
e >= s2 |
+ + |
- - |
3.2.5 Comparaison des résultats avec ceux de l’année précédente
Les résultats de l’enquête concernant la qualité
des services mobiles sont comparés, quand cela est possible, avec ceux de l’année
précédente, pour chaque opérateur, ainsi que la moyenne. Pour chaque opérateur,
et pour chaque indicateur, l’évolution par rapport à l’année précédente est
indiquée par un signe accolé au nom de l’opérateur ou de la moyenne mesurée
:
- En cas d’amélioration de la valeur de l’indicateur cette année (t2)
par rapport à l’année précédente (t1) supérieure à ∆: ()
- En cas d’indétermination (écart inférieur à ∆):(pas de signe)
- En cas de dégradation supérieure à ∆: ()
Avec ∆ = Max (1%; ∆min), où ∆min
est défini de telle façon que si t2 > t1 + ∆min,
alors la valeur théorique T2 est supérieure à la valeur théorique
T1 avec une probabilité de 95%. ∆min est calculé
par une formule analogue à celle qui permet le calcul de la précision statistique:
∆min = ,
où
, et n1
et n2 sont les nombres de mesures réalisés respectivement l’année
précédente et cette année.
3.3 Résultats du service de messages courts (SMS)
SMS |
||||
Moyenne mesurée |
Orange France |
SFR |
Bouygues |
|
1 503 mesures |
501 mesures |
501 mesures |
501 mesures |
|
Taux de messages reçus |
99,0% |
= |
= |
= |
Précision statistique |
+/-0,50% |
depuis 2006 : |
||
Taux de messages reçus en moins de 30 secondes |
99,0% |
= |
= |
= |
Précision statistique |
+/-0,50% |
depuis 2006 : |
3.4 Résultats du service de messages multimédia (MMS ou mail i-mode)
MMS / mail i-mode |
||||
Moyenne mesurée |
Orange France |
SFR |
Bouygues |
|
1 497 mesures |
499 mesures |
499 mesures |
499 mesures |
|
Taux de messages reçus |
96,1% |
= |
+ |
- |
Précision statistique |
+/-0,98% |
|||
Taux de messages reçus |
95,9% |
= |
+ |
- |
Précision statistique |
+/-1,00% |
Note: pas de comparaison avec l’enquête DATA 2006 en raison du changement de protocole (taille de la pièce jointe passée de 25ko à 50ko).
3.5 Résultats du service de navigation WAP ou i-mode
Navigation |
||||
Moyenne mesurée |
Orange France |
SFR |
Bouygues |
|
3 066 mesures |
1 022 mesures |
1 022 mesures |
1 022 mesures |
|
Taux de réussite de connexion au portail |
99,2% |
= |
= |
= |
Précision statistique |
+/-0,32% |
|||
depuis 2006 : |
depuis 2006 : |
depuis 2006 : |
||
Taux de navigation réussie et maintenue pendant une durée de 5 minutes |
98,3% |
= |
= |
= |
Précision statistique |
+/-0,46% |
|||
depuis 2006 : |
depuis 2006 : |
depuis 2006 : |
depuis 2006 : |
3.6 Résultats du service de transfert de données sur carte PC
Connexion au réseau |
||||
Moyenne mesurée |
Orange France |
SFR |
Bouygues Télécom |
|
5 157 mesures |
1 719 mesures |
1 719 mesures |
1 719 mesures |
|
Taux de connexions réussies au réseau |
98,7% |
= |
= |
= |
Précision statistique |
+/-0,31% |
|||
Taux de connexions réussies en moins de 10s |
96,3% |
= |
= |
= |
Précision statistique |
+/-0,52% |
Note: pas de comparaison avec l’enquête DATA 2006 en raison du changement de protocole (réseau GPRS en 2006 contre Edge ou 3G en 2007).
Téléchargement de fichiers de 5 Mo |
|||
Orange France |
SFR |
Bouygues Télécom |
|
Offre grand public |
Offre grand public |
Offre grand public (limitée à EDGE) |
|
875 mesures |
875 mesures |
875 mesures |
|
Taux de fichiers de 5 Mo reçus |
95,4% |
94,4% |
57,9% |
Précision statistique |
1,38% |
1,52% |
3,27% |
Délai moyen de téléchargement des fichiers de 5 Mo reçus* |
62,0 s |
55,6 s |
226,4 s |
Précision statistique |
± 2,3 s |
± 2,6 s |
± 1,8 s |
Dispersion |
35,0 |
38,5 |
27,6 |
Note: pas de comparaison avec l’enquête DATA 2006 en raison du changement de protocole (taille du fichier de 100 ko en 2006 contre 5 Mo en 2007).
Envoi de fichiers de 1 Mo |
|||
Orange France |
SFR |
Bouygues Télécom |
|
Offre grand public (limitée à 128 kbit/s) |
Offre grand public |
Offre grand public (limitée à EDGE) |
|
844 mesures |
844 mesures |
844 mesures |
|
Taux de fichiers de 1 Mo envoyés |
92,2% |
95,7% |
71,3% |
Précision statistique |
1,81% |
1,36% |
3,05% |
Délai moyen d'envoi des fichiers de 1 Mo* |
74,4 s |
31,0 s |
93,9 s |
Précision statistique |
± 0,4 s |
± 0,8 s |
± 0,6 s |
Ecart type |
5,8 |
11,6 |
9,6 |
Note: pas de comparaison
avec l’enquête DATA 2006 en raison du changement de protocole (taille du fichier
de 10 ko en 2006 contre 1 Mo en 2007).
*avertissement: il est rappelé que
le débit calculable à partir de cette valeur de délai publiée est mathématiquement
inférieur à la moyenne arithmétique des débits moyens de téléchargements.
3.7 Résultats du service de visiophonie
Visiophonie |
|||
Moyenne mesurée |
Orange France |
SFR |
|
3 312 mesures |
1 656 mesures |
1 656 mesures |
|
Taux de communications réussies et maintenues 2 minutes |
92,9% |
= |
= |
Précision statistique |
+/-0,88% |
||
Taux de communications réussies et maintenues 2 minutes et de qualité parfaite |
82,3% |
= |
= |
Précision statistique |
+/-1,30% |
||
Taux de communications réussies et maintenues 2 minutes et de qualité correcte |
90,3% |
= |
= |
Précision statistique |
+/-1,01% |
Note: le service de visiophonie n’a pas été mesuré en 2006