Portaria nº 959, de 19 de novembro de 2012 (REVOGADA)

Publicado: Terça, 20 Novembro 2012 09:24 | Última atualização: Segunda, 12 Setembro 2022 11:13 | Acessos: 19290

Revogada pela portaria nº 2154, de 08 de dezembro de 2021

Aprova a Instrução de Fiscalização sobre a utilização de Métodos Amostrais nas Ações de Fiscalização.

Observação: Esta Portaria foi publicada no Boletim de Serviço em 20/11/2012.

O SUPERINTENDENTE DE RADIOFREQUÊNCIA E FISCALIZAÇÃO (SUBSTITUTO) DA AGÊNCIA NACIONAL DE TELECOMUNICAÇÕES (ANATEL), no uso das competências que lhe foram conferidas pelo inciso II, do art. 217, do Regimento Interno da Agência, aprovado pela Resolução n.º 270, de 19 de julho de 2001, e pelo art. 10, do Regulamento de Fiscalização, aprovado pela Resolução n.º 596, de 6 de agosto de 2012; e

CONSIDERANDO a necessidade de estabelecer a sistemática de utilização de métodos amostrais no âmbito das fiscalizações empreendidas pela Anatel;

CONSIDERANDO as contribuições recebidas em decorrência da Consulta Interna n.º 567, realizada no período de 25 de outubro a 06 de novembro de 2012;

CONSIDERANDO o constante dos autos do processo n.º 53500.017492/2012.

R E S O L V E:

Art. 1º Aprovar a Instrução de Fiscalização sobre a utilização de Métodos Amostrais nas Ações de Fiscalização, anexa.

Art. 2º Esta Portaria entra em vigor na data de sua publicação.

THIAGO CARDOSO HENRIQUES BOTELHO

ANEXO À PORTARIA Nº 959, DE 29 DE OUTUBRO DE 2013

INSTRUÇÃO DE FISCALIZAÇÃO SOBRE A UTILIZAÇÃO DE MÉTODOS AMOSTRAIS NAS AÇÕES DE FISCALIZAÇÃO

1. OBJETIVO

Estabelecer a sistemática de utilização de métodos amostrais pela fiscalização da Agência.

2. DEFINIÇÕES

2.1. Amostra: conjunto de elementos sorteados com o uso de técnica de escolha aleatória (amostragem) a partir de um universo (população) a ser fiscalizado;

2.2. Amostra qualitativa/binária: conjunto de elementos sorteados, com o uso de técnica de escolha aleatória (amostragem), a partir de um Universo (população) a ser fiscalizado, cujo resultado da verificação é sim (conformidade) ou é não (não conformidade);

2.3. Amostra quantitativa/numérica: conjunto de elementos sorteados, com o uso de técnica de escolha aleatória (amostragem), a partir de um Universo (população) a ser fiscalizado, cujo resultado da verificação é um valor numérico;

2.4. Amostragem: técnica de escolha aleatória de uma amostra capaz de fornecer elementos representativos de um dado Universo (população) a ser fiscalizado, de modo que seja possível realizar-se inferências a respeito deste Universo (população), a partir dos resultados obtidos com a fiscalização dos elementos da amostra;

2.5. Conglomerado: na amostragem em 2 (duas) Etapas, subconjunto disjunto de elementos pertencentes ao Universo (população) a ser fiscalizado que participa do sorteio na 1ª Etapa. Somente se sorteado na 1ª Etapa, seus elementos participam do sorteio da amostra na 2ª etapa. A soma de todos os conglomerados de um mesmo Universo é o próprio Universo;

2.6. Estrato: subconjunto disjunto de elementos pertencentes ao Universo (população) a ser fiscalizado que, obrigatoriamente, tem todos os seus elementos participando do sorteio da amostra. A soma de todos os estratos de um mesmo Universo é o próprio Universo;

2.7. Fiscalização amostral: fiscalização em que é realizada a averiguação de uma amostra dos elementos pertencentes ao Universo (população) a ser fiscalizado;

2.8. Fiscalização censitária: fiscalização em que é realizada a averiguação de 100% (cem por cento) dos elementos pertencentes ao Universo (população) a ser fiscalizado;

2.9. Inferência (estimação): resultado que, a partir da averiguação de uma amostra, com nível de confiança e margem de erro preestabelecidos, pode ser estendido para todo o Universo (população) fiscalizado;

2.10. Universo (população) a ser fiscalizado: conjunto de todos os elementos envolvidos na atividade de fiscalização.

3. CONSIDERAÇÕES INICIAIS

3.1. As técnicas amostrais só devem ser aplicadas nos casos em que a fiscalização censitária seja inviável, considerando o Universo a ser estudado, os recursos disponíveis e os prazos desejados.

3.2. A aplicação de técnicas amostrais só se justifica se, a partir do resultado da averiguação de uma amostra, seja possível fazer inferência para todo o Universo fiscalizado.

3.3. As verificações que envolvem uma grande quantidade de elementos a serem analisados (população finita de tamanho N_UNIVERSO) podem tornar-se impraticáveis. Nesse caso, obtém-se uma amostra de tamanho n_amostra de tal forma que, com nível de confiança e margem de erro preestabelecidos, pode-se realizar a verificação das n_amostra de elementos e inferir o resultado para o número total de N_UNIVERSO elementos

4. FLUXOGRAMA

5. DOS PASSOS PARA REALIZAÇÃO DA FISCALIZAÇÃO AMOSTRAL

5.1. Definido o objetivo da fiscalização pelo demandante, os passos para a realização de uma fiscalização por amostragem probabilística consistem em:

5.1.1. Definir se a principal variável do item de verificação é qualitativa/binária (conforme ou não conforme) ou se é quantitativa (numérica);

5.1.1.1. Amostra Qualitativa/Binária (resultado conforme/não conforme) - Ex: Verificar se o TUP funciona ou não;

5.1.1.2. Amostra Quantitativa/Numérica (resultado por números) - Ex: Verificar o tempo de reparo dos TUPs;

5.1.1.3. Em um mesmo item de verificação, pode haver interesse em mais de uma variável; por exemplo, na fiscalização de cobranças indevidas, há interesse tanto no percentual de cobranças indevidas como no valor cobrado a mais. Nesse caso, calcula-se o tamanho da amostra tanto para a variável qualitativa/binária como para a variável quantitativa/numérica. Deve-se, sempre que possível, optar pelo tamanho de amostra maior;

5.1.2. Determinar o tipo da amostragem a ser utilizada na fiscalização;

5.1.2.1. Amostragem Aleatória Simples - a amostra de elementos a serem fiscalizados será sorteada dentre todos os elementos do Universo, com todos eles agrupados em um único arquivo;

5.1.2.2. Amostragem Estratificada - a população deve ser subdividida em estratos, que nada mais são do que subconjuntos, cuja união abrange todos elementos do Universo. Dentro de cada estrato, é obtida uma amostra;

5.1.2.3. Amostragem em Duas Etapas - os elementos do Universo são agrupados em unidades maiores, chamadas conglomerados, e essas unidades são sorteadas na primeira etapa. Na segunda etapa de seleção, são selecionados elementos de cada uma das unidades sorteadas na primeira etapa;

5.1.2.4. Em todos os itens de verificação devem ser preferidos os procedimentos de amostragem de elementos, aleatória simples ou estratificada. Quando, por restrição de recursos humanos ou materiais, a amostragem de elementos for inviável, será adotada a amostragem de conglomerados em duas etapas;

5.1.3. Calcular o tamanho da amostra;

5.1.4. Averiguar as unidades da amostra; e

5.1.5. Realizar as inferências para o Universo fiscalizado.

6. FERRAMENTA PARA UTILIZAÇÃO DA METODOLOGIA AMOSTRAL

6.1. A ferramenta, disponível para fiscalização utilizar a metodologia amostral, permite:

6.1.1. Calcular o tamanho da amostra;

6.1.2. Sortear, de forma aleatória, os elementos que irão compor cada amostra; e

6.1.3. Realizar inferência para o Universo, com base na averiguação dos elementos da amostra.

7. CÁLCULO DA AMOSTRA ALEATÓRIA SIMPLES

7.1. Amostra Aleatória Simples - Qualitativa/Binária (resultado conforme/não conforme)

7.1.1. Para a utilização da ferramenta de cálculo de Amostra Aleatória Simples - Qualitativa/Binária, deve-se:

7.1.1.1. Estabelecer o nível de confiança em 95%.

7.1.1.2. Informar o tamanho do Universo (tamanho da população) a ser fiscalizado.

7.1.1.3. Identificar, no procedimento de fiscalização em questão, qual é a proporção máxima tolerável de obrigações regulamentares não cumpridas.

a) Este campo deve coincidir com o índice previsto no regulamento a ser fiscalizado. Exemplo: caso esteja verificando se 98% dos TUPs estão sendo reparados em 8 horas, o campo “proporção máxima tolerável de obrigações regulamentares não cumpridas” deverá ser 2%.

b) Nos casos em que a regulamentação estabelecer mais de um nível de cumprimento de obrigação, por exemplo, 98% dos TUPs devem ser reparados em 8 horas e 100% deles em 24 horas, se a fiscalização for em relação a exigência de cumprimento de 100% das obrigações, ou seja, a proporção máxima de obrigações não regulamentares for igual a 0 (zero), preencher o campo "A proporção máxima tolerável de obrigações regulamentares não cumpridas (em percentual)" com o valor da tolerância imediatamente superior.. No caso, o valor a ser informado para o programa é 2%, mesmo nas fiscalizações para reparos em 24 h. O campo "A estimação da proporção esperada de itens não conformes na população (em percentual)" deve ser preenchido com o valor 0 (zero).

c) Quando o cumprimento da obrigação regulamentar tem que acontecer em 100% dos casos (ex. existência de quadro resumo com os direitos dos usuários nos setores de atendimento das prestadoras do SMP), sem previsão regulamentar de percentual menor, na ferramenta deve-se ajustar a proporção máxima tolerável de obrigações regulamentares não cumpridas de forma a se ter um tamanho de amostra compatível com os recursos disponíveis pela fiscalização e deve_se colocar a estimação da proporção esperada de item não conformes na população igual a 0 (zero).

d) O artifício usado nas alíneas “b” e “c” acima deve ser utilizado apenas para calcular o tamanho da amostra e viabilizar a fiscalização, não significando que o regulamento está sendo alterado ou violado.

7.1.1.4. Estimar a proporção esperada de itens não conformes no Universo (população).

a) Nesse ponto, o Agente de Fiscalização deverá usar conhecimento de estudos anteriores ou sua experiência em situações similares, ou seja, utilizar o índice que a fiscalização espera como resultado de não conformidades a serem encontradas. Esse valor deve ser menor do que o definido no item 7.1.1.3.

b) No caso de total desconhecimento, deve-se fazer uma amostra-piloto de tamanho 25 para obtenção da proporção de itens não conformes esperados. Essa amostra não servirá para o propósito da fiscalização e deverá ser usada apenas para se obter a proporção esperada de itens não conformes.

c) À medida em que o valor da proporção esperada se aproxima do valor da proporção regulamentar máxima tolerável, o tamanho da amostra tende ao tamanho do Universo (censo). Sendo assim, não é permitido, na ferramenta, que o valor da proporção esperada seja igual ou maior que o valor da proporção regulamentar máxima tolerável.

d) Ainda que, de forma inesperada, a quantidade de elementos não-conformes na amostra fiscalizada ultrapassar o inicialmente previsto como máximo tolerável de obrigações regulamentares não cumpridas, as estimativas fornecidas pela ferramenta continuam válidas.

e) Quando, por experiências anteriores, já se souber que a proporção de elementos não-conformes no Universo é idêntica ou mesmo superior à proporção máxima tolerável de obrigações regulamentares não cumpridas, a própria ferramenta vai indicar que seja feito censo.

f) Não havendo recursos disponíveis (humanos, materiais, temporais ou financeiros) que viabilizem a realização de censo, deve-se proceder a um ajuste no valor da estimação da proporção esperada de elementos não-conformes no população (Universo) até que se obtenha um tamanho de amostra viável de ser fiscalizada com os recursos disponíveis.

g) Realizada a fiscalização, ainda que seja confirmado o número elevado de não-conformidades, a exemplo de 7.1.1.4, d), as estimativas fornecidas pela ferramenta permanecem válidas.

7.1.1.5. Calcular o tamanho da amostra, por meio da ferramenta.

a) Se, com a utilização do nível de confiança de 95%, o tamanho da amostra exigir mais recursos para execução da atividade do que os disponíveis, pode-se recalcular o tamanho da amostra adotando o nível de confiança igual a 90% e avaliar, perante os recursos disponíveis, se é justificável a diminuição do nível de confiança.

7.2. Amostra Aleatória Simples - Quantitativa/Numérica (resultado por números)

7.2.1. Para a utilização da ferramenta de cálculo de Amostra Aleatória Simples - Quantitativa/Numérica, deve-se:

7.2.1.1. Estabelecer o nível de confiança em 95%.

7.2.1.2. Estabelecer a margem de erro máxima tolerável – ERRO – em 5%.

7.2.1.3. Informar o tamanho do Universo (população) a ser fiscalizado.

7.2.1.4. Informar valores aproximados da média populacional e do desvio-padrão populacional do universo.

a) Esses dados podem ser obtidos de fiscalizações anteriores e, para o cálculo destes parâmetros (média populacional e desvio-padrão populacional), deverá se utilizar recursos do Microsoft Excel.

b) No Excel, a média populacional pode ser calculada com a fórmula MEDIA(intervalo_dos_dados).

c) No Excel, o desvio padrão populacional pode ser calculado com a fórmula DESVPAD(intervalo_dos_dados).

d) No caso de total desconhecimento de dados de fiscalizações anteriores, deve-se fazer uma amostra-piloto de tamanho 25 para obtenção desses valores. Essa amostra não servirá para o propósito da fiscalização e deverá ser usada apenas para se obter estimativas da média e desvio-padrão da população.

7.2.1.5. Calcular o tamanho da amostra, por meio da ferramenta.

b) Se, com a utilização da margem de erro de 5%, o tamanho da amostra exigir mais recursos para execução da atividade do que os disponíveis, pode-se recalcular o tamanho da amostra adotando Margem de Erro de 10% e avaliar, perante os recursos disponíveis, se é justificável o aumento da margem de erro.

8. CÁLCULO DA AMOSTRA ESTRATIFICADA

8.1. Amostra Estratificada - Qualitativa/Binária (resultado conforme/não conforme)

8.1.1. Para a utilização da ferramenta de cálculo de Amostra Estratificada - Qualitativa/Binária, deve-se:

8.1.1.1. Definir e informar a quantidade de estratos (exemplo: sendo uma determinada UF o Universo a ser fiscalizado e havendo o interesse em separar a capital do interior, cada um será considerado como um estrato diferente. Neste caso, a quantidade de estratos é igual a 2 – capital e interior).

8.1.1.2. Estabelecer o nível de confiança em 95%.

8.1.1.3. Informar o tamanho do Universo (população) a ser fiscalizado.

8.1.1.4. Identificar, no procedimento de fiscalização em questão, qual é a proporção máxima tolerável de obrigações regulamentares não cumpridas.

b) Nos casos em que a regulamentação estabelecer mais de um nível de cumprimento de obrigação, por exemplo, 98% dos TUPs devem ser reparados em 8 horas e 100% deles em 24 horas, se a fiscalização for em relação a exigência de cumprimento de 100% das obrigações, ou seja, a proporção máxima de obrigações não regulamentares for igual a 0 (zero), preencher o campo "A proporção máxima tolerável de obrigações regulamentares não cumpridas (em percentual)" com o valor da tolerância imediatamente superior. No caso, o valor a ser informado para o programa é 2%, mesmo nas fiscalizações para reparos em 24 h. O campo "A estimação da proporção esperada de itens não conformes na população (em percentual)" deve ser preenchido com o valor 0 (zero).

8.1.1.5. Estimar a proporção esperada de itens não conformes no Universo (população).

c) À medida que valor da proporção esperada se aproxima do valor da proporção regulamentar máxima tolerável, o tamanho da amostra tende ao tamanho do Universo (censo). Sendo assim, não é permitido, na ferramenta, que o valor da proporção esperada seja igual ou maior que o valor da proporção regulamentar máxima tolerável.

f) Não havendo recursos disponíveis (humanos, materiais, temporais ou financeiros) que viabilizem a realização de censo, deve-se proceder a um ajuste no valor da estimação da proporção esperada de elementos não-conformes no Universo (população) até que se obtenha um tamanho de amostra viável de ser fiscalizada com os recursos disponíveis.

g) Realizada a fiscalização, ainda que seja confirmado o número elevado de não-conformidades, a exemplo de 8.1.1.5, d), as estimativas fornecidas pela ferramenta permanecem válidas.

8.1.1.6. Definir e preencher na ferramenta o tamanho de cada estrato.

8.1.1.7. Calcular o tamanho da amostra, por meio da ferramenta.

a) Quando o tamanho da amostra de um determinado estrato for menor que 2, a ferramenta automaticamente o arredonda para 2, pois é o tamanho mínimo de cada amostra para cada diferente estrato.

b) Se, com a utilização do nível de confiança de 95%, o tamanho da amostra exigir mais recursos para execução da atividade do que os disponíveis, pode-se recalcular o tamanho da amostra adotando o nível de confiança igual a 90% e avaliar, perante os recursos disponíveis, se é justificável a diminuição do nível de confiança.

8.2. Amostra Estratificada - Quantitativa/Numérica (resultado por números)

8.2.1. Para a utilização da ferramenta de cálculo de Amostra Estratificada - Qualitativa/Binária, deve-se:

8.2.1.1. Definir a quantidade de estratos (exemplo: sendo uma determinada UF o Universo a ser fiscalizado e havendo o interesse em separar a capital do interior, cada um será considerado como um estrato diferente. Neste caso, a quantidade de estratos é igual a 2 – capital e interior).

8.2.1.2. Estabelecer o nível de confiança em 95%.

8.2.1.3. Estabelecer a margem de erro máxima tolerável – ERRO – em 5%.

8.2.1.4. Informar o tamanho do Universo (população) a ser fiscalizado.

8.2.1.5. Conhecer valores aproximados da média populacional e do desvio-padrão populacional do universo.

b) No Excel, a média populacional pode ser calculada com a fórmula MEDIA(intervalo_dos_dados).

c) No Excel, o desvio padrão populacional pode ser calculado com a fórmula DESVPAD(intervalo_dos_dados).

8.2.1.6. Definir e preencher na ferramenta o tamanho de cada estrato.

8.2.1.7. Calcular o tamanho da amostra, por meio da ferramenta.

a) Quando o tamanho da amostra de um determinado estrato for menor que 2, a ferramenta automaticamente o arredonda para 2, pois é o tamanho mínimo de cada amostra para cada diferente estrato.

c) Se, com a utilização da margem de erro de 5%, o tamanho da amostra exigir mais recursos para execução da atividade do que os disponíveis, pode-se recalcular o tamanho da amostra adotando margem de erro de 10% e avaliar, perante os recursos disponíveis, se é justificável o aumento da margem de erro.

9. SELEÇÃO DA AMOSTRA ALEATÓRIA SIMPLES

9.1. A seleção da amostra é feita da mesma forma, tanto para Amostra Aleatória Simples – Qualitativa/Binária (resultado conforme/não conforme), quanto para Amostra Aleatória Simples - Quantitativa/Numérica (resultado por números), pois nas telas dos dois tipos de variável são necessárias as entradas dos mesmos dados.

9.2. Para a seleção da amostra basta clicar em “Selecionar a amostra”, que será exibida, na própria ferramenta, a sequência de itens a serem verificados, aleatoriamente sorteados pela ferramenta.

9.3. Caso seja necessário que a ferramenta, além do sorteio, também exiba os elementos sorteados, antes de clicar em “Selecionar a amostra”, deve-se:

9.3.1. Criar um arquivo Excel com o nome “Amostragem.xls” (compatível com Excel versão 2003, ou seja, com formato “.xls”), com uma única planilha, que possua os dados da população e seja chamada “Estrato 1”.

9.3.1.1. O programa verifica se o tamanho da população indicada na ferramenta e a quantidade de elementos na planilha está igual. Se não estiver, aparecerá uma mensagem e não será selecionada a amostra.

9.3.1.2. Deve-se certificar que a primeira coluna não contém células vazias para os elementos da população.

9.3.1.3. É desnecessário ordenar a população por qualquer critério (cronológico, geográfico, etc.).

9.3.1.4. A primeira linha da planilha conterá os nomes das colunas (títulos). Por exemplo, se a população for uma lista de TUPs, a planilha terá a seguinte aparência (o exemplo abaixo é um arquivo renomeado para “Amostragem.xls”, que foi exportado do sistema SGMU da Anatel, para o município de Goiânia-GO, já está com a planilha renomeada para Estrato 1. Assim possui toda a população dos 9.921 TUPs daquele município, sendo que a primeira linha é a do título).

9.3.2. Abrir o arquivo “Amostragem.xls”.

9.3.3. Clicar na opção “Selecionar a amostra” da ferramenta.

9.3.3.1. A amostra é formada por elementos sorteados de forma aleatória pela ferramenta.

9.3.3.2. Os elementos são apresentados na própria ferramenta, pelo seu sequencial, e de forma completa em uma nova planilha, denominada “Amostra”, gerada automaticamente pela ferramenta no arquivo “Amostragem.xls”.

9.3.3.3. Os elementos da amostra são apresentados na ferramenta pelos números iguais aos sequenciais da planilha “Estrato 1”, menos um (devido à existência do título na linha 1 desta planilha). Por exemplo, quando a ferramenta aponta o elemento 1.124, este corresponde ao que está na linha 1.125 da planilha “Estrato 1”.

9.4. Na amostragem aleatória simples, a amostra é retirada sem reposição. Sendo assim, um mesmo elemento não poderá ser sorteado mais de uma vez.

9.5. Se, por algum motivo, houver a necessidade de gerar outra amostra com a mesma população, é necessário excluir a planilha “Amostra” do arquivo “Amostragem.xls” antes de repetir os passos.

10. SELEÇÃO DA AMOSTRA ESTRATIFICADA

10.1. Na amostragem estratificada, o procedimento é o mesmo descrito para a amostragem aleatória simples, porém aplicado em cada um dos estratos, com os tamanhos de amostra definidos correspondentemente.

10.2. A seleção da amostra é feita da mesma forma, tanto para Amostra Estratificada – Qualitativa/Binária (resultado conforme/não conforme), quanto para Amostra Estratificada – Quantitativa/Numérica (resultado por números), pois nas telas dos dois tipos de variável são necessárias as entradas dos mesmos dados.

10.3. Para a seleção da amostra basta clicar em “Selecionar a amostra”, que será exibida, na própria ferramenta, a sequência de itens a serem verificados, aleatoriamente sorteados pela ferramenta.

10.3.1. O resultado apresenta duas colunas, sendo que a primeira é a sequência do elemento aleatoriamente sorteado pela ferramenta e a segunda é o estrato ao qual este pertence.

10.4. Caso seja necessário que a ferramenta, além do sorteio, também exiba os elementos sorteados, antes de clicar em “Selecionar a amostra”, deve-se:

10.4.1. Criar um arquivo Excel com o nome “Amostragem.xls” (compatível com Excel versão 2003, ou seja, com formato .xls), com uma planilha para cada diferente estrato (tendo, obrigatoriamente, o mesmo layout em todas), sendo que cada respectiva planilha que possua os dados de população deste estrato seja nomeada em Estrato 1, Estrato 2, Estrato 3 e assim por diante, conforme o número de estratos.

10.4.1.1. O programa verifica se o tamanho da população indicada na ferramenta e a quantidade de elementos em cada planilha de estrato está igual. Se não estiver, aparecerá uma mensagem e não será selecionada a amostra.

10.4.1.2. Deve-se certificar que a primeira coluna de cada planilha de estrato não contém células vazias para os elementos da população.

10.4.1.3. É desnecessário ordenar a população por qualquer critério (cronológico, geográfico, etc.).

10.4.1.4. A primeira linha de cada planilha de estrato terá os nomes das colunas (títulos). Por exemplo, se a população for uma lista de TUPs, de dois municípios, onde cada município é um estrato, o arquivo terá a seguinte aparência (o exemplo abaixo é um arquivo renomeado para “Amostragem.xls”, que foi exportado do sistema SGMU da Anatel, para os municípios de Goiânia-GO (Estrato 1) e Anápolis-GO (Estrato 2). Assim possuem toda a população dos 9.921 e 9.997 TUPs daqueles municípios, sendo que a primeira linha de cada uma delas é a do título).

10.4.2. Abrir o arquivo “Amostragem.xls”.

10.4.3. Clicar na opção “Selecionar a amostra” da ferramenta.

10.4.3.1. A amostra é formada por elementos sorteados de forma aleatória pela ferramenta.

10.4.3.2. Os elementos são apresentados na própria ferramenta, pelo seu sequencial, e de forma completa em uma nova planilha, denominada “Amostra”, gerada automaticamente pela ferramenta no arquivo “Amostragem.xls”.

10.4.3.3. Os elementos da amostra são apresentados na ferramenta pelos números iguais aos sequenciais da população (soma de todos os estratos). Por exemplo, quando a ferramenta sorteou o elemento 86 do estrato 1, este corresponde ao que está na linha 87 da planilha Estrato 1 e, quando sorteou o elemento 9.997 do Estrato 2, este corresponde ao que está na linha 77 da planilha Estrato 2 (que representa 9.997 + 1 da linha do título menos 9.921 que é a quantidade de elementos do Estrato 1).

10.5. Na amostragem estratificada, a amostra é retirada sem reposição. Sendo assim, um mesmo elemento não poderá ser sorteado mais de uma vez.

10.6. Se, por algum motivo, houver a necessidade de gerar outra amostra com a mesma população, é necessário excluir a planilha “Amostra” do arquivo “Amostragem.xls”.

11. CÁLCULO E SELEÇÃO DA AMOSTRA EM DUAS ETAPAS

11.1. Em todos os itens de verificação devem ser preferidos os procedimentos de amostragem aleatória simples ou estratificada. Quando, por restrição de recursos humanos, materiais, temporais ou financeiros, a amostragem aleatória simples ou estratificada for inviável, será adotada a amostragem em duas etapas.

11.2. Na Amostra em Duas Etapas, os elementos são agrupados em unidades maiores, chamadas conglomerados, que são sorteados já na primeira etapa.

11.2.1. Na segunda etapa de seleção, são selecionados elementos pertencentes a cada um dos conglomerados sorteados na primeira etapa. Por exemplo, uma fiscalização de TUPs em uma dada Unidade da Federação (UF) pode ser muito onerosa, uma vez que os TUPs estão espalhados em centenas de municípios diferentes e isso exigiria o deslocamento de Agentes de Fiscalização a muitas localidades, às vezes para analisar apenas um TUP.

11.2.2. Na Amostra em Duas Etapas, os TUPs podem ser agrupados em conglomerados. Por exemplo, cada conglomerado sendo um grupo de municípios (como: a capital, municípios do norte, do leste, do sul e do oeste da UF). Na primeira etapa são selecionados, por sorteio, os grupos de municípios (conglomerados) e, na etapa posterior, em cada conglomerado selecionado serão sorteados os TUPs a serem fiscalizados.

11.2.3. O tamanho da amostra na primeira e na segunda etapa de seleção serão determinados pela equipe de fiscalização, de acordo com os recursos disponíveis.

11.2.3.1. Como os elementos de um mesmo conglomerado, por questão de proximidade, costumam guardar similaridade entre si, o ganho de se amostrar um elemento a mais em um mesmo conglomerado pode não ser significativo, porque parte da informação do novo elemento já está na amostra através dos demais elementos desse mesmo conglomerado.

11.2.3.2. Por isso, deve-se privilegiar o aumento no tamanho da amostra de conglomerados (primeira etapa de seleção) em relação ao aumento do tamanho da amostra de elementos dentro de cada conglomerado (segunda etapa de seleção).

11.2.4. Na segunda etapa de seleção deve-se sortear, em cada conglomerado selecionado na primeira etapa, a mesma quantidade de elementos.

11.3. Seleção da Amostra – 1ª etapa

11.3.1. Para a utilização da ferramenta na seleção da amostra na 1ª etapa, deve-se:

11.3.1.1. Informar a quantidade total de conglomerados que farão parte do sorteio.

a) A quantidade total de conglomerados em que os elementos que compõem o Universo serão agrupados deve ser determinada pela equipe de fiscalização, de acordo com a quantidade de recursos disponíveis (por exemplo: para otimizar deslocamentos).

11.3.1.2. Determinar a quantidade de conglomerados a serem amostrados.

b) A quantidade de conglomerados que serão sorteados, ou seja, o tamanho da amostra na primeira etapa de seleção, será determinado pela equipe de fiscalização, de acordo com a quantidade de recursos disponíveis.

11.3.1.3. Informar o tamanho da população (universo que compõe a soma de todos os elementos de todos os conglomerados).

11.3.1.4. A ferramenta preenche automaticamente a informação da quantidade de conglomerados, conforme definido no item 11.3.1.1.

11.3.1.5. Informar a quantidade de elementos em cada conglomerado (Tamanho do Conglomerado).

11.3.1.6. Clicar em “Selecionar a amostra”.

11.3.2 Será exibida a sequência de conglomerados a serem verificados, aleatoriamente sorteados pela ferramenta.

11.3.2.1. O resultado apresenta duas colunas, sendo que a primeira é a sequência do elemento aleatoriamente sorteado pela ferramenta e a segunda é o conglomerado ao qual este pertence .

11.3.3. Na amostragem de conglomerados, a amostra é retirada com reposição. Sendo assim, um mesmo conglomerado poderá ser sorteado mais de uma vez.

11.3.4. Caso seja necessário que a ferramenta, além do sorteio, também exiba os conglomerados sorteados, antes de clicar em “Selecionar a amostra”, deve-se:

11.3.4.1. Criar um arquivo Excel com o nome “Amostragem.xls” (compatível com Excel versão 2003, ou seja, com formato .xls), com uma única planilha, que possua os dados da população (todos os elementos de todos os conglomerados) e deverá ser chamada “Estrato 1”.

a) O programa verifica se o tamanho da população indicada na ferramenta e a quantidade de elementos na planilha está igual. Se não estiver, aparecerá uma mensagem e não será selecionada a amostra.

b) Deve-se certificar que a primeira coluna não contém células vazias para os elementos da população.

c) É desnecessário ordenar a população por qualquer critério (cronológico, geográfico, etc.).

d) A primeira linha dessa planilha terá os nomes das colunas (títulos). Por exemplo, se a população for uma lista de grupos de municípios (os conglomerados), a planilha terá a seguinte aparência (o exemplo abaixo é um arquivo renomeado para “Amostragem.xls”, com a planilha renomeada para Estrato 1).

11.3.4.2. Abrir o arquivo “Amostragem.xls”.

11.3.4.3. Clicar na opção “Selecionar a amostra” da ferramenta.

11.3.5. A amostra é formada por conglomerados sorteados de forma aleatória pela ferramenta.

11.3.5.1. Os elementos são apresentados na própria ferramenta, pelo seu sequencial, e de forma completa em uma nova planilha, denominada “Amostra”, gerada automaticamente pela ferramenta no arquivo “Amostragem.xls”.

11.3.5.2. Os conglomerados da amostra são apresentados na ferramenta pelos números iguais aos sequenciais da população (soma de todos os elementos de todos os conglomerados). Por exemplo, quando a ferramenta sorteou o elemento 33 do conglomerado 2, este corresponde ao que estaria na linha 34 de uma planilha que possuísse todos os elementos de todos os conglomerados.

11.3.5.3. Se um dos conglomerados for muito grande em relação aos demais, como no exemplo da figura acima, há a possibilidade de que a amostra da 1ª Etapa seja constituída apenas por ele. Para evitar esse problema, tal conglomerado pode até ser excluído da lista acima e tratado isoladamente.

11.3.5.4. Se, por algum motivo, houver a necessidade de gerar outra amostra com a mesma população, é necessário excluir a planilha “Amostra” do arquivo “Amostragem.xls”.

11.4. Seleção da Amostra – 2ª etapa

11.4.1. A 2ª etapa de seleção deve ser feita separadamente para cada conglomerado sorteado na 1ª etapa.

11.4.2. Para a utilização da ferramenta na seleção da amostra na 2ª etapa, deve-se:

11.4.2.1. Determinar o tamanho da amostra de elementos.

a) O tamanho da amostra de elementos (que obrigatoriamente deve ser o mesmo para todos os conglomerados) será determinado pela equipe de fiscalização, de acordo com a quantidade de recursos disponíveis.

11.4.2.2. Informar o tamanho do conglomerado.

11.4.2.3. Clicar em “Selecionar a amostra”. Será exibida a sequência de elementos do respectivo conglomerado a serem verificados, aleatoriamente sorteados pela ferramenta.

11.4.3. Na amostragem da 2ª etapa, a amostra é retirada sem reposição. Sendo assim, um mesmo elemento não poderá ser sorteado mais de uma vez.

11.4.4. Caso seja necessário que a ferramenta, além do sorteio, também exiba os elementos sorteados, antes de clicar em “Selecionar a amostra”, deve-se seguir os seguintes passos:

11.4.4.1. Criar um arquivo Excel com o nome “Amostragem.xls” (compatível com Excel versão 2003, ou seja, com formato .xls), com uma única planilha, que possua todos os elementos do conglomerado e deverá ser chamada “Estrato 1”.

b) Deve-se certificar que a primeira coluna não contém células vazias para os elementos da população.

c) É desnecessário ordenar a população por qualquer critério (cronológico, geográfico, etc.).

d) A primeira linha dessa planilha terá os nomes das colunas (títulos). Por exemplo, se a população for uma lista de TUPs, a planilha terá a seguinte aparência (o exemplo abaixo é um arquivo renomeado para “Amostragem.xls”, que possui todos os elementos do respectivo conglomerado, no caso, 25 TUPs, com a planilha renomeada para Estrato 1, sendo que a primeira linha é do título).

11.4.4.2. Abrir o arquivo “Amostragem.xls”.

11.4.4.3. Clicar na opção “Selecionar a amostra” da ferramenta. A amostra é formada por elementos sorteados de forma aleatória pela ferramenta.

a) Os elementos são apresentados na própria ferramenta, pelo seu sequencial, e de forma completa em uma nova planilha, denominada “Amostra”, gerada automaticamente pela ferramenta no arquivo “Amostragem.xls”.

b) Os elementos da amostra são apresentados na ferramenta pelos números iguais aos sequenciais da planilha “Estrato 1”, menos um (devido à existência do título na linha 1 desta planilha). Por exemplo, quando a ferramenta aponta o elemento 4, este corresponde ao que está na linha 5 da planilha “Estrato 1”.

c) Se, por algum motivo, houver a necessidade de gerar outra amostra com a mesma população, é necessário excluir a planilha “Amostra” do arquivo “Amostragem.xls”.

11.4.4.4. Para cada conglomerado sorteado, deve-se criar um novo arquivo chamado Amostragem.xls com todos os elementos daquele conglomerado, a exemplo do que foi feito na Amostragem Aleatória Simples (Item 9).

12. INFERÊNCIA (ESTIMAÇÃO) PARA TODO O UNIVERSO, A PARTIR DO RESULTADO DA AVERIGUAÇÃO DA AMOSTRA

12.1. A aplicação de técnicas amostrais só se justifica se, a partir do resultado da averiguação de uma amostra, seja possível fazer inferência para todo o Universo fiscalizado.

12.2. Inferência (Estimação) na Amostra Aleatória Simples - Qualitativa/Binária (resultado conforme/não conforme)

12.2.1. Exemplo 1:

12.2.1.1. No exemplo, onde foram encontradas 10 não-conformidades, dentro da amostra de 452 elementos, a ferramenta apresenta a seguinte conclusão:

a) Com o nível de confiança de 95%, a proporção de itens não-conformes na população é um valor maior do que 1,2% e menor do que 3,7%.

b O resultado da averiguação da amostra, neste caso, conclui que não foram evidenciadas irregularidades para o item de verificação fiscalizado, visto que o regulamento estabeleceu um valor máximo de obrigações não cumpridas de 5%.

12.2.2. Exemplo 2:

12.2.2.1. No exemplo, onde foram encontradas 19 não conformidades, dentro da amostra de 452 elementos, a ferramenta apresenta a seguinte conclusão:

a) Com o nível de confiança de 95%, a proporção de itens não-conformes na população é um valor maior do que 2,7% e menor do que 6,1%.

b) Embora o limite superior, calculado pela ferramenta, esteja acima de 5% (índice máximo previsto no regulamento do exemplo), os dados não dão evidências de que a proporção de itens não-conformes seja superior a 5%, pois o limite inferior está abaixo deste valor.

c) O resultado da averiguação da amostra, neste caso, não permite a conclusão, seja pela regularidade ou pela irregularidade do item de verificação fiscalizado.

12.2.3. Exemplo 3:

12.2.3.1. No exemplo, onde foram encontradas 42 não conformidades, dentro da amostra de 452 elementos, a ferramenta apresenta a seguinte conclusão:

a) Com o nível de confiança de 95%, a proporção de itens não-conformes na população é um valor maior do que 7,1% e menor do que 11,8%.

b) Apesar da estimação de itens não conformes esperada ter sido estabelecida em 2,0%, quando se realizou o cálculo da amostra e, embora o resultado encontrado na estimação da ferramenta, “...a proporção de itens não conformes ter apresentado um número entre 7,139% e 11,852%”,, as estimativas fornecidas pela ferramenta permanecem válidas.

c) O resultado da averiguação da amostra, neste caso, conclui, de forma inequívoca, pela irregularidade do item de verificação fiscalizado, visto que o regulamento estabeleceu um valor máximo de obrigações não cumpridas de 5%.

12.3. Inferência (Estimação) na Amostra Aleatória Simples - Quantitativa/Numérica (resultado por números)

12.3.1. Exemplo:

12.3.1.1. No exemplo, onde encontradas, dentro da amostra de 43 elementos, a média amostral de 145,00 e o desvio padrão amostral de 48,00, a ferramenta apresenta a seguinte conclusão:

a) Com base nessa amostra e no nível de confiança pré-fixado de 95%, a média da população é superior a 130.7 e inferior a 159.3.

b) Portanto, caso o valor regulamentar para este item de verificação seja:

b.1) 180,0: o resultado da averiguação da amostra, neste caso, conclui que não foram evidenciadas irregularidades para o item de verificação fiscalizado;

b.2) 150,0: o resultado da averiguação da amostra, neste caso, não permite a conclusão, seja pela regularidade ou pela irregularidade do item de verificação fiscalizado;

b.3) 120,0: o resultado da averiguação da amostra, neste caso, conclui, de forma inequívoca, pela irregularidade do item de verificação fiscalizado.

12.4. Inferência (Estimação) na Amostra Estratificada - Qualitativa/Binária (resultado conforme/não conforme)

12.4.1. Exemplo:

12.4.1.1. No exemplo, onde foram encontradas 13 não conformidades (soma de todas não conformidades em todos os estratos), dentro da amostra de 456 elementos (para todos os estratos), a ferramenta apresenta a seguinte conclusão:

a) Com o nível de confiança de 95%, a proporção de itens não-conformes na população é um valor maior do que 1,3% e menor do que 4,3%.

12.5. Inferência (Estimação) na Amostra Estratificada - Quantitativa/Numérica (resultado por números)

12.5.1. Exemplo:

12.5.1.1. Para a inferência para o Universo, deve-se calcular os valores de média e variância da amostra, para cada um dos estratos. Deverá se utilizar recursos do Microsoft Excel.

12.5.1.2. No Excel, a média amostral de cada estrato pode ser calculada com a fórmula MEDIA(intervalo_dos_dados).

12.5.1.3. No Excel, a variância amostral de cada estrato pode ser calculado com a fórmula VAR(intervalo_dos_dados).

12.5.1.4. No exemplo, dentro da amostra de 45 elementos (para todos os estratos) coma média e a variância amostral calculadas para cada estrato, a ferramenta apresenta a seguinte conclusão:

a) Com 95% de confiança, o valor médio da população está entre 140,0 e 156,9. A média estimada é 148,50, com erro máximo de estimação de 8,47.

b) Portanto, caso o valor regulamentar para este item de verificação seja:

b.1) 180,0: o resultado da averiguação da amostra, neste caso, conclui que não foram evidenciadas irregularidades para o item de verificação fiscalizado;

b.2) 150,0: o resultado da averiguação da amostra, neste caso, não permite a conclusão, seja pela regularidade ou pela irregularidade do item de verificação fiscalizado;

b.3) 120,0: o resultado da averiguação da amostra, neste caso, conclui, de forma inequívoca, pela irregularidade do item de verificação fiscalizado.

12.6. Inferência (Estimação) na Amostra em 2 etapas - Qualitativa/Binária (resultado conforme/não conforme)

12.6.1. Exemplo:

12.6.1.1. Para a inferência para o Universo, deve-se informar a quantidade de conglomerados amostrados. Observe que esta não é a quantidade total de conglomerados que participaram do sorteio na 1ª Etapa.

12.6.1.2. No exemplo, onde foram encontradas 3 não conformidades (soma de todas não conformidades em todos os estratos), dentro da amostra de 12 elementos (4 elementos em cada um dos 3 conglomerados), a ferramenta apresenta a seguinte conclusão:

a) Com o nível de confiança de 95%, a proporção de itens não-conformes na população é um valor maior do que 0,3% e menor do que 33,0%.

12.6.2. Após a fiscalização, se a precisão estiver muito aquém do desejado, planejar a próxima fiscalização com um número maior de conglomerados a serem sorteados e com um tamanho maior da amostra de elementos.

12.7. Inferência (Estimação) na Amostra em 2 etapas - Quantitativa/Numérica (resultado por números)

12.7.1. Exemplo:

12.7.1.1 Para a inferência para o Universo, deve-se informar a quantidade de conglomerados amostrados. Esta não é a quantidade total de conglomerados que participaram do sorteio na 1ª Etapa.

12.7.1.2. Para a inferência para o Universo, deve-se calcular os valores da média da amostra, para cada um dos conglomerados. Deverá se utilizar recursos do Microsoft Excel

12.7.1.3. No Excel, a média amostral de cada estrato pode ser calculada com a fórmula MEDIA(intervalo_dos_dados).

12.7.1.4. No exemplo, para a amostra de 12 elementos (4 elementos em cada um dos 3 conglomerados), a ferramenta apresenta a seguinte conclusão:

a) Com 95% de confiança, a média da população está entre 3,526 e 15,140.

b) Portanto, caso o valor regulamentar para este item de verificação seja:

b.1) 20,0: o resultado da averiguação da amostra, neste caso, conclui que não foram evidenciadas irregularidades para o item de verificação fiscalizado;

b.2) 10,0: o resultado da averiguação da amostra, neste caso, não permite a conclusão, seja pela regularidade ou pela irregularidade do item de verificação fiscalizado;

b.3) 2,0 o resultado da averiguação da amostra, neste caso, conclui, de forma inequívoca, pela irregularidade do item de verificação fiscalizado.

12.7.2. Após a fiscalização, se a precisão estiver muito aquém do desejado, planejar a próxima fiscalização com um número maior de conglomerados a serem sorteados e com um tamanho maior da amostra de elementos.

13. DO RELATÓRIO DE FISCALIZAÇÃO

13.1. Sempre que utilizada esta Instrução de Fiscalização, o Relatório de Fiscalização produzido deve enfatizar que as técnicas amostrais aplicadas permitem que, a partir do resultado obtido na averiguação de cada amostra, se faça inferências para todo o Universo fiscalizado, com o nível de confiança e a margem de erro preestabelecidos.

14. DAS DISPOSIÇÕES FINAIS

14.1. Compete à Gerência Geral de Fiscalização adotar as medidas adicionais necessárias para a plena operacionalização desta Instrução de Fiscalização.

registrado em: Instruções de Fiscalização

Assunto(s): Aprovação , Ato normativo , Instrução , Uso , Utilização , Fiscalização , Metodologia , Amostragem , NormaFiscalizacao , PortariaRevogada